기술 요약: 역문제 및 불확실성 정량화를 위한 변분 희소 쌍 구조 오토인코더 (vsPAIR)

1. 문제 정의

역문제(Inverse problems)는 일반적으로 $y = F(x) + \varepsilon$로 모델링되는 노이즈가 섞인 간접 관측값 $y$로부터 숨겨진 관심 대상(QoI) $x$를 재구성하는 과정을 포함한다. 이러한 문제는 흔히 부적정(ill-posed)하며, 이는 $y$의 작은 섭동이 허용 가능한 $x$의 큰 변화를 초래할 수 있음을 의미한다.

고전적인 변분 방법(예: Tikhonov, Total Variation)과 베이지안 접근 방식은 이론적 보장을 제공하지만, 순방향 연산자 $F$를 반복적으로 평가해야 하고 정규화 파라미터의 세심한 조정이 필요하여 고차원 또는 비선형 환경에서는 계산 비용이 많이 들 수 있다. 반대로, 엔드 투 엔드(end-to-end) 신경망과 같은 데이터 기반 접근 방식은 빠른 추론을 제공하지만, 대개 점 추정치(point estimates)만을 생성하며 확률적 구조를 결여하여 불확실성 정량화(UQ)에 필요한 구조를 제공하지 못한다.

확산 모델(diffusion models)과 같은 기존의 생성 모델은 사후 분포 $p(x|y)$를 근사할 수 있으나, 반복적인 샘플링 요구 사항으로 인해 추론 속도가 저하되는 경우가 많다. 또한, 많은 잠재 공간 접근 방식은 정보가 모든 차원에 얽혀 있는 "밀집된(dense)" 잠재 코드를 가지는 문제가 있는데, 이는 불확실성의 원천을 모호하게 만들고 어떤 데이터 특성이 재구성 오류를 유발하는지 해석하기 어렵게 만든다.

2. 방법론: vsPAIR 프레임워크

저자들은 빠르고 분산된(amortized) 추론과 더불어 구조화되고 해석 가능한 불확실성 추정치를 제공하도록 설계된 변분 희소 쌍 구조 오토인코더(vsPAIR) 프레임워크를 제안한다. 이 아키텍처는 세 가지 핵심 구성 요소를 통합한다:

2.1 쌍 구조 오토인코더 (Paired Autoencoder) 구조

"잠재 쌍둥이(Latent Twin)" 아키텍처에서 영감을 받은 vsPAIR는 두 개의 별도 오토인코더를 사용한다:

1. 관측 인코더 (Observation Encoder): 표준 변분 오토인코더(VAE)가 가우시안 변분 사후 분포 $q_{\phi_y}(z_y | y)$를 사용하여 관측값 $y$를 잠재 공간 $z_y$로 인코딩한다.
2. QoI 인코더 (QoI Encoder): 희소 변분 오토인코더(sVAE)가 스파이크 앤 슬랩(spike-and-slab) 변분 사후 분포 $q_{\phi_x}(z_x | x)$를 사용하여 관심 대상 $x$를 잠재 공간 $z_x$로 인코딩한다.
3. 잠재 매핑 (Latent Mapping): 학습된 매핑 $M_{\leftarrow}$은 두 잠재 공간을 연결하여, 관측 인코더의 분포 파라미터 $(\mu_y, \sigma_y)$를 QoI 인코더의 파라미터 $(\mu_x, \sigma_x, \omega_x)$로 변환한다.

이러한 쌍 구조를 통해 QoI 인코더는 손상된 관측치로부터 직접 학습하는 대신, 깨끗한 데이터($x$)에 고정된 특징을 학습할 수 있으며, 이를 통해 신호 특징 학습과 역전(inversion) 과정을 분리한다.

2.2 희소 잠재 표현 (sVAE)

정보의 얽힘 문제를 해결하기 위해, QoI 인코더는 잠재 사전 분포 및 사후 분포에 스파이크 앤 슬랩(spike-and-slab) 분포를 사용한다. 각 잠재 차원 $i$에 대해, 분포는 0에서의 점 질량(스파이크)과 연속적인 가우시안(슬랩)의 혼합이다:
$$q_{\phi}(z_i | x) = \omega_i \mathcal{N}(z_i | \mu_i, \sigma_i^2) + (1 - \omega_i)\delta_0(z_i)$$
여기서 $\omega_i$는 $i$번째 차원이 활성화될 확률을 나타낸다. 이 구조는 모델이 정보를 전체 잠재 공간에 확산시키는 대신, 소수의 식별 가능한 요인(활성 차원)에 집중하도록 강제한다.

2.3 학습 목적 함수

프레임워크는 다음을 포함하는 합성 손실 함수(식 14)를 최소화함으로써 엔드 투 엔드로 학습된다:

• QoI를 위한 ELBO ($L_{sVAE}$): 희소 잠재 코드로부터 $x$의 재구성을 장려한다.
• 관측치를 위한 ELBO ($L_{VAE}$): $y$의 재구성을 장려한다.
• 잠재 매핑 손실 ($L_M$): $x$의 실제 잠재 파라미터와 $M_{\leftarrow}$를 통해 예측된 파라미터 사이의 평균 제곱 오차(MSE)를 최소화한다. 결정적인 게이팅(게이트 값을 0 또는 1로 밀어내는 것)을 장려하기 위해 선택적으로 이진 엔트로피 페널티가 추가된다.
• 베타 정규화 ($L_\rho$): 사전 희소도 수준 $\rho$를 학습하기 위해 사용되는 항이다.

결정적으로, 이 프레임워크는 학습 중에 순방향 연산자 $F$에 접근할 필요가 없으며, 오직 쌍을 이룬 샘플 $(x, y)$에만 의존한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. vsPAIR 프레임워크: 순방향 연산자 없이도 빠르고 불확실성을 고려한 역전을 가능하게 하는 확률적 추론, 희소성, 그리고 쌍 구조 잠재 매핑을 결합한 새로운 아키텍처를 제시한다.
2. 실험적 검증: 블라인드 인페인팅(blind inpainting), 컴퓨터 단층 촬영(CT), 열 방정식의 초기 조건 추론을 포함한 부적정 역문제에서 경쟁력 있는 재구성 성능을 입증하였다.
3. 구조화되고 해석 가능한 불확실성: vsPAIR가 핵심 재구성 특징에 대응하는 희소 잠재 표현을 생성함을 보여준다. 결과적으로 불확실성은 확산되지 않고 특정 특징에 국한되며, 이를 통해 추정치의 분산을 식별 가능한 원인으로 추적할 수 있다.

4. 실험 결과

저자들은 vsPAIR를 결정론적 베이스라인(PAIR), 변분 베이스라인(vPAIR), 희소 전용 베이스라인(sVAE), 그리고 확산 기반 UQ 방법(DPS)과 비교 평가하였다.

• 가우시안 선형 모델: 알려진 사후 분포를 가진 단순 테스트 케이스에서, vsPAIR는 실제 데이터의 차원과 일치하도록 활성 차원이 붕괴되는 구조화된 잠재 공간을 성공적으로 학습했다. 이 활성 차원에서의 섭동은 실제 사후 공분산의 고유 벡터와 일치했다.
• 블라인드 인페인팅 (MNIST):
  • 재구성: vs-PAIR는 경쟁력 있는 MSE를 달 확보했으나, VAE 특유의 정규화 트레이드오프 관계로 인해 PAIR보다는 약간 높았다.
  • 불확실성 국소화: 정성적 및 정량적 분석 결과, vsPAIR는 손상된 영역을 선택적으로 제어하는 잠재 차원을 식별할 수 있음을 보여주었다. vPAIR와 vsPAIR 모두 유사한 "국소화 비율(localization ratio)"(결손 영역에 분산이 집중됨)을 보였으나, vsPAIR는 희소한 쌍 구조를 통해 전역 구조와 국소적 불확실성 사이의 더 뚜렷한 분리를 보여주었다.
  • 안정성: vsPAIR는 일관되게 활성화되는 하위 집합(이미지당 약 11.5개)을 안정적으로 유지한 반면, 단일 인코더 sVAE는 활성 차원의 변동성이 높게 나타났다. 이는 쌍 구조가 특징 학습을 안정화시킨다는 것을 시사한다.
• 컴퓨터 단층 촬영 (LoDoPaB-CT):
  • vsPIA는 TV-ADMM과 경쟁할 만한 재구성을 생성했으며, 확산 사후 샘플링(DPS)보다 빨랐다.
  • 불확실성 추정치는 가장자리와 구조적 특징(예: 구멍, 뼈 구조)에 집중되었다.
  • 때때로 미세한 디테일을 "환각(hallucination)"하는 DPS와 달리, vsPIA는 보수적인 동작을 보였는데, 저자들은 이를 오탐지를 피하는 것이 중요한 의료 분야에서 유리할 수 있다고 언급했다.
  • 모델은 희소한 잠재 인덱스 세트(4,096개 중 약 1,383개의 활성 차원)에 분산을 성공적으로 집중시켰다.
• 열 방정식 (비선형):
  • 후기 시간 상태로부터 초기 조건을 추론하는 데 적용되었을 때, vsPIA는 높은 충실도의 재구성(MSE 0.071)을 달성했다.
  • 분산 도표는 주요 열원 주변에 정확히 집중되었으며, 잠재 공간 탐색(latent traversals)을 통해 특정 인덱스가 재구성의 거시적 특징을 제어함을 보여주었다.

5. 의의 및 주장

본 논문은 vsPIA가 해석 가능한 불확실성 정량화를 향한 원칙적인 경로를 제공한다고 주장한다. 일반적인 UQ 방법들이 집계된 신뢰도(예: "모델이 80% 확신함")를 제공하는 것과 달리, vsPIA는 무엇이 불확실한지를 답하는 것을 목표로 한다. 깨끗한 데이터에 QoI 표현을 고정하고 희소성을 강제함으로써, 프레임워크는 불확실성을 특정하고 식별 가능한 잠재 요인으로 격리한다.

저자들은 vsPIA가 다음과 같은 응용 분야에 특히 적합하다고 위치시킨다:

• 해석 가능성이 최우선인 경우: 사용자가 어떤 특징이 모호성을 유발하는지 이해해야 할 때 (예: 의료 영상에서 병변과 아티팩트를 구분하는 것).
• 순방향 모델을 모르거나 비용이 많이 드는 경우: 이 방법은 연산자 $F$ 없이 쌍을 이룬 데이터만 필요로 한다.
• 빠른 추론이 필요한 경우: 학습이 완료되면 vsPIA는 단 한 번의 순방향 패스를 통해 분산된 추론을 제공하며, 확산 모델의 반복적인 샘플링 비용을 피할 수 있다.

저자들은 모델의 크기가 크다는 점(CT의 경우 약 5억 5천만 개의 파라미터)과, 실험에서 잠재 분포의 활성화 확률($\omega$) 및 분산($\sigma$)이 특정 관측값 $y$에 대한 의존성이 제한적이었다는 점을 인정하며, 이는 모델이 완전한 관측치 특화 UQ보다는 축소된 부분 공간을 학습함을 시사한다고 언급했다. 저자들은 본 프레임워크가 실제 베이지안 사후 분포와 완벽하게 교정(calibration)된다는 보장은 없지만, 그 구조가 축소된 환경에서 모델 유도 불확실성을 특징짓는 것을 허용한다고 덧붙였다. 향-후 연구에서는 프레임워크를 더 잘 교정하고 더 높은 데이터 의존성을 위해 sVAE 구현을 개선하는 작업이 필요하다고 명시했다.