A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems

기술 요약: 신경 가능도 기반 베이지안 역문제에 대한 볼록 근사 프레임워크

문제 정의
많은 과학 및 공학적 역문제는 물리적 메커니즘을 정확하게 모델링하거나, 측정 불확실성을 정량화하거나, 혹은 고충실도 시뮬레이션(예: 편미분 방정식 풀이)의 과도한 계산 비용으로 인해 어려움을 겪습니다. 이러한 과제들은 마르코프 체인 몬테카를로(MCMC)와 같은 고전적인 확률적 추론 방법들을, 특히 고차원 또는 무한 차원 설정(예: 함수 공간에서의 베이지안 역문제)에서 실행 불가능하게 만듭니다. 머신러닝은 명시적인 파라미터 모델링의 대안을 제시하지만, 기존의 신경 가능도 근사(neural likelihood approximation) 방식—데이터로부터 직접 가능도 함수를 학습하는 방식—은 종종 제한적인 모델 클래스에 의존합니다. 구체적으로, 실제 사후 분포와 근사 사후 분포 사이의 쿨백-라이블러(KL) 발산을 최소화하는 표준적인 방법들은 근사된 가능도가 명시적으로 정규화되어야 합니다(예: 노멀라이징 플로우 또는 가역 네트워크를 통해). 이러한 제약은 모델의 표현력을 제한하여, 최적에 가까운 가능도 함수를 배제할 가능성이 있습니다.

방법론
저자들은 신경 가능도 근사가 **비정규화된 포텐셜(un-normalized potentials, 즉 음의 로그 가능도)**로 작동하도록 재구성하고, 정규화 요구 사항을 직접 학습 목적 함수에 포함시키는 프레임워크를 제안합니다.

1. 목적 함수 재구성:
   사후 분포 사이의 KL 발산을 직접 최소화하는 대신, 저자들은 비정규화된 포텐셜 $f$에 의해 유도된 근사 사후 분포 $\mu_y^f$와 실제 사후 분포 $\mu_y$ 사이의 기대 KL 발산에 기반한 동등한 목적 함수 $\Phi(f)$를 도출합니다:
   $$\Phi(f) = \mathbb{E}_{\pi}[\text{KL}(\mu_y \| \mu_y^f)] = C + \mathbb{E}_{\lambda}[f(x; y)] + \mathbb{E}_{\pi}[\log Z_f(y)]$$
   여기서 $Z_f(y) = \int_H \exp(-f(x; y)) \mu(dx)$는 정규화 상수이며, $\lambda$는 데이터 $(x, y)$의 결합 분포이고, $C$는 $f$와 독립적인 상수입니다. 이 공식화는 실제 포텐셜 $L$에 대한 지식이나 네트워크 출력의 명시적인 정규화 없이도, 결합 분포로부터의 샘플을 사용하여 목적 함수를 평가할 수 있게 해줍니다.

2. 볼록성 분석:
   이 논문의 핵심적인 이론적 기여는 목적 함수 $\Phi(f)$가 비정규화된 포텐셜 $f$에 대해 **엄격한 볼록성(strictly convex)**을 가진다는 증명(정리 2.8)입니다. 이는 함수 클래스 $\mathcal{F}$가 볼록할 때 성립합니다. 이는 표준적인 노멀라이징 플로우 파라미터화에서는 1로 적분되는 함수의 집합이 일반적으로 비볼록하다는 점과 대조됩니다. 엄격한 볼록성은 (함수가 $y$에 의존하는 가법 상수만큼만 차이 나는 경우를 동일한 것으로 간주하는) 등가 클래스 내에서 유일한 최소값이 존재함을 보장합니다.

3. 데이터 기반 추정 및 일치성:
   저자들은 정규화 상수를 포함하는 중첩된 기댓값을 근사하기 위해 이중 루프 몬테카를로 접근 방식을 사용하는 데이터 기반 추정량 $\Phi_N$을 제안합니다. 저자들은 이 추정량의 **일치성(consistency)**을 확립하며(정리 3.7), 샘플 크기 $N \to \infty$일 때 경험적 최소값이 사전 분포와 함수 클래스의 정칙성(예: 홉더 공간의 유계 부분 집합)에 관한 가정 하에 실제 포텐셜 $L$로 확률적으로 수렴함을 증명합니다.

주요 기여

• 볼록 최적화 프레임워크: 비정규화된 포텐셜을 최적화하고 정규화를 손실 함수에 흡수함으로써, 학습 문제가 엄격하게 볼록해짐을 보여줍니다. 이는 확률 측도 특성을 강제하기 위한 제한적인 아키텍처 제약(예: 노멀라이징 플로우)의 필요성을 제거합니다.
• 이론적 보장: 목적 함수의 볼록성과 경험적 최소값의 일치성에 대한 엄격한 증명을 제공하여, 데이터가 증가함에 따라 학습된 포텐셜이 실제 포텐셜로 수렴함을 확립합니다.
• 데이터 효율성: 이 프레임워크는 시뮬레이터(또는 물리 시스템)로부터의 결합 데이터 $(x, y)$만을 필요로 하며, 순방향 맵(forward map), 노이즈 수준, 또는 실제 가능도 함수의 평가를 요구하지 않습니다.

수치 결과
본 프레임워크는 두 가지 베이지안 역문제에 대해 검증되었습니다:

1. 디블러링(Deblurring) 문제: 1D 가우시안 프로세스를 포함하는 토이 문제입니다. 신경 가능도 근사(free-form, residual, calibrated residual)는 실제 값에 매우 근접한 사후 평균과 신뢰 구간을 생성했습니다. 특히, free-form 근사(노이즈 수준을 가정하지 않음)는 가우시안 프로세스(GP)가 실제 가능도 평가에 접근할 수 있는 상황에서도 GP 회귀보다 우수한 성능을 보였습니다.
2. 반도체 도핑 프로파일: 전압-전류 측정으로부터 도핑 프로파일을 추정하는 비선형 PDE 기반 이미징 문제입니다.
   • 계산 속도: NLL 근사는 단일 평가 시 CPU에서 유한 요소 PDE 솔버보다 약 200배 빠르며, GPU 병렬화 시에는 최대 20,000배 더 빠릅니다.
   • 정확도: free-form 및 residual 근사는 exact PDE 기반 사후 분포와 거의 동일한 사후 통계량(편향 및 분산)을 산출했습니다. 노이즈 수준을 알고 있다고 가정하는 calibrated residual 근사는 양호한 성능을 보였으나, 표준 residual 근사는 노이즈 수준을 모를 때 어려움을 겪었습니다.
   • 효율성: 학습 및 데이터 생성에 약 6시간이 소요되었으나, 이를 통해 직접적인 PDE 모델을 사용할 경우 265시간이 걸렸을 사후 샘플을 생성할 수 있었습니다.

의의 및 주장
본 논문은 제한적인 파라미터 클래스의 한계를 극み하는 신경 가능도 근사를 위한 견고한 이론적 토대를 제공한다고 주장합니다. 볼록성과 일치성을 확립함으로써, 이 연구는 순수하게 경험적 데이터에 기반한 오프라인 학습을 가능하게 하며, 이는 이후 순방향 모델을 알 수 없거나 계산 비용이 매우 높은 시나리오에서 사후 샘플링을 가속화할 수 있습니다.

저자들은 다음과 같은 특정 한계점을 언급합니다:

• 일치성 결과는 유클리드 공간을 위해 개발된 기존의 경험적 과정 이론(bracketing entropy)에 의존하기 때문에 현재 유한 차원 설정에서 확립되었습니다. 이를 완전한 무한 차원 함수 클래스로 확장하는 것은 향후 연구 과제로 남아 있습니다.
• 중첩된 몬테카를로 구조로 인해 고전적인 M-추정량의 수렴 속도 결과를 적용하기 어려워, 추정량에 대한 정량적인 수렴 속도는 제공되지 않았습니다.
• 함수 공간에서의 최적화는 볼록하지만, 신경망 파라미터에서의 최적화는 여전히 비볼록합니다. 그러나 모집단 목적 함수의 엄격한 볼록성은 학습 과정을 위한 유일한 타겟을 보장합니다.