기술 요약: 역문제의 학습된 재구성(Learned Reconstructions)을 위한 분포 강건 프레임워크

문제 정의

역문제(Inverse problems)는 일반적으로 $y = Hx + \eta$로 모델링되는 간접적이고 노이즈가 섞인 측정값 $y$로부터 미지 신호 $x$를 복구하는 것을 목표로 한다. 신경망과 같은 학습된 재구성 연산자(reconstruction operators)가 대중화되었으나, 이들은 대개 고정된 노이즈 모델 및 데이터 분포 가정을 바탕으로 훈련된다. 결과적으로, 이러한 모델들은 테스트 분포가 훈련 분포와 달라질 경우 일반화 성능이 저하되는 경향이 있다.

표준 분포 강건 최적화(Standard Distributionally Robust Optimization, DRO)는 아마도 세트(ambiguity set, 주로 Wasserstein ball) 내의 최악의 분포에 대해 최적화를 수행함으로써 이를 해결한다. 그러나 표준 Wasserstein DRO는 결합 분포 $\mu \in \mathcal{P}(X \times Y)$를 균일하게 섭동시킨다. 이러한 접근 방식은 데이터 획득 과정의 구체적인 물리적 특성을 무시하고, 입력 분포의 불확실성과 측정 노이즈(순방향 연산자)를 구분하지 않고 동일하게 취급하기 때문에 지나치게 보수적일 수 있다.

방법론: 구조적 DRO (Structured DRO)

저자들은 아마도 세트를 데이터 획득 과정과 일치하는 방향으로 제한하는 구조적 DRO(Structured DRO) 프레임워크를 제안한다. 핵심 아이디어는 데이터 생성 법칙을 $\mu = \mu_X \otimes \mu_{Y|X}$로 분해하는 것이다. 여기서 $\mu_X$는 입력에 대한 사전 확률(prior)을 나타내고, $\mu_{Y|X}$는 조건부 측정 가능성(conditional measurement likelihood, 순방향 연산자와 노이즈를 인코딩함)을 나타낸다.

프레임워크

데이터를 임의로 섭동시키는 대신, 이 프레임워크는 데이터 획득 과정에 정렬된 구조적 부분 집합 $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$로 제한한다. 본 논문은 주로 $Y|X$-섭동에 초점을 맞추는데, 이는 입력 주변 분포 $\mu_X$는 고정하고 오직 조건부 분포 $\mu_{Y|X}$만을 섭동시키는 방식이다. 이는 불확실성을 측정 모델에 국한시켜, 노이즈와 순방향 연산자의 결함이 $x$가 주어졌을 때 $y$에 영향을 미치지만 근본적인 신호 $x$의 분포를 변화시키지는 않는다는 물리적 실상과 일치하도록 한다.

최적화 문제는 다음과 같이 정식화된다:
$$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$$
여기서 $\mathcal{G}$는 재구성 연산자의 공간이고, $\ell$은 손실 함수이며, $\Omega_{\mathcal{K}, c, \varepsilon}$는 비용 함수 $c$와 반지름 $\varepsilon$에 의해 제약되는 허용 가능한 섭동 커널의 집합이다.

이론적 기여

1. 강한 쌍대성(Strong Duality): 저자들은 이 일반적인 정식화를 컴팩트 폴리시 공간(compact Polish spaces)에 대해 확립하였으며, 이는 Blanchet와 Murthy [12] 및 Blanchet 등 [9]의 결과를 구조적 섭동 집합으로 확장한 것이다.
2. 명시적 쌍대 표현(Explicit Dual Representations): 결합, 주변, 그리고 조건부 분포에서의 섭동에 대한 유한 차원 쌍대 정식화를 도출하였다.
   • $P(Y|X)$-섭동의 경우, 쌍대 정식화는 명시적인 최악의 위험 경계(worst-case risk bound)로 이어진다.
3. 정규화와의 연결: 핵심 결과는 $P(Y|X)$-섭동에 대한 명시적인 최악의 위험 경계를 도출하는 것이다:
   $$\text{Risk} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$$
   여기서 $L_G$는 재구성 연산자 $G$의 립시츠 상수(Lipschitz constant)이다. 이 경계는 $G$의 립시츠 상수에 대한 **티코노프 유형의 정규화(Tikhonov-type regularization)**를 유도한다.
   • 선형 설정에서, 이 정규화는 역 연산자의 가장 큰 특잇값(singular values)을 페널티로 부여하며, 결과적으로 데이터의 고유 차원에서 절단되는 데이터 기반의 절단된 SVD(truncated-SVD) 유사 기능을 회복한다.
   • 저자들은 이 구조적 경계가 잘 정의된(well-posed) 문제에 대해 표준 결합 DRO(이는 $\sqrt{1 + L_G^2}$ 인자를 생성함)보다 엄격히 덜 보수적임을 입증하였다. 이는 입력 주변 분포를 섭동시키는 데 따른 불필요한 페널티를 제거하기 때문이다.

계산 구현

프레임워크를 다루기 용이하게 만들기 위해, 저자들은 **조건부 싱크혼 거리(conditional Sinkhorn distance, 엔트로피 정규화된 Wasserstein 거리)**를 근사치로 사용한다. 이들은 min-max 문제를 해결하기 위해 이분법 탐색(bisection search)을 동반한 편향된 확률적 미러 경사 하강법(Biased Stochastic Mirror Descent, BSMD) 알고리즘을 활용하여 쌍대 변수와 재구성 연산자를 근사한다.

실험 결과

본 프레임워크는 미분(differentiation), 디블러링(deblurring, MNIST 및 CIFAR-10), 그리고 시노그램-투-CT(sinogram-to-CT) 재구성 등 여러 역문제에 대해 평가되었다.

1. 강건성 및 안정성: 모든 실험에서 구조적 DRO는 표준 평균 제곱 오차(MSE) 베이스라인 및 표준 결합 DRO에 비해 분포 변화(예: 다양한 노이즈 수준, Gaussian vs Poisson과 같은 서로 다른 노이즈 유형, 잘못 지정된 순방향 연산자)에 대해 우수한 강건성을 보여주었다.
2. 해석 가능성: 살리언시 맵(Saliency maps) 분석 결과, DRO로 훈련된 모델은 구조적으로 의미 있는 특징(모서리, 획 등)에 집중하는 반면, MSE 베이스라인은 확산되고 구조가 없는 민감도를 보였다.
3. 스펙트럼 거동: 미분 작업에서 학습된 DRO 역연산자는 효과적으로 저계수(low-rank)임을 보였으며, 이는 데이터의 고유 차원을 넘어서는 특잇값을 절단하는 것으로, 절단된 SVD와의 이론적 연결을 확인시켜 준다.
4. 순방향 시뮬레이션: 프레임워크는 "강건한 시뮬레이터"(입력 섭동에 안정적인 순방향 맵을 학습하는 모델)에도 적용되어, 역문제 이외의 분야로의 확장성을 입증하였다.
5. CT 재구성: 저선량 CT 재구성(높은 노이즈 환경)에서, DRO-UNet은 MSE-UNet이 아티팩트로 인해 크게 저하되는 것과 달리 이미지 품질과 구조적 무결성을 유지하였다.

의의 및 주장

본 논문은 구조적 DRO가 분포 강건 최적화와 고전적인 역문제 정규화 사이의 간극을 메운다고 주장한다. $P(Y|X)$에 섭동을 제한함으로써, 이 프레임워크는 다음을 달성한다:

• 현실적인 불확실성 모델링: 입력 불확실성과 측정 노이즈를 분리함으로써 측정 과정의 물리적 특성을 존중한다.
• 보수성 감소: 잘 정의된 문제에 대해 입력 분포에 대한 불필요한 페널티를 피함으로써, 표준 DRO보다 덜 보수적인 위험 경계를 제공한다.
• 해석 가능한 정규화 유도: 자연스럽게 립시츠 정규화로 이어지며, 선형 설정에서는 데이터 기반의 절단된 SVD로 나타난다. 이는 학습된 역연산자의 안정성에 대한 이론적 근거를 제공한다.
• 일반화 성능 향 향상: 다양한 노이즈 모델 및 잘못 지정된 순방향 연산자를 포함한 분포 외(out-of-distribution) 조건에서도 더 안정적이고 해석 가능한 재구성 연산자를 생성한다.

저자들은 현재 구현이 엔트로피 근사에 의존하고 있으나, 이 프레임워크가 역문제의 구조와 본질적으로 일치하는 강건한 재구성 연산자를 학습하기 위한 원칙적인 경로를 제공한다고 결론짓는다.