기술 요약: PnP에서 물리학이 중요한 이유: MMSE 및 NN 디노이저를 통한 복구 보장

1. 문제 정의

본 논문은 다음과 같은 순방향 모델에 의해 지배되는 관측값 $y \in \mathbb{R}^m$으로부터 무작위 벡터 $x \in \mathbb{R}^n$을 복구하는 선형 부정치 역문제(linear ill-posed inverse problem)를 다룹니다:
$$y = Ax + e$$
여기서 $A: \mathbb{R}^n \to \mathbb{R}^m$은 선형 연산자이며, $e$는 평균이 0이고 공분산 행렬 $\Sigma_E$가 대각 행렬이 아닐 수 있는 양의 정부호(positive definite)인 가우시안 노이즈입니다. 이 문제는 $A$가 단사(injective)가 아닐 경우 조건이 나쁘거나(ill-conditioned) 해가 유일하지 않을 수 있습니다.

저자들은 Plug-and-Play (PnP) 패러다임, 특히 순방향-역방향 분할(forward-backward splitting, FBS) 반복법을 조사합니다. 명시적인 정규화 범함수(regularization functionals)에 의존하는 전통적인 접근 방식과 달리, PnP는 근사 연산자(proximal operator)를 디노이징 연산자 $\hat{D}$로 대체합니다. 고려된 일반적인 반복식은 다음과 같습니다:
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
여기서 $\gamma > 0$는 스텝 사이즈이며 $B \in \mathbb{R}^{n \times m}$은 선형 연산자입니다. 핵심 과제는 디노이저가 최소 평균 제곱 오차(MMSE) 추정기일 때 이 반복법에 대한 엄격한 복구 보장(error bounds)을 확립하고, 이를 신경망(NN)으로 근사된 MMSE로 확장하는 것입니다.

이 연구의 결정적인 차별점은 노이즈 분포의 처리 방식입니다. 기존의 많은 PnP 분석은 디노이저가 등방성 가우시안 노이즈($\sigma^2 I$)로 훈련되었다고 가정하는 반면, 본 논문은 일반적인 공분산 구조를 가진 **퇴화 가우시안 노이즈(degenerate Gaussian noise)**를 고려합니다. 이는 PnP 반복 과정 중에 발생하는 노이즈 항이 순방향 연산자 $A$와 $B$의 선택에 따라 달라짐을 인지한 결과입니다.

2. 방법론

2.1 MMSE 디노이저 프레임워크

저자들은 최적의 디노이저 $\hat{D}$를 노이즈가 포함된 관측값 $Z = X + \Upsilon$가 주어졌을 때 $X$의 MMSE 추정기로 정의합니다. 여기서 $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$입니다. 결정적으로, $\Sigma_\Upsilon$는 등방성(isotropic)이라고 가정되지 않으며, PnP 반복 중에 생성되는 노이즈 항 $\gamma B e$의 분포와 일치하도록 선택되는 퇴화(degenerate) 형태일 수 있습니다.

MMSE 추정기는 다음과 같이 정의됩니다:
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
여기서 $\phi$는 부분 공간 $V = \text{Im}(\Sigma_\Upsilon)$에 적응된 가우시안 밀도 커널입니다.

2.2 주요 가정

분석은 다음과 같은 구조적 가정에 기반합니다:

• 컴팩트성(Compactness): 사전 분포 $\mu_X$의 서포트(support)는 컴팩트하며 $M$에 의해 유계입니다.
• 부분 공간 일관성(Subspace Consistency): $\mu_X$의 서포트는 노이즈 공분산 $\Sigma_\Upsilon$에 의해 생성된 부분 공간 $V$ 내에 존재합니다.
• 연산자 특성: 행렬 $BA$는 대칭이며 양의 준정부호(positive semidefinite)입니다. 연산자 $B$는 $V$로 매핑됩니다.
• 제한적 단사성(Restricted Injectivity): $BA$의 커널(kernel)과 $\mu_X$의 서포트의 볼록 껍질(convex hull)의 접 접촉 원뿔(tangent cone)의 교집합이 자명(trivial)하여, 관련 집합 위에서 역전 가능성을 보장합니다.

2.3 신경망 근사의 분석

고차원에서는 정확한 MMSE 추정기를 계산하는 것이 불가능하다는 점을 인식하여, 저자들은 ReLU 신경망으로 파라미터화된 디노이저로 분석을 확장합니다. 이들은 특정 정밀도 $\epsilon$에 대해 항등 사상(identity map) 및 MMSE 디노이저를 근사하는 데 필요한 네트워크의 너비, 깊이 및 가중치 크기를 제한하기 위해 근사 이론을 활용합니다.

3. 주요 기여

본 논문은 디노이저를 "블랙박스"로 보는 시각을 넘어 세 가지 주요 기여를 합니다:

1. MMSE 디노이저의 정칙성(Regularity) 및 안정성:
   저자들은 MMSE 디노이저가 **립시츠 연속(Lipschitz continuous)**이며, 특정 조건(비퇴화 공분산을 가진 가우시안 노이즈) 하에서 **코코어시브(cocoercive)**함을 입증합니다. 이는 PnP 방법에서 경험적으로 강제되는 "강한 비확장성(firm non-expansiveness)"에 대한 엄격한 이론적 근거를 제공합니다. 또한, 사전 측도(prior measure)에 대한 디노이저의 안정성(Wasserstein 연속성)을 증명합니다.

2. MMSE를 이용한 PnP의 복구 보장:
   본 논문은 PNF-FBS 반복에 대한 점별(pointwise) 및 와서스타인 거리(Wasserstein distance) 복구 오차 범위를 도출합니다.

   • 점별 경계: 오차 경계는 $BA$연산자의$BA$의 해 집합의 접 접촉 원뿔에 대한 조건수(condition number), 노이즈 수준, 그리고 경험적 사전 샘플링 오차에 따라 결정됩니다.
   • 와서스타인 경계: 반복값의 분포는 실제 사전 분포로 수렴합니다. 이 경계에는 디노이저를 훈련하는 데 사용된 노이즈 분포($\Upsilon$)와 반복 과정에서의 유효 노이즈($\gamma B E$) 사이의 불일치를 측정하는 Bures 메트릭 항이 명시적으로 포함됩니다.

3. 물리 인지형(Physics-aware) 디노이저의 필요성:
   핵심적인 이론적 발견은 디노이저가 물리 법칙을 무시한 방식(physics-agnostic way)으로 선택될 수 없다는 것입니다. 연산자 $B$의 선택과 디노이저를 구성하는 데 사용되는 노이즈 공분산 $\Sigma_\Upsilon$는 서로 결합되어야 합니다. 구체적으로, 최적의 성능을 위해서는 디노이저가 변환된 관측 노이즈 $\gamma B E$의 통계적 특성에 맞는 노이즈를 바탕으로 훈련되어야 합니다. 표준적인 선택인 $B = A^\top$는 디노이저가 순방향 모델에 무관하다고 가정하는데, 저자들은 특정 조건이 충족되지 않는 한 이것이 하위 최적(suboptimal)의 복구 경계를 초래함을 보여줍니다.

4. 주요 결과

4.1 점별 복구 (Pointwise Recovery)

정리 3.2는 재구성 오차 $\|x_k - x\|$에 대한 경계를 제공합니다. 오차는 다음 요소들에 의해 결정되는 해의 근방으로 수렴합니다:

• 노이즈 증폭: $\gamma \|B\| \|e\|$에 비례합니다.
• 디노이저 성능: 실제 신호와 경험적 훈련 샘플 사이의 거리에 관련됩니다.
• 조건수: 수렴 속도 $q$는 해 집합 상에서의 $BA$의 조건수에 의존합니다.
  결정적으로, 이 경계는 디노이저가 수축 사상(contraction mapping)이 아니더라도, $BA$의 조건수가 디노이저의 립시츠 상수와 비교하여 충분히 유리하다면 성립합니다.

4.2 분포적 복구 (Distributional Recovery)

정리 3.6은 반복값의 분포와 실제 사전 분포 사이의 기대 제곱 와서스타인 거리 $W_2^2(\hat{\mu}_k, \mu_X)$에 대한 경계를 설정합니다. 이 경계는 훈련 노이즈 $\Sigma_\Upsilon$의 공분산이 반복 노이즈 $\gamma^2 B \Sigma_E B^\top$와 일치할 때 최소화됨을 보여줍니다. 만약 이 일치가 완벽하다면 Bures 메트릭 항이 사라져 경계가 크게 개선됩니다.

4.3 신경망 근사 (Neural Network Approximation)

정리 3.11은 MMSE 디노이저가 훈련된 신경망으로 대체되는 경우에 대해 점별 경계를 확장합니다. 오차 경계에는 다음 항목들이 포함됩니다:

• 네트워크의 근사 오차 ($\epsilon$에 의존).
• 네트워크의 립시츠 상수.
• 훈련 데이터의 샘플링 오차.
  저자들은 원하는 근사 정밀도를 달eric 위해 필요한 네트워크의 깊이와 너비에 대한 구체적인 요구 사항을 도출하며, 네트워크가 충분히 표현력이 있다면 복구 보장이 유지됨을 보여줍니다.

5. 의의 및 주장

본 논문은 디노이저를 설계할 때 디노이저와 분할 연산자 $B$가 역문제의 순방향 모델 및 노이즈 통계와 불가분하게 연결되어 있음을 강조함으로써, PnP 방법의 이해를 근본적으로 전환한다고 주장합니다.

• 무관성(Agnosticism)의 거부: 저자들은 일반적인 노이즈(예: 등방성 가우시안)로 디노이저를 훈련시킨 후 임의의 순방향 연산자 $A$와 노이즈 공분산 $\Sigma_E$를 갖는 역문제에 적용하는 일반적인 관행이 이론적으로 결함이 있다고 주장합니다. 디노이저는 "물리 인지형(physics-aware)"이어야 하며, 즉 훈련 노이즈 분포가 PnP 반복 과정에서 연산자 $B$에 의해 도입되는 유효 노이즈와 일치해야 합니다.
• 완화된 가정: MMSE 추정기의 특정 특성(사전 분포로부터 유도된 코코어시비티 및 립시츠 경계)을 활용함으로써, 저자들은 디노이저가 볼록 함수(convex functional)의 근사 연산자이거나 강력한 수축 사상이어야 한다는 강한 가정 없이도 복구 보장을 도출합니다.
• 정량적 경계: 논문은 역문제의 조건수, 디노이저 및 훈련 데이터의 품질, 그리고 노이즈 수준 사이의 트레이드오프를 정량화하는 명시적이고 비점근적인(non-asymptotic) 오차 경계를 제공합니다.

결론적으로, 이 연구는 디노이저의 설계와 분할 연산자 $B$의 선택이 순방향 모델 및 특정 역문제의 노이즈 통계와 밀접하게 연관되어 있음을 강조하며, Plug-and-Play 방법론에 대한 엄격한 이론적 토대를 제공합니다.