A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

기술 요약: 심층 이미지 사전 (Deep Image Prior) 을 위한 원칙적 자기 참조 조기 종료 접근법

문제 제기
심층 이미지 사전 (DIP) 은 노이즈 제거, 초해상도, 의료 이미지 재구성 등의 역이미지 문제 (IIPs) 를 해결하기 위한 강력한 학습 데이터가 없는 방법으로 등장했습니다. DIP 는 무작위 초기화된 합성곱 신경망 (CNN) 을 노이즈가 포함된 측정값에 적합하도록 최적화함으로써 저주파 이미지 통계를 효과적으로 포착합니다. 그러나 네트워크의 과매개변수화 (over-parameterization) 로 인해 DIP 는 측정 노이즈나 영공 (null-space) 아티팩트에 과적합되기 쉽습니다. 따라서 최적의 종료 시점 (조기 종료, ES) 을 결정하는 것이 중요합니다.

기존의 조기 종료 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 분산 기반 방법 (예: WMV-ES): 네트워크 출력의 실행 분산 (running variance) 의 변동을 추적합니다. 일부 설정에서는 효과적이지만, 고해상도 이미지나 미세한 구조를 가진 이미지 (예: 질감이 있는 자연 이미지 또는 의료 스캔) 의 경우 과적합을 조기에 감지하여 최적의 "오라클" 종료 시점과 거리가 먼 불안정한 재구성을 초래하는 경우가 많습니다.
2. 위험 기반 방법 (예: SURE): 스타인 (Stein) 의 편향 없는 위험 추정기는 원칙적인 위험 추정을 제공하지만 정확한 노이즈 레벨에 대한 지식을 요구합니다. 인스턴스별 DIP 설정에서 이러한 추정치는 높은 분산을 보일 수 있어 신뢰할 수 없는 결정을 초래합니다.
3. 검증 데이터의 부재: 표준 검증은 깨끗한 기준 이미지 (ground-truth) 가 필요하며, 이는 역이미지 문제에서는 사용할 수 없습니다. 이론적으로 열화된 이미지의 두 개의 완전히 독립적인 노이즈 복사본을 구하면 거의 최적의 과적합 감지가 가능하지만, 실제로는 일반적으로 불가능합니다.

방법론
저자들은 의사 자기 참조 이미지 (pseudo self-referenced images) 를 사용하여 DIP 조기 종료를 검증 문제로 축소하는 프레임워크를 제안합니다. 핵심 이론적 통찰은 피팅 데이터와 완전히 독립적일 필요는 없다는 점이며, 피팅 신호와 검증 신호 사이에 공유되는 구성 요소가 작거나 나머지 노이즈보다 먼저 선호적으로 피팅되지 않는다면 충분하다는 것입니다.

이 논문은 이 원칙에 기반하여 다양한 이미지 유형과 노이즈 모델에 맞춰진 세 가지 구체적인 알고리즘을 제시합니다:

1. RGB 이미지를 위한 채널 유사성 참조 ES (CSR-ES):

   • 메커니즘: RGB 채널들이 구조적 정보를 공유하지만 부분적으로 비상관화된 노이즈를 포함한다는 사실을 활용합니다.
   • 절차: 이 방법은 최소 거리 (최고 유사도) 를 가진 노이즈 채널 쌍 $(i, j)$ 를 식별합니다. DIP 는 전체 RGB 이미지로 훈련되지만, 교차 채널 일관성 (채널 $i$ 를 참조 채널 $j$ 에 대해 피팅) 을 종료 기준으로 사용합니다.
   • 근거: 이는 깨끗한 교차 채널 편향을 줄이면서 채널별 노이즈가 피팅된 채널과 덜 상관관계를 갖도록 보장합니다.

2. 회색조 이미지를 위한 마스크 참조 ES (MR-ES):

   • 메커니즘: 고보존 마스크 $M$ 을 통해 작은 부분의 픽셀 (예: 픽셀의 2%) 을 홀드아웃 (hold-out) 하여 의사 참조를 구성합니다.
   • 절차: DIP 는 홀드아웃된 픽셀을 최적화에서 명시적으로 제외하는 마스크된 손실 $\|M \odot (f_\theta(z) - y)\|^2$ 을 사용하여 훈련됩니다. 종료 기준은 홀드아웃된 픽셀에서의 오차 $\|H \odot (\hat{x}_t - y)\|^2$ (여기서 $H = 1-M$) 입니다.
   • 근거: 홀드아웃된 픽셀은 훈련 손실에서 제외되므로, 이러한 위치의 노이즈는 피팅 궤적과 독립적이어서 유효한 검증 신호를 제공합니다.

3. 유연한/어려운 노이즈를 위한 증강 채널 참조 ES (ACR-ES):

   • 메커니즘: 단순한 마스크나 채널 분할이 신뢰할 수 없는 경우 (예: 신호 의존적 포아송 노이즈) 를 처리하기 위해 DIP 네트워크의 출력 공간을 증강합니다.
   • 절차: 노이즈가 있는 이미지의 두 개의 의사 복사본이 생성됩니다: $y^{(1)} = y + \zeta_1$ 및 $y^{(2)} = y + \zeta_2$ (여기서 $\zeta_1, \zeta_2$ 는 독립적인 보조 교란입니다). 2C 채널 DIP 네트워크는 $Y = \text{concat}(y, y^{(1)})$ 에 적합하도록 훈련됩니다. 주 채널은 이미지를 재구성하고, 보조 채널은 독립적인 의사 복사본 $y^{(2)}$ 에 대해 모니터링됩니다.
   • 종료 지표: ACR-ES 는 원시 MSE 대신 주파수 편향 점수 (잔차 스펙트럼의 2 차 모멘트) 를 사용합니다. 이 점수는 네트워크가 구조적 세부 사항 복원에서 노이즈 피팅으로 전환될 때 정점을 찍으므로 DIP 의 스펙트럼 편향에 더 민감합니다.

이론적 기여
이 논문은 이러한 접근법에 대한 이론적 근거를 제공합니다:

• 단일 참조 검증: 독립적인 노이즈 참조가 사용 가능하다고 가정할 때, 검증 손실은 깨끗한 이미지의 평균 제곱 오차 (MSE) 와 상수 주변에 집중되어 거의 오라클 수준의 종료를 가능하게 함을 증명합니다.
• 의사 검증 분석: 피팅과 검증 사이에 공유 구성 요소 $s$ 가 있더라도, 공유 에너지가 비공유 분산의 작은 비율이라면 오라클에 대한 초과 MSE 는 최악의 경우 경계보다 이차적으로 더 엄격함을 보여줍니다.
• 일반화: 검증 이론을 일반적인 선형 역문제 ($y = A(x) + \eta$) 로 확장하고, 측정 영역 검증이 이미지 영역 위험으로 전이되는 조건을 확립합니다.

실험 결과
저자들은 가우시안, 포아송, 임펄스 노이즈 하에서 자연 이미지 복원 (Set14, CBSD68, Urban100 등) 과 의료 이미지 재구성 (MRI, CT, PD, T2) 에 대해 제안된 방법들을 WMV-ES 및 SURE-ES 와 같은 베이스라인과 비교 평가했습니다.

• 성능: 제안된 방법들 (CSR-ES, MR-ES, ACR-ES) 은 기존 방법들보다 오라클 (최대 PSNR 을 제공하는 반복) 에 훨씬 더 가까운 종료 지점을 일관되게 달성했습니다.
  • 자연 이미지의 경우, CSR-ES 와 ACR-ES 는 오라클과의 PSNR 격차를 크게 줄였습니다 (많은 경우 약 1.0 dB 에서 약 0.1–0.2 dB 로 감소).
  • 의료 이미지의 경우, MR-ES 와 ACR-ES 는 WMV-ES 와 SURE-ES 보다 우수했으며, 특히 WMV-ES 가 종종 조기에 종료하는 까다로운 포아송 노이즈 시나리오에서 두드러졌습니다.
• 강건성: 이 방법들은 정확한 노이즈 레벨 추정을 요구하지 않았습니다. ACR-ES 는 보조 노이즈 크기 변화와 불일치 노이즈 유형에 대해 강건함을 보였습니다.
• 일반화: 종료 원칙은 분산 기반 방법이 오라클 종료 영역과 정렬되지 못했던 초해상도 및 인페인팅 작업으로 성공적으로 확장되었습니다.

의의 및 주장
이 논문은 DIP 를 위한 조기 종료를 깨끗한 기준 이미지나 정확한 노이즈 추정 없이도 해결 가능한 검증 문제로 효과적으로 축소할 수 있다고 주장합니다. 검증 신호를 피팅 과정과 충분히 비상관화하는 의사 자기 참조 이미지를 구성함으로써, 저자들은 휴리스틱 분산 추적을 대체하는 원칙적인 대안을 제시합니다.

그 의의는 다음과 같습니다:

1. 원칙적 접근: 휴리스틱 분산 모니터링을 넘어 집중 부등식 (concentration inequalities) 에 의해 뒷받침되는 검증 기반 프레임워크로 이동합니다.
2. 실용적 적용성: 외부 학습 데이터나 노이즈 레벨 조정이 필요 없이 다양한 역이미지 문제 (노이즈 제거, 초해상도, 인페인팅) 와 노이즈 유형에서 작동하는 구체적인 작업 적응형 알고리즘 (CSR, MR, ACR) 을 제공합니다.
3. 신뢰성: 이러한 방법들이 현재 최첨단 ES 기술들보다 최적의 재구성 품질에 더 가까운 반복을 일관되게 선택하여 과매개변수화 DIP 네트워크에 내재된 과적합 문제를 완화함을 입증합니다.