기술 요약: 이미지 향상을 위한 심층 확률 과정의 통합

문제 정의

이미지 향상은 초해상도(super-resolution), 저조도 향상(low-light enhancement), 채색(colorization), 데레인닝(deraining)과 같은 역문제(inverse problems)를 포괄하며, 이들의 목표는 열화된 관측값($y$)으로부터 고품질 이미지($x_0$)를 복원하는 것이다. 이러한 문제들은 본질적으로 부적정(ill-posed)한데, 이는 하나의 저품질 입력이 다양한 가능한 고품질 재구성 분포에 대응할 수 있기 때문이다. 결과적으로, 현대적인 시스템들은 점 추정(point estimation)에 의존하기보다 복잡한 조건부 분포를 포착하기 위해 생성 모델을 활용한다.

확산 기반 모델(diffusion-based models)이 강력한 베이스라인이 되어 왔으나, 최근에는 열화된 입력 $y$에 생성 궤적을 명시적으로 조건화하는 대안적인 확률 과정들을 제안하는 연구들이 늘어나고 있다 (예: ResShift, IR-SDE, BBDM). 이러한 방법들은 무조건적 노이즈로부터 진화하기보다는 저품질과 고품질 이미지 사이를 보간(interpolate)하는 것을 목표로 한다. 그러나 이러한 조건부 과정들과 표준 확산 모델 사이의 관계는 여전히 불분명하다. 기존 방법들은 확률적 정의뿐만 아니라 스케줄러, 샘플러, 이산화 전략 및 아키텍처에서도 차이를 보인다. 이러한 얽힘은 밑바탕이 되는 프로세스 자체의 효과를 분리해내는 것을 어렵게 만들며, 이로 인해 공정하고 직접적인 비교가 결여되고 특정 조건부 접근 방식이 왜 성공하거나 실패하는지에 대한 이해가 부족해지는 결과를 초래한다.

방법론

저자들은 최근의 이미지 향상 방법들을 세 가지 계열의 연속 시간 프로세스인 무조건적 확산 모델(unconditional diffusion models), 오른슈타인-우렌벡(Ornstein–Uhlenbeck, OU) 프로세스, 그리고 **확산 브릿지(diffusion bridges)**로 분류함으로써 통합적인 관점을 제시한다. 핵심 기여는 이 모든 접근 방식이 단일 확률 미분 방정식(SDE) 정식화로부터 도출됨을 입증하는 것이다:

$$d\mathbf{x}_t = f(\mathbf{x}_t, t, \mathbf{y}) dt + g(t) d\mathbf{w}_t$$

여기서 $\mathbf{x}_t$는 시간 $t$에서의 상태, $\mathbf{y}$는 조건부 변수(열화된 이미지), $\mathbf{w}_t$는 위너 프로세스(Wiener process)이다. 저자들은 겉보기에 서로 달라 보이는 방법들이 주로 다음 요소들에 의해 차이가 난다는 것을 보여준다:

1. 드리프트(drift) 및 확산(diffusion) 항 ($f$와 $g$).
2. 종단 분포(terminal distributions) (시간 $t=1$에서의 기초 분포).
3. 경계 조건(boundary conditions) (프로세스가 시작되고 끝나는 방식).

결정적으로, 이 프레임워크는 확률 프로세스의 정의를 스케줄러, 샘플러, 이산화 전략과 같은 구현 선택 사항과 분리하며, 후자를 직교하는 설계 선택으로 취급한다.

이론적 통합

• 무조건적 프로세스: 표준 확산 모델(DM-VE, DM-VP)과 플로우 매칭(Flow Matching, FM)은 입력 $\mathbf{y}$가 순방향 과정 정의에는 나타나지 않지만 신경망의 추가적인 입력으로 제공되는 사례임을 보여준다. 플로우 매칭은 역시간 ODE가 원래의 플로우를 복구하는 연속적 확률 프로세스로 재정의된다.
• 오른슈타인-우렌벡(OU) 프로세스: IR-SDE, ResShift, InDI와 같은 방법들은 정상 분포(stationary distribution)가 $\mathbf{y}$를 중심으로 하는 일반화된 OU 프로세스로 식별된다. 저자들은 이러한 프로세스에 대한 폐쇄형 해석 솔루션(closed-form analytical solutions)을 유도하여(예: ResShift 및 InDI에 대해), 기존 구현에서 사용된 이산적이고 수치적으로 계산된 스케줄러를 연속 시간 정식화로 대체한다.
• 확산 브릿지: BBDM, DDBM, I2SB, GOUB, UniDB와 같은 방법들은 **두브의 h-변환(Doob's h-transform)**을 통해 통합된다. 저자들은 BBDM, DDBM-VE, I2SB가 노이즈 스케줄러의 선택에서만 다를 뿐 수학적으로 동일함을 입증한다. UniDB는 종단 비용 파라미터($\gamma$)를 도입하여 종단 정확도와 경로 평활도(path smoothness) 사이의 절충을 가능하게 하는 일반화된 모델로 제시된다.

주요 기여

1. 통합 SDE 프레임워크: 무조건적 모델, 플로우 기반 방법, OU 프로세스, 확산 브릿지를 일반화하며, 방법의 정의를 스케줄러 및 샘플러와 명시적으로 분리하는 연속 시간 정식화를 제공한다.
2. 제어된 경험적 연구: 동일한 백본 아키텍처(UNet 및 DiT), 훈련 프로토콜, 손실 함수(MSE)를 사용하여 네 가지 작업(초해상도, 저조도 향상, 채색, 데레인닝)에 대해 대규모 평가를 수행하였다.
3. 성능 요인 식별:
   • 온도(Temperature): 저자들은 OU 기반 방법에서 낮은 온도 설정이 주요 실패 요인임을 확인했다. 낮은 온도는 중간 상태와 입력 사이의 강한 공선성(collinearity)을 유발하여, 네트워크가 실제 스코어(score)를 모델링하는 대신 단순한 외삽(extrapolation)을 학습하게 함으로써 세부 디테일 복원을 저해한다.
   • 결정론적 샘플링(Deterministic Sampling): 확산 브릿지에 적용된 결정론적 샘플러(예: Euler ODE)가 체계적으로 과도한 평활화(oversmoothing)를 일으킨다는 것을 밝혀냈다. 유일한 확률성 원천(브라운 운동)을 제거함으로써, 이러한 샘플러는 궤적이 $\mathbf{y}$와 $\mathbf{x}_0$ 사이를 직선으로 따라가게 강제하여 평균적인 ground truth로 수렴하게 만든다.
4. ItoVision 라이브러리: 통합 프레임워크를 구현한 모듈형 PyTorch 라이브러리를 공개하여, 재현 가능한 비교와 새로운 확률적 이미지 향상 방법의 신속한 프로토타이핑을 지원한다.

결과

제어된 실험 결과, 모든 작업에서 일관되게 우세한 방법은 존재하지 않음이 드러났다.

• 성능 유사성: 동일한 프로토콜 하에서 훈련될 때, 대부분의 방법은 놀라울 정도로 유사한 성능을 보였다. 많은 경우, 순수 무조건적 확산 모델이 특화된 OU 또는 브릿지 기반 접근 방식과 대등하거나 오히려 더 나은 성능을 보였다.
• 작업별 경향:
  • 초해상도 및 저조도: 무조건적 프로세스(DM-VP)가 약간의 우위를 보였다.
  • 채색: 확산 브릿지가 가장 효과적이었다.
  • 데레인닝: 무조건적 방식과 브릿지 기반 방식 모두 경쟁력이 있었다.
• 구체적 발견:
  • ResShift는 집계된 결과에서 표준 확산 모델보다 약간 더 나은 성능을 보였으나, 이는 온도 설정에 민데 민감했다.
  • InDI의 낮은 성능은 기본 설정인 낮은 온도($\tau=0.06$)와 직접적으로 연결되어 있었으며, 온도를 높였을 때 결과가 크게 개선되었다.
  • UniDB는 거의 모든 작업에서 GOUB보다 우수한 성능을 보였는데, 이는 궤적이 데이터 매니폴드의 잘 모델링된 영역 내에 머물도록 하는 파라미터 $\gamma$를 통한 규제 덕분이다.
  • 조상 샘플링(ancestral sampling, 확률적)이 가장 일관된 샘플러로 나타난 반면, 결정론적 샘플러는 확산 브릿지에 대해 높은 LPIPS 점수(과도한 평활화를 의미)를 기록했다.

의의 및 주장

본 논문은 확률적 이미지 향상 방법의 공정하고 해석 가능한 평가를 위한 새로운 기준을 세웠다고 주장한다. 이론적 토대를 통합함으로써, 저자들은 조건부 확률 과정의 우월하다고 인식되는 현상이 프로세스 자체의 본질적인 특성이라기보다 구현 선택(스케줄러, 온도, 샘플러 등)의 산물인 경우가 많음을 입증한다.

이 연구는 조건부 확률 궤적을 설정하는 것이 본질적으로 더 나은 복원 품질을 보장한다는 일반적인 가설에 도전한다. 대신, 아키텍처 및 훈련 선택이 방법론적 차이보다 더 지배적일 수 있음을 시사한다. ItoVision의 공개는 이론적 정의를 수치적 구현과 분리하여, 서로 다른 실험 환경이라는 혼란 변수 없이 새로운 접근법을 개발할 수 있는 표준화되고 확장 가능한 기반을 제공하고자 한다.