기술 요약: RTE-FM-Dehazer

문제 정의

단일 이미지 디헤이징(Single-image dehazing)은 안개가 낀 관측 영상으로부터 선명한 장면을 복원하는 것을 목표로 하지만, 이는 여전히 난해한(ill-posed) 문제입니다. 기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 단순화된 물리적 사전 지식에 대한 의존: 기존 방법들은 대기 산란 모델(Atmospheric Scattering Model, ASM)을 활용합니다. ASM은 단일 산란과 균질한 매질을 가정하는데, 이는 안개가 공간적으로 불균일하고 빛이 다중 산란을 일으키는 실제 환경에서는 자주 위배되는 가정입니다. 이로 인해 잔류 안개, 색상 드리프트(color drift), 과도한 보정 아티팩트가 발생합니다.
2. 데이터 부족 및 합성의 한계: 대규모의 실제 쌍(paired) 형태의 안개/선명 이미지 데이터셋을 수집하는 것은 현실적으로 불가능합니다. 기존의 합성 방식들은 흔히 동일한 제한적인 ASM 가정에 의존하며, 이로 인해 자연스러운 안개의 전체적인 복잡성(예: 비등방성 산란, 깊이에 따른 감쇄)을 재현하지 못합니다. 또한, 최근의 생성적 접근 방식(Diffusion, VQGAN)은 물리적 제약이 부족하여 색상 드리프트나 패치 접합(patch grafting)과 같은 확률적 아티팩트를 유발합니다.

방법론: RTE-FM-Dehazer

저자들은 복사 전달 방정식(Radiative Transfer Equation, RTE)에 의해 정규화된 물리 기반 플로우 매칭(Flow Matching) 작업으로 디헤이징을 재정의한 RTE-FM-Dehazer 프레임워크를 제안합니다.

1. 물리 기반 정규화 (RTE vs. ASM)

본 방법은 ASM 대신, 산란과 흡수를 동시에 고려하여 비균질 및 다중 산란 매질을 자연스럽게 수용할 수 있는 RTE를 채택합니다.

• 플로우 매칭 정식화: 디헤이징 과정을 안개가 낀 잠재 상태($z_0$)에서 깨끗한 잠재 상태($z_1$)로의 연속적인 궤적으로 모델링합니다. 신경망($v_\theta$)은 상미분 방정식(ODE)을 통해 이미지를 진화시키는 속도장(velocity field)을 예측합니다.
• RTE 유도 정규화 항: 저자들은 RTE의 확산-흡수(diffusion-absorption) 항과 플로우 매칭의 ODE 사이의 구조적 유사성을 도출했습니다. 축소된 RTE로부터 다음과 같은 속도 항을 유도합니다:
  $$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$$
  여기서 $-D\nabla^2\mathbf{z}$는 공간적 확산(그래디언트 평활화)을 모델링하며, $\mu_a\mathbf{z}$는 매질의 흡수(복사 휘도의 지수적 감쇄)를 모델링합니다.
• 결합 손실 함수: 네트워크는 예측된 속도를 최적 운송(optimal transport) 방향($z_1 - z_0$) 및 RTE 유도 속도와 일치시키도록 결합 손실 함수를 최소화하도록 학습됩니다:
  $$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$$
  이를 통해 생성된 궤적이 데이터 기반이면서도 물리적으로 타당함(RTE 역학을 만족함)을 보장합니다.

2. 확장 가능한 데이터 파이프라인 (P-HAZE)

실제 쌍 데이터의 부족 문제를 해결하기 위해, 저자들은 대규모 데이터셋인 P-HAZE(50,000 쌍)를 생성하는 파이프라인을 도입했습니다.

• VLM 기반 생성: 시각-언어 모델(예: Qwen2.5-VL, Gemini-2-Flash)을 활용하여, 텍스트 프롬프트를 통해 선명한 참조 영상을 바탕으로 현실적인 안개 영상을 생성합니다. 이는 수작업으로 만든 깊이 맵 없이도 복잡하고 비정상적인 에어로졸 분포(예: 소용돌이치는 연기)를 포착합니다.
• 기하학적 정렬: VLM 출력물에 미세한 기하학적 왜곡이 있을 수 있으므로, 파이프라인은 조밀한 키포인트를 추출하고 평면 호모그래피(planar homography)를 추정하여 안개 영상을 선명한 참조 영상과 픽셀 단위로 정렬합니다.
• 필터링: 두 단계 필터링 전략(SAM2 세그멘테이션 + Human-in-the-loop)을 통해 의미론적 아티팩트를 제거합니다.

3. 아키텍처 및 학습

• 잠재 공간(Latent Space): 계산 비용을 줄이면서 질감을 보존하기 위해 Stable Diffusion v2.1의 잠재 공간(64x64x4)에서 작동합니다.
• 네트워크: U-Net 백본이 속도장을 예측합니다.
• 추론: 안개 낀 상태에서 깨끗한 상태로의 점진적인 전이를 시뮬레이션하기 위해 다단계 오일러 적분(Euler integration, 10단계 이상 권장)을 통해 ODE를 풀어 깨끗한 이미지를 복구합니다.

주요 기여

1. RTE 정규화 플로우 매칭: 저자들은 복사 전달 방정식을 플로우 매칭 프레임워크 내에 소프트 프라이어(soft prior)로 통합함으로써 단일 이미지 디헤이징을 재정의했습니다. 이는 제한적인 ASM을 대체하여, 생성 궤적을 물리적 빛 전달 역학에 정렬시킴으로써 더 안정적이고 현실적인 결과를 도출합니다.
2. 결정론적 생성: 확률적 노이즈 프라이어를 제거하고 확산-흡수 항으로 플로우를 정규화함으로써, 무작위 샘플링 기반 모델들과 달리 원래의 색상 분포를 더 잘 보존하는 결정론적 잠재 궤적을 생성합니다.
3. P-HAZE 데이터셋: VLM 기반의 확장 가능한 파이프라인을 제안하여 50,000개의 현실적인 안개/선명 쌍을 합성함으로써, 희소한 실제 데이터에 의존하지 않고도 강력한 학습을 가능하게 합니다.

실험 결과

모델은 오직 합성 데이터인 P-HAZE만으로 학습되었으며, 다섯 가지 다양한 실제 벤치마크(I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K)에서 평가되었습니다.

• 정량적 성능: RTE-FM-Dehazer는 네 개의 데이터셋에서 가장 높은 PSNR을 기록했으며, 여섯 개 벤치마크 중 다섯 개에서 가장 낮은 LPIPS를 달 기록했습니다. 특히 까다로운 NH-HAZE 데이터셋에서 가장 강력한 경쟁 모델인 LHTD보다 PSNR은 +3.9 dB 높았고, LPIPS는 37% 감소했습니다.
• 일반화 능력: 도메인 변화로 인해 실제 데이터에서 성능이 저하되는 지도 학습 방식과 달리, RTE-FM-Dehazer는 실내, 실외, 연기가 자욱한 장면 전반에 걸쳐 강력한 교차 도메인 일반화 능력을 보여주었습니다.
• 정성적 분석: 시각적 비교 결과, 본 방법은 미세한 질감과 원래의 조명 구조를 보존하면서 공간적으로 변하는 안개와 색상 편차를 효과적으로 제거함을 보여줍니다. CNN/Transformer 방식의 잔류 안개 문제와 생성형(GAN/Diffusion) 베이스라인의 색상 드리프트/아티팩트 문제를 모두 피합니다.
• 절제 연구(Ablation Studies): RTE 정규화(Vanilla FM)를 제거하거나 구성 요소를 분리(흡수 전용 또는 확산 전용)했을 때 성능이 크게 하락하였으며, 이는 통합된 흡수-확산 정식화가 불균일한 안개를 처리하는 데 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 RTE-FM-Dehazer가 데이터 기반 생성 모델과 물리 법칙 사이의 간극을 메움으로써 현재 디헤이징 방식의 핵심적인 한계를 해결한다고 주장합니다. 플로우 매칭 속도장에 RTE를 직접 임베딩함으로써, "물리적으로 정규화된 수송 방정식"을 구현하여 더 선명하고 색상이 일관되며 아티팩트가 없는 결과를 만들어냅니다. 저자들은 이 접근 방식이 생성 과정을 가이드하기 위해 복사 전달과 구조적 유사성을 활용함으로써, 실제 세계의 쌍 데이터 없이도 실제 환경 디헤이징을 위한 강력한 솔루션을 제공한다고 단언합니다.

저자들이 언급한 향-후 연구 과제로는 VAE 정보 손실을 제거하기 위해 잠재 공간에서 픽셀 공간으로 이동하는 것과, 전체 해상도 처리를 위한 효율적인 수치 해석 솔러(numerical solver)를 조사하는 것이 포함됩니다.