기술 요약: 엔드 투 엔드 실세계 이미지 디헤이징을 위한 백본 불가지론적 섭동 유도 불확실성 학습 (BPUL)

문제 정의

실세계 이미지 디헤이징(dehazing)은 공간적으로 비균일하고, 조명에 의존하며, 물리적으로 모호한 안개 퇴화 특성으로 인해 여전히 까다로운 난제(ill-posed problem)로 남아 있습니다. 기존의 엔드 투 엔드 복원 네트워크들은 일반적으로 디헤이징을 안개가 낀 관측값으로부터 깨끗한 타겟으로의 결정론적 매핑(deterministic mapping)으로 공식화하지만, 이는 퇴화된 특징, 안개 사전 지식(priors), 그리고 교차 도메인 부정 샘플 내에 숨겨진 불확실성을 명시적으로 탐색하는 데 실패하는 경우가 많습니다. I-HAZE, O-HAZE, Dense-Haze와 같은 쌍을 이룬 실세계 데이터셋을 사용하더라도, 픽셀 단위의 재구성만으로는 표준적인 지도 학습이 서로 다른 특징 채널과 공간 위치가 안개에 대해 갖는 가변적인 민감도를 고려하지 못하기 때문에 구조적 뭉개짐(over-smoothed structures)이나 색상 왜곡이 발생할 수 있습니다. 또한, 기존 방법들은 복원된 이미지가 관찰된 안개의 형성 과정과 물리적으로 일치하는지 검증하거나, 특징 공간에서 실제 및 합성 퇴화 도메인을 효과적으로 분리하는 메커니즘이 부족합니다.

방법론: BPUL 프레임워크

저자들은 기존 복원 백본의 설계를 변경할 필요 없이 퇴화에 민감한 특징 불확실성을 모델링하도록 설계된 플러그 앤 플레이(plug-and-play) 프레임워크인 **백본 불가지론적 섭동 유도 불확실성 학습(Backbone-Agnostic Perturbation-Induced Uncertainty Learning, BPUL)**을 제안합니다. BPUL은 세 가지 상호 보완적인 구성 요소로 이루어져 있습니다.

1. 학습 가능한 섭동 유도 불확실성 조절기 (LPUM)

LPUM은 복원 백본(CNN, Transformer 또는 하이브리드)의 중간 레이어에 삽입되는 핵심 추론 시 모듈입니다. 이는 다음과 같이 작동합니다:

• 확률적 섭동 (Stochastic Perturbation): 중간 특징 맵에 학습 가능한 확률적 섭동을 주입합니다. 이는 재매개변수화된 샘플링(reparameterized sampling, 평균과 로그 표준 편차 예측)을 사용하여 채널별 및 공간별 섭동 분포를 추정합니다.
• 불확실성 응답 (Uncertainty Response): 원래의 특징 응답과 역방향으로 정렬된 섭동 응답을 비교하여 불일치 맵(discrepancy map)을 계산합니다. 이 불일치는 특정 채널과 공간 위치가 안개 관련 섭동에 대해 갖는 민감도를 측정합니다.
• 특징 조절 (Feature Modulation): 이러한 불일치를 (시그모이드 게이트 매핑을 통해) 조절 가중치로 변환하여 특징을 적응적으로 스케일링합니다. 안정적인 응답은 신뢰할 수 있는 콘텐츠를 나타내며, 섭동 후 급격한 변화는 조절이 필요한 퇴화 민감 영역을 강조합니다.

2. 사전 지식 기반 불확실성 유도 재구성 모듈 (PURM)

PURM은 물리적 일관성을 강제하기 위한 훈련 시 제약 조건 역할을 합니다. 이는 대기 산란 모델을 사용하여 복원된 이미지($\hat{J}$)로부터 원래의 안개 낀 관측치($\hat{I}$)를 재구성합니다:
$$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$$

• 사전 지식 주입 (Prior Injection): 투과율($T_d$)과 대기 광원($A_d$)에 대한 다크 채널 사전(DCP) 추정치를 활용하며, 이를 결합(concatenation) 및 잠재 아핀 조절(latent affine modulation)을 통해 주입합니다.
• 불확실성 결합 (Uncertainty Coupling): 결정적으로, PURM은 새로운 섭동을 학습하는 대신 백본의 LPUM에서 생성된 섭동 큐($N_c, N_s$)를 상속받습니다(상속된 I-LPUM 블록을 통해). 이는 전방향 디헤이징 과정에서 민감하다고 식별된 영역이 역방향 안개 재구성에 영향을 미치도록 보장합니다.
• 손실 (Loss): 재구성 손실($L_{rec}$)은 재구성된 안개 이미지와 원래 입력 사이의 차이를 최소화합니다.

3. 이중 공간 도메인 다양화 분포 인식 대조 학습 (D3CL)

D3CL은 깨끗한 복원 공간과 안개 재구성 공간 모두에서 특징 분포를 정규화합니다.

• 이중 공간 (Dual-Space): 디헤이징된 출력($\hat{J}$)과 재구성된 안개 이미지($\hat{I}$) 모두에 대조 학습을 적용합니다.
• 다양화된 부정 샘플 (Diversified Negatives): 오직 쌍을 이룬 안개 입력만을 부정 샘플로 사용하는 대신, 다음을 활용합니다:
  • 실세계 부정 샘플: 더 넓은 실세계 퇴화 도메인을 모델링하기 위해 다른 훈련 쌍으로부터 온 대응하지 않는 안개 이미지들을 사용합니다.
  • 합성 부정 샘플: 합성 안개 분포를 커버하기 위해 사용됩니다.
• 확률적 특징 (Stochastic Features): 효율적인 분포 인식 표현을 근사하기 위해, 몬테카를로 추론(Monte Carlo inferences)의 비용을 피하면서 활성화 크기에 따라 섭동된 퍼셉추얼 특징(frozen VGG-19을 통해 추출됨)을 사용합니다.
• 목표 (Objective): 이 손실은 앵커(anchor)를 양의 샘플(깨끗하거나 원래의 안개 이미지) 쪽으로 끌어당기고, 섭동 인식 퍼셉추얼 공간 내에서 실세계 및 합성 부정 샘 Sample들로부터 밀어냅니다.

훈련 vs 추론: 전체 프레임워크(LPUM + PURM + D3CL)는 훈련 중에 사용됩니다. 추론 시에는 경량화된 LPUM이 강화된 백본만 유지되며, PURM과 D3CL은 제거됩니다. 이를 통해 추가적인 계산 오버헤드를 최소화합니다.

주요 기여

1. BPUL 프레임워크: 학습 가능한 확률적 섭동을 통해 퇴화에 민감한 특징 불확실성을 명시적으로 모델링하는, 백본 불가지론적 불확실성 학습 프레임워크를 도입했습니다.
2. LPUM: 백본 아키텍처를 변경하지 않고도 적응형 특징 조절을 가능하게 하는, 섭동 유도 불일치로부터 채널별 및 공간별 불확실성 응답을 추정하는 모듈입니다.
3. PURM: 투과/대기 사전 지식과 공유된 불확실성 큐에 의해 유도되어, 복원 결과로부터 안개 관측치를 재구성함으로써 양방향 물리적 일관성 제약을 부과하는 재구성 모듈입니다.
4. D3CL: 섭동 인식 특징 공간 내에서 실세계 및 합성 부정 샘플을 사용하여 깨끗한 공간과 안개 공간 모두를 정규화하는 이중 공간 대조 학습입니다.
5. 실증적 검증: 5개의 실세계 쌍 데이터셋 벤치마크에 대해 BPUL이 여러 대표적인 백본(MIMOUNet, IRNeXt, HOGformer-S, VIVNet)을 일관되게 개선함을 입증했습니다.

실험 결과

저자들은 다섯 가지 실세계 쌍 벤치마크(Dense-Haze, I-HAZE, O-HAZE, NH-HAZE, LMHaze)에서 BPUL을 평가했습니다.

• 성능: BPUL은 테스트된 네 가지 백본 모두를 일관되게 향상시켰습니다. 평균적으로 MIMOUNet을 1.13 dB / 0.031 SSIM, IRNeXt를 0.96 dB / 0.021 SSIM, HOGformer-S를 1.48 dB / 0.061 SSIM, VIVNet을 1.09 dB / 0.038 SSIM만큼 개선했습니다.
• 일반성: 이 방법은 다양한 퇴화 유형(실내/실외, 균일/비균일, 다양한 강도)과 다양한 백본 아키텍처(CNN, Transformer, 하이브리드) 전반에서 견고함을 보여주었습니다.
• 효율성: PURM과 D3CL은 훈련 전용 제약 조건이므로, 추론 비용은 경량화된 LPUM 연산에 국한되어 매우 미미합니다.
• 절제 연구 (Ablation Studies):
  • LPUM에서 채널별 또는 공간별 브랜치를 제거하면 성능이 저하되어, 공동 모델링의 필요성을 확인했습니다.
  • 학습 가능한 섭동 생성을 제거하면 PSNR이 감소하여, 학습된 분포의 중요성을 강조했습니다.
  • PURM에서 사전 입력이나 불확실성 조절을 제거하면 성능이 크게 낮아졌으며, 섭동을 순방향 및 역방향 모듈 간에 공유하는 것이 독립적인 추정보다 우수함을 증명했습니다.
  • D3CL 절제 연구 결과, 대응하지 않는 실세계 부정 샘플, 합성 부정 샘플 및 확률적 VGG 특징을 사용하는 것이 점진적으로 결과를 개선했으며, 전체 이중 공간 공식이 최상의 이득을 제공했습니다.

의의 및 주장

본 논문은 BPUL이 실세계 디헤이징 네트워크를 강화하는 일반적이고 효율적인 접근법을 제공한다고 주장합니다. 퇴화에 민감한 불확실성을 명시적으로 학습하고 양방향 퇴화 일관성을 강제함으로써, BPUL은 결정론적 매핑이 놓치기 쉬운 실세계 안개의 본질적인 모호성을 해결합니다. 저자들은 BP-UL이 **백본 불가지론적(backbone-agnostic)**임을 강조하며, 이는 상당한 추론 오버헤드 없이도 기존의 최첨단 복원 네트워크에 최소한의 아키텍처 개입만으로 통합될 수 있음을 의미합니다. 이 접근 방식은 순수 결정론적 복원에서 불확실성 인지 처리로 패러다임을 전환하여, 실세계 안개의 물리적 모호성을 처리하는 원칙적인 방법을 제시합니다.