Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

1. 문제 정의 (Problem Statement)

이 논문은 NTIRE 2026 3D 복원 및 재구성 챌린지 (Track 2) 를 위해 개발된 것으로, 다중 뷰 (Multi-view) 이미지에서 연기를 제거하고 깨끗한 장면의 새로운 뷰 (Novel View) 를 합성하는 것을 목표로 합니다.

• 핵심 난제: 기존 방식은 단일 이미지 기반의 dehazing(연기 제거) 모델이 각 뷰를 독립적으로 처리하여 시각적으로 훌륭한 결과를 내지만, **뷰 간 일관성 (Multi-view Consistency)**이 부족하다는 점입니다.
• 발생하는 현상: 생성형 dehazing 모델 (예: Nano Banana Pro) 이 각 프레임마다 색상, 질감, 그리고 환각된 디테일 (hallucinated detail) 에서 무작위적인 변이 (stochastic variations) 를 일으킵니다. 이러한 일관성 없는 데이터로 3D Gaussian Splatting (3DGS) 을 학습시키면, 최적화 과정에서 가우시안 커널이 불일치를 평균화하기 위해 넓어지게 되어 **흐릿한 렌더링, 텍스처 드리프트, 구조적 불안정성 (Floaters)**이 발생합니다.
• 통찰: 단일 이미지 복원 품질이 높다고 해서 반드시 3D 재구성 품질이 보장되는 것은 아니며, 오히려 뷰 간 불일치가 3D 복원의 성능 상한을 결정짓는 주요 요인임을 발견했습니다.

2. 제안 방법론: Dehaze-then-Splat

저자들은 2 단계 파이프라인을 제안하여 생성형 dehazing 의 높은 품질과 3DGS 의 기하학적 일관성을 결합했습니다.

1 단계: 생성형 dehazing 및 전처리

• Nano Banana Pro 사용: Gemini API 기반의 Nano Banana Pro 를 사용하여 프레임 단위로 연기를 제거합니다. 구조화된 프롬프트를 사용하여 장면의 기하학과 사실적인 외관을 보존하도록 지시합니다.
• 밝기 정규화 (Brightness Normalization): 프레임별 처리로 인한 밝기 불일치 (인접 프레임 간 최대 0.12 차이) 를 보정하기 위해 채널별 평균/표준편차 정규화를 적용합니다. GT(Ground Truth) 가 있는 경우 GT 통계에 맞추고, 없는 경우 전체 프레임의 중앙값에 맞춰 자기 정규화 (self-normalization) 를 수행합니다.

2 단계: 물리 정보 기반 3DGS 학습

단순한 광도학적 손실 (Photometric loss) 만으로는 뷰 간 불일치를 해결할 수 없으므로, **물리 정보 기반의 보조 손실 함수 (Physics-informed auxiliary losses)**를 도입하여 3DGS 학습을 강화합니다.

• 총 손실 함수:
  $$L = (1-\lambda_s)L_1 + \lambda_sL_{SSIM} + \lambda_dL_{DCP} + \lambda_pL_{depth} + \lambda_gL_{grad}$$
• 주요 보조 손실 (Auxiliary Losses):
  1. 깊이 감독 (Depth Supervision): Depth Anything V2 로 생성된 의사 깊이 (pseudo-depth) 맵과 렌더링된 깊이의 상관관계를 Pearson 상관계수를 통해 최대화합니다. (가장 영향력이 큼)
  2. 어두운 채널 사전 (Dark Channel Prior, DCP): 깨끗한 이미지의 어두운 채널 값이 0 에 가까워야 한다는 물리적 가정을 활용하여, 렌더링 이미지의 잔여 연기를 억제합니다.
  3. 이중 소스 그래디언트 매칭 (Dual-source Gradient Matching): Nano Banana Pro 결과와 MB-TaylorFormer 결과를 기반으로 엣지 구조를 일치시켜 구조적 일관성을 유지합니다.
• 밀도 증가 전략 (Densification Strategy):
  • MCMC 전략: gsplat 라이브러리의 MCMC 기반 가우시안 밀도 관리 방식을 사용하여 수동 분할/클론/가지치기보다 우수한 성능을 냅니다.
  • 조기 중단 (Early Stopping): 뷰 간 불일치로 인한 오버피팅과 Floaters(불필요한 가우시안) 발생을 막기 위해, 가우시안 수가 104k~161k 수준으로 적절히 유지되는 학습 단계 3000 (Step 3000) 이전에 학습을 중단합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1. Dehaze-then-Reconstruct 파이프라인의 근본적 긴장 관계 규명: 단일 이미지 복원 품질과 다중 뷰 일관성 사이의 상충 관계 (Trade-off) 를 명확히 분석하고, 이를 해결하기 위한 물리 기반 정규화의 필요성을 증명했습니다.
2. 물리 정보 기반 정규화: 생성형 모델의 무작위성을 보상하기 위해 깊이 감독, DCP, 그래디언트 매칭을 결합한 새로운 3DGS 학습 전략을 제안했습니다.
3. 용량 제어 (Capacity Control): 학습 초기 단계 (Step 2000~4000) 에서 모델이 뷰별 아티팩트를 외우기 전에 최적의 성능을 낸다는 것을 발견하고, 이를 활용한 조기 중단 전략을 정립했습니다.
4. End-to-End 방식의 한계 증명: 대기 산란 모델 (Koschmieder) 을 3DGS 에 직접 통합하는 방식은 일관성은 유지하지만 복원 품질이 낮아 실패함을 보임으로써, 하이브리드 접근법의 우월성을 입증했습니다.

4. 실험 결과 (Results)

**Akikaze 검증 장면 (Validation Scene)**에서의 결과는 다음과 같습니다.

• 성능: 새로운 뷰 합성 (NVS) 에서 PSNR 20.98 dB, SSIM 0.683을 달성했습니다.
• 비교: 보조 손실이 없는 베이스라인 (Unregularized baseline) 대비 PSNR 1.50 dB 향상을 기록했습니다.
• 성분 분석 (Ablation Study):
  • 깊이 감독 (Depth supervision) 이 가장 큰 기여 (+0.79 dB) 를 했습니다.
  • MCMC 전략은 Default 전략 대비 +0.47 dB 향상.
  • 조기 중단 (STOP=3k) 은 학습을 길게 유지할 때 발생하는 성능 저하를 막고 +0.35 dB 추가 개선을 가져왔습니다.
• 2D Dehazing 모델 비교: Nano Banana Pro 가 단일 프레임 PSNR 20.07 dB 로 기존 방법 (MB-TaylorFormer: 17.00 dB, DCP: 11.9 dB) 을 압도적으로 능가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 2D 생성형 모델의 높은 복원 능력과 3D 재구성의 기하학적 일관성 요구 사이의 간극을 효과적으로 연결하는 방법을 제시했습니다.

• 핵심 메시지: 단순히 dehazing 모델을 적용하는 것만으로는 3D 복원이 불가능하며, 3DGS 학습 단계에서 물리 법칙 (깊이, 대기 산란 등) 을 기반으로 한 정규화 (Regularization) 와 모델 용량 (가우시안 수) 을 엄격히 제어하는 것이 필수적입니다.
• 미래 과제: 생성 단계 자체에서 뷰 간 일관성을 고려하는 생성 모델 (Video-based generative models, Multi-view attention 등) 개발이나, 테스트 시간 일관성 최적화를 통해 2D 복원과 3D 재구성 간의 격차를 더 좁히는 연구가 필요함을 강조합니다.

결론적으로, Dehaze-then-Splat은 생성형 AI 와 물리 기반 3D 비전 기술을 융합하여 연기 제거 및 3D 재구성 분야에서 새로운 성능 기준을 제시한 중요한 연구입니다.