Iris: Bringing Real-World Priors into Diffusion Model for Monocular Depth Estimation

논문 요약: Iris (단안 깊이 추정을 위한 확산 모델에 실세계 사전 지식 도입)

1. 문제 정의 (Problem)

단안 깊이 추정 (Monocular Depth Estimation, MDE) 은 3D 재구성, 자율 주행 등 다양한 컴퓨터 비전 응용의 핵심 과제이나, 다음과 같은 주요 한계에 직면해 있습니다.

• 기존 피드포워드 방법의 한계: 대량의 학습 데이터에 의존하지만, 여전히 세부적인 디테일 (fine details) 과 경계 (boundaries) 정밀도를 놓치는 경우가 많습니다.
• 확산 모델 (Diffusion Model) 기반 방법의 한계: 풍부한 생성적 사전 지식 (generative priors) 을 활용하지만, 합성 데이터 (synthetic) 에서 실세계 (real) 로의 도메인 전이 (domain transfer) 가 어렵고, 대규모 데이터로 학습된 기존 방법 (예: Depth Anything V2) 에 비해 성능이 떨어지는 경우가 많습니다.
• 데이터 및 학습의 딜레마:
  • 실세계 데이터: 깊이 지도가 불완전하고 노이즈가 많아 세부 사항을 정확히 학습하기 어렵습니다.
  • 합성 데이터: 정확한 라벨이 있지만, 실세계와의 도메인 격차 (domain gap) 가 큽니다.
• 핵심 질문: 제한된 데이터와 컴퓨팅 자원으로도 세부 디테일을 보존하고, 도메인 간 일반화 성능이 뛰어나며, 대규모 데이터로 학습된 모델과 경쟁할 수 있는 모델은 만들 수 있는가?

2. 방법론 (Methodology)

저자들은 Iris라는 새로운 프레임워크를 제안합니다. 이는 확률적 (stochastic) 인 확산 모델을 결정론적 (deterministic) 인 피드포워드 아키텍처로 변환하고, **실세계 사전 지식 (Real-world Priors)**을 효과적으로 통합하는 2 단계 Priors-to-Geometry Deterministic (PGD) 스케줄을 사용합니다.

A. Priors-to-Geometry Deterministic (PGD) 프레임워크
두 단계는 동일한 가중치를 공유하며, 고 timestep(저 SNR) 에서 저 timestep(고 SNR) 으로 순차적으로 실행됩니다.

1. Prior Stage (사전 지식 정렬 단계):
   • 목표: 실세계의 저주파 구조 (전체 레이아웃, 스케일) 를 학습하되, 고주파 세부 사항은 제약받지 않게 합니다.
   • 방식: 고정된 실세계 Teacher 모델 (Depth Anything V2 등) 의 더미 라벨 (pseudo labels) 을 사용합니다.
   • 기술: **Spectral-Gated Distillation (SGD)**을 도입하여, Teacher 의 고주파 노이즈는 억제하고 저주파 신뢰성 있는 신호만 전달합니다.
2. Geometry Stage (기하학적 정제 단계):
   • 목표: 합성 데이터의 정밀한 Ground Truth 를 통해 고주파 세부 사항과 정확한 기하학을 학습합니다.
   • 방식: 1 단계의 출력을 입력으로 받아 저 timestep 에서 미세 조정합니다.
   • 기술: **Spectral-Gated Consistency (SGC)**를 도입하여, 1 단계에서 생성된 날카로운 경계와 세부 정보를 2 단계로 전달하되, 과도한 활성화 (over-activation) 를 억제하는 제약을 가합니다.

B. 핵심 기술: 주파수 게이트 (Spectral Gating)

• SGD (Spectral-Gated Distillation): Fourier 도메인에서 학습 가능한 경량 저역 통과 게이트 (Low-pass gate) 를 사용하여 Teacher 의 저주파 성분만 증류합니다. 이는 Teacher 의 불완전한 고주파 아티팩트가 모델에 전파되는 것을 방지합니다.
• SGC (Spectral-Gated Consistency): 고역 통과 게이트 (High-pass gate) 를 사용하여 1 단계와 2 단계 간의 고주파 대역 일치를 강제합니다. 이는 1 단계가 자연스럽게 생성하는 날카로운 경계 정보를 2 단계가 활용하도록 유도합니다.

C. 보조 손실 함수

• 확산 모델의 세부 사항 모델링 능력을 유지하기 위해, 합성 및 실세계 데이터에 대한 **이미지 재구성 손실 (Image Reconstruction Loss)**을 추가하여 catastrophic forgetting 을 방지합니다.

3. 주요 기여 (Key Contributions)

1. Iris 프레임워크 제안: 제한된 데이터와 컴퓨팅 자원으로도 실세계 사전 지식을 통합하여, 세부 디테일과 경계 정밀도를 유지하면서 강력한 도메인 간 일반화 성능을 달성하는 결정론적 확산 기반 프레임워크를 개발했습니다.
2. PGD (Priors-to-Geometry Deterministic) 스케줄: 고 timestep 에서의 사전 지식 정렬과 저 timestep 에서의 기하학적 정제를 분리하여, 저주파 실세계 신호와 고주파 합성 신호 간의 경쟁적 기울기 간섭 (gradient interference) 을 해결했습니다.
3. SGD 및 SGC 기술:
   • SGD: Teacher 의 노이즈를 필터링하여 안정적인 저주파 사전 지식을 전달합니다.
   • SGC: 1 단계의 고주파 세부 정보를 2 단계로 전달하면서도 안정성을 확보합니다.
4. 성능 및 효율성: 대규모 데이터로 학습된 기존 모델 (Depth Anything V2 등) 과 경쟁하거나 능가하는 성능을 보여주면서도, 추론 속도가 빠르고 데이터 효율성이 뛰어납니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative): KITTI, NYUv2, ETH3D, ScanNet, DIODE 등 5 개의 제로샷 (zero-shot) 벤치마크에서 **최고의 평균 순위 (All Avg Ranking)**를 기록했습니다. 특히 기존 확산 기반 방법들 (Marigold, Lotus 등) 보다 모든 실세계 벤치마크에서 일관된 성능 향상을 보였습니다.
• 데이터 효율성: Depth Anything V2 는 6260 만 장의 이미지로 학습한 반면, Iris 는 5 만 9 천 장의 합성 데이터 + 10 만 장의 실세계 더미 라벨로만 학습하여 동급 이상의 성능을 달성했습니다.
• 정성적 평가 (Qualitative): 실외 및 실내 장면에서 정확한 메트릭 스케일과 풍부한 텍스처, 날카로운 경계를 보여주며, DAv2 보다 디테일이 선명하고 Lotus 보다 기하학적 구조가 안정적입니다.
• 추론 효율성: 다단계 확산 모델 (Marigold) 보다 훨씬 빠르며, DAv2 보다도 빠른 추론 속도 (약 1.3 초) 를 보입니다.

5. 의의 (Significance)

이 논문은 확산 모델을 밀도 예측 (dense prediction) 작업에 적용할 때 발생하는 실세계 일반화 문제와 세부 사항 손실 문제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 실세계 사전 지식의 효율적 활용: 대규모 데이터 없이도 Teacher 모델의 강력한 저주파 구조 정보를 효과적으로 증류하는 방법을 제시했습니다.
• 주파수 기반 학습 전략: 저주파 (전체 구조) 와 고주파 (세부 사항) 를 주파수 게이트를 통해 분리하여 학습함으로써, 서로 상충되는 학습 목표 (실세계 vs 합성) 를 조화롭게 통합했습니다.
• 실용적 가치: 제한된 컴퓨팅 자원과 데이터로도 산업 현장 (자율 주행, 로봇 등) 에 바로 적용 가능한 고품질 깊이 추정 모델을 구축할 수 있음을 증명했습니다.

결론적으로, Iris 는 확산 모델의 생성적 강점과 결정론적 효율성을 결합하여, 데이터 효율성과 일반화 성능의 새로운 기준 (SOTA) 을 제시한 연구입니다.