Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

기술 요약: 비람베르트 표면에서의 강건한 단안 깊이 추정을 향하여

문제 정의
최근 단안 깊이 추정(Monoeular Depth Estimation, MDE)의 발전은 일반적인 장면에서 인상적인 제로샷 일반화 능력을 갖춘 모델들을 만들어냈다. 그러나 이러한 모델들은 비람베르트(non-Lambertian) 표면, 구체적으로 투명하거나 거울 같은(transparent or mirror, ToM) 영역을 마주할 때 빈번하게 실패한다. 이러한 표면의 독특한 반사 특성은 표준 모델이 표면 자체가 아닌 반사된 콘텐츠를 바탕으로 잘못된 깊이 구조를 예측하게 만든다. Depth4ToM과 같은 이전의 시도들은 외부 세그멘테이션 마스크에 의존하여 RGB 이미지를 무작위 색상으로 인페인팅(in-paint)한 후 사전 학습된 MDE 모델을 통해 처리하는 방식에 의존했다. 이러한 접근 방식은 두 가지 주요 한계점을 가진다: 추가적인 입력 마스크의 정확도에 매우 의존적이라는 점과, 인페인팅 과정에서의 무작위 색상 사용이 견고성이 부족하여 광범위한 하이퍼파라미터 튜닝을 요구한다는 점이다. 또한, 조명 조건은 비람베르트 표면의 깊이 복원에 상당한 영향을 미친다. 과도한 조명은 질감을 압도하고, 불충분한 조명은 노이즈와 왜곡을 유발하며, 특히 투명한 물체와 거울 반사에 영향을 미친다.

방법론
저자들은 베이스라인 모델(구체적으로 Depth Anything V2)이 RGB 인페인팅 없이도 비람베르트 표면의 고유한 특성을 직접 학습할 수 있도록 설계된 증분 학습 프레임워크를 제안한다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있다:

1. 무작위 톤 매핑 증강 (Random Tone-mapping Augmentation, RTA):
   비람베르트 깊이 추정의 조명 민감도를 해결하기 위해, 저자들은 합성 데이터셋인 Hypersim에서 학습 단계 동안 무작위 톤 매핑을 적용한다. $\gamma$를 표준 감마 보정 계수로, $\alpha$를 70번째와 99번째 백분위수 사이의 무작위 백분위 강도 값에서 유도된 스케일 계수로 하여 변환 $I_{aug} = \alpha I_{ori}^{\gamma}$를 적용함으로써, 모델은 다양한 조명 조건에 노출된다. 이는 다양한 조명 환경 하에서 모델의 제로샷 일반화 능력을 향상시키는 것을 목표로 한다.

2. 비람베르트 표면 지역 가이드 (Non-Lambertian Surface Regional Guidance, NSRG):
   인페인팅 대신, 저자들은 그래디언트 도메인 내에서 MDE 모델의 예측을 제약하는 지역 가이드 메커니즘을 도입한다. 대부분의 ToM 물체는 연속적인 평면이라는 사전 지식에 기반하여, 이 방법은 마스킹된 비람베르트 영역 내에서 예측된 깊이 그래디언트와 실제(ground truth) 그래디언트 사이의 일관성을 강제한다.
   손실 함수 $\mathcal{L}_{ToM}$은 예측된 깊이의 그래디언트($\nabla D$)와 실제 그래디언트($\nabla D^\star$)를 정렬하기 위해 강건한 추정기(robust estimator)를 사용한다. 이 함수는 그래디언트를 정규화하기 위한 스케일($s$) 및 시프트($t$) 계수를 계산하며, 상위 20%의 잔차를 제거함으로써 이상치를 제거한다. 최종 손실은 정규화된 그래디언트 간의 $L_1$ 거리를 최소화하여, ToM 영역에서 예측된 깊이 평면이 실제와 부드럽고 일관되게 유지되도록 보장한다.

3. 다양한 조명 이미지 융합 (Diverse Lighting Images Fusion, DLIF) (선택 사항):
   동일한 장면에 대해 여러 노출 이미지를 사용할 수 있는 시나리오를 위해, 저자들은 선택적인 융합 모듈을 제안한다. 이 모듈은 Stable Diffusion의 사전 학습된 변이형 오토인코더(VAE)를 활용하여 서로 다른 조명 조건을 가진 여러 이미지를 잠재 특징(latent features)으로 인코딩한다. 이러한 잠재 특징들을 평균 내고 디코딩함으로써, 시스템은 이론적으로 깊이 추정에 최적화된 조명 조건을 갖춘 단일 융합 RGB 이미지를 생성하며, 이 과정에서 VAE의 시맨틱 사전 지식을 활용한다.

주요 기여

• 무작위 톤 매핑 증강: 다양한 조명 조건을 학습 데이터셋에 풍부하게 더하여, MDE 모델의 견고성과 다양한 조명 시나리오에 대한 제로샷 일반화 능력을 크게 향arly 향상시키는 데이터 증강 전략.
• 비람베르트 표면 지역 가이드: 그래디언트 도메인에서 작동하는 새로운 학습 제약 조건. 세그멘테이션 마스크를 사용하여 비람베르트 표면에 대한 올바른 깊이 평면을 직접 추정하도록 네트워크를 유도하며, RGB 인페인팅 방식의 불안정성을 피한다.
• 선택적 이미지 융합 모듈: VAE를 활용하여 다중 노출 이미지를 융합함으로써, 여러 조명 조건이 가용할 때 깊이 추정에 유리한 입력을 제공하는 메커즘.

실험 결과
본 방법은 Booster 데이터셋, NYU Depth Dataset V2 (by Mirror3D에 의해 정제됨), 그리고 TRICKY2024 경진대회 테스트 세트에서 평가되었다.

• 정량적 성능: 제안된 방법은 Depth Anything V2 베이스라인과 비교하여 ToM 영역 내에서( $\delta_{1.05}$로 측정) Booster 데이터셋에서 33.39%, Mirror3D 데이터셋에서 **5.21%**의 정확도 향상을 달了.
• 최첨단 성능 (SOTA): TRICKY2024 경진대회 테스트 세트의 ToM 영역 내에서, 본 방법은 $\delta_{1.05}$ 점수 90.75를 달성하며 최첨단 성능을 입증했다.
• 절제 연구 (Ablation Studies): 실험을 통해 무작위 톤 매핑 증강과 비람베르트 표면 지역 가이드가 각각 독립적으로 성능 향상에 기여하며, 두 가지를 결합했을 때 최상의 결과를 얻음을 확인했다. 선택적 이미지 융합 모듈은 다중 노출 입력이 사용될 때 결과를 더욱 개선했다.

의의 및 한계
본 논문은 그 주요 의의가 사후 처리 방식의 인페인팅에서 잘 설계된 학습 프레임워크를 통한 비람베르트 특성의 직접 학습으로 패러다임을 전환하는 데 있다고 주장한다. 그래디언트 일관성과 조명 견고성에 집중함으로써, 이 방법은 무작위 색상에 대한 경험적 조정을 의존하지 않고 파이프라인을 단순화하고 안정성을 높인다.

저자들은 한계점 또한 인정하였는데, 유리와 같은 비람베르트 표면의 질감이 완전히 소실되는 극도로 과노출된 이미지의 경우 네트워크가 여전히 실패할 수 있음을 언급했다. 이들은 향-후 연구에서 이미지 품질 최적화 및 시맨틱 정보 융합을 통합하여 이러한 극한 조건에서의 정성적 및 정량적 결과를 더욱 개선할 수 있을 것이라고 제안했다.