Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

기술 요약: 희소 뷰 신경 재구성을 위한 신뢰도 기반 단안 깊이 감독

문제 정의
희소 뷰(Sparse-view) 신경 재구성은 특히 실외 주행 장면에서 매우 까다로운 과제입니다. 타겟을 중심으로 카메라가 회전하는 객체 중심 데이터셋과 달리, 자율 주행 시퀀스는 좁고 전방을 향하는 경로를 따라 카메라가 이동합니다. 이는 제한된 다중 뷰 중첩, 원거리 영역의 약한 시차(parallax), 그리고 동적 객체, 반사 및 하늘 영역 등의 문제를 야기합니다. Neural Radiance Fields (NeRF)와 3D Gaussian Splatting (3DGS)은 충분한 뷰가 있을 때는 고품질 렌더링을 달성하지만, 입력 뷰가 희소할 경우 제약 조건이 부족해져 잘못된 기하학적 구조나 "플로터(floaters)"가 발생하는 현상이 나타납니다.

Depth Anything V2 (DA-V2)와 같은 단안 깊이 추정기는 조밀한 기하학적 사전 정보(prior)를 제공하지만, 이들의 예측은 상대적이고 노이즈가 많으며 모든 이미지 영역에서 균일하게 신뢰할 수 있는 것은 아닙니다. 이러한 사전 정보를 균일하게 적용하면 신뢰할 수 없는 영역(예: 폐쇄 경계 또는 반사 표면)에서 오류를 유발할 수 있습니다. 본 논문이 다루는 핵심 질문은 노이즈가 있는 사전 정보로 인해 재구성 품질을 저해하지 않으면서, 어떻게 효과적으로 희소 뷰 설정에서 단안 깊이 감독을 활용할 것인가 하는 점입니다.

방법론
저자들은 RGB 재구성의 신뢰도에 따라 깊이 감독을 선택적으로 적용하는 신뢰도 인식 단안 깊이 감독(reliability-aware monocular depth supervision) 파이프라인을 제안합니다. 이 접근 방식은 세 가지 주요 단계로 구성됩니다:

1. 척도 정렬된 단안 깊이 사전 정보 (Scale-Aligned Monocular Depth Prior):

   • DA-V2를 사용하여 조밀한 상대적 깊이 지도를 생성합니다.
   • 이 지도들은 유효한 참조 앵커(KITTI의 LiDAR 포인트, Bicycle 장면의 COLMAN 포인트)에 대한 이미지당 스케일-시프트 피팅 과정을 거쳐 미터법 깊이로 정렬됩니다.
   • 정렬된 깊이는 미터법 사전 정보로 사용하기 위해 유효 범위(예: KITTI의 경우 80m)로 클리핑됩니다.

2. 광도 신뢰도 마스킹 (Photometric Reliability Masking):

   • 재구성 품질의 기준을 세우기 위해 먼저 RGB 전용 베이스라인 모델을 학습시킵니다.
   • 베이스라인의 렌더링 이미지와 실제 정답(ground truth)을 비교하여 픽셀당 광도 재구성 오차($e(u)$)를 계산합니다.
   • 임계값 $\tau$를 기준으로 이진 마스크를 생성합니다. 광도 오차가 낮은($e(u) < \tau$) 픽셀은 "신뢰할 수 있는" 것으로 간주되어 깊이 감독에 유지되는 반면, 오차가 높은 영역(동적 객체, 반사 또는 하늘이 포함될 가능성이 높은 곳)은 마스킹 처리됩니다.

3. 마스크된 깊이 감독 목적 함수 (Masked Depth Supervision Objective):

   • 재구성 모델(Mip-NeRF-360 또는 Splatfacto)을 결합 손실 함수 $L = L_{rgb} + \lambda_{depth} L_{depth}$를 사용하여 재학습합니다.
   • RGB 손실은 전체 이미지에 적용됩니다.
   • 깊이 손실($L_{depth}$)은 광도 신뢰도 마스크와 깊이 유효성 마스크의 교집합으로 정의되는 유효 감독 마스크($M_{eff}$)가 활성화된 픽셀에서만 계산됩니다.
   • 이를 통해 노이즈가 있는 단안 사전 정보가 이미 RGB 재구성이 일관된 영역에서만 규제 역할을 수행하도록 보장합니다.

주요 기여

• 선택적 감독 전략: 단순하게 이미지 전체에 단안 깊이 사전 정보를 적용하는 대신, 광도 재구성 오차에 따라 선택적으로 적용하는 방법을 도입했습니다.
• 비교 평가: 제안된 전략을 두 가지 서로 다른 장면 표현 방식인 암시적 밀도장(Mip-NeRF-360)과 명시적 가우시안 표현(Splatfacto)에서 평가했습니다.
• 절제 실험 및 일반화: 매치드-레이쇼(matched-ratio) 마스크 절제 실험과 여러 KITTI 시퀀스(02 및 05) 및 Bicycle 장면에 대한 실험을 통해, 이 데생의 이점이 단순히 감독되는 픽셀 수를 줄이는 것이 아니라 신뢰할 수 있는 영역을 선택하는 데서 온다는 것을 입증했습니다.
• 백본 민감도 분석: 본 연구는 깊이 감독의 효용성이 밑바탕이 되는 표현 방식(암시적 vs 명시적)과 장면 구성(희소 전방향 vs 객체 중심)에 크게 의존한다는 점을 강조합니다.

실험 결과
평가는 KITTISeq02 (every-2nd frame sparse 설정), KITTISeq05, 그리고 Mip-NeRF-360 Bicycle 장면에 대해 수행되었습니다.

• Mip-NeRF-360 (암시적):

  • KITTISeq02에서 마스크된 단안 깊이 감독은 미미한 렌더링 이득(최상의 경우 PSNR이 20.378에서 20.607로 증가)만을 제공했으며, 미터법 기하학(AbsRel 및 RMSE가 RGB 전용 베이스라인보다 악화됨)을 개선하지 못했습니다.
  • KITTISeq05에서 글로벌 및 마스크된 깊이 감독 모두 RGB 전용 학습보다 렌더링 품질과 기하학적 구조를 모두 저하시켰습니다.
  • 결론: 암시적 밀도장은 스케일 정렬된 단한 깊이의 노이즈에 민감하며, 사전 정보가 약하거나 불안정한 규제 역할을 합니다.

• Splatfacto (명시적):

  • KITTISeq02에서 Splatfacto는 상당한 이득을 얻었습니다. PSNR은 14.903(RGB 전용)에서 15.932로 향상되었고, RMSE는 0.542에서 0.100으로 급격히 감소했습니다.
  • 매치드-레이쇼 절제 실험을 통해 저오차 마스크가 고오차 및 랜덤 마스크보다 우수함을 확인하였으며, 이는 이득이 영역 선택에서 비롯됨을 증명했습니다.
  • KITTISeq05에서도 렌더링과 기하학 모두에서 유사한 개선이 관찰되었습니다.
  • 결론: 명시적 가우시안 표현은 깊이 감독이 가우시안 배치를 직접 가이드하여, 희소 영역에서의 플로터를 줄이고 기하학적 구조를 개선할 수 있게 합니다.

• Bicycle 장면 (객체 중심):

  • 강력한 다중 뷰 커버리지를 가진 이 장면에서 깊이 감독은 기하학적 구조를 개선(RMSE가 1.479에서 0.722로 감소)했지만, 일반적으로 RGB 렌더링 품질(PSNR, SSIM, LPIPS 감소)을 저하시켰습니다.
  • 이는 RGB 제약 조건이 이미 강한 경우, 깊이 사전 정보가 과도하게 규제할 수 있음을 시사합니다.

의의 및 주장
본 논문은 단안 깊이 사전 정보가 희소 뷰 재구성에서 양날의 검이라고 결론짓습니다. 그 유용성은 보편적이지 않으며, 재구성 백본과 장면 제약 조건에 크게 의존합니다:

1. 백본 의존성: 단안 깊이 사전 정보는 희소 전방향 장면에서의 명시적 가우시안 표현(Splatfacto)에는 매우 효과적이지만, 암시적 NeRF 스타일 표현(Mip-NeRF-360)에는 거의 도움이 되지 않거나 오히려 해로울 수 있습니다.
2. 신뢰도가 핵심: 이득은 단순히 더 많은 감독 데이터를 추가해서가 아니라, 단안 사전 정보가 RGB 관측값과 충돌하는 신뢰할 수 없는 영역을 필터링하는 데서 나옵니다.
3. 트레이드오프: 다중 뷰 커버리지가 강한 장면에서는 깊이 감독이 광도 충실도를 희생하면서 기하학적 지표를 개선할 수 있습니다.

저자들은 특히 제약이 적은 희소 뷰 시나리오에서 명시적 장면 표현을 사용할 때, 적절한 가중치를 둔 선택적 단안 깊이 사전 정보 적용을 권장합니다. 또한 향후 연구로서 더 나은 스케일 정렬, 불확실성 인지 마스킹, 그리고 적응형 손실 가중치에 집중할 것을 제안합니다.