기술 요약: 깊이 모호성 모델링 (Modeling Depth Ambiguity, MDA)

문제 정의

단안 및 다중 뷰 깊이 추정 분야의 상당한 발전에도 불구하고, **"플라잉 포인트(flying points)"**라고 불리는 지속적인 실패 모드가 널리 나타나고 있습니다. 이는 전경과 배경 표면 사이의 빈 공간에 예측된 가짜 3D 점들을 의미하며, 특히 물체의 경계 근처에서 두드러집니다. 저자들은 이러한 아티팩트가 근본적인 모델링 한계, 즉 표준 깊이 추정기가 각 픽셀에 단일 깊이 가설(단봉 분포)을 할당한다는 점에서 기인한다고 주장합니다.

물체 경계에서 하나의 픽셀은 종종 폐쇄 에지(occlusion edge)를 걸치게 되어, 전경과 배경 표면 모두로부터의 시각적 단서를 포함하게 됩니다. 모델이 이러한 모호한 픽셀에 대해 단일 깊이 값을 예측하도록 강제될 때, 학습 목적 함수(일반적으로 $\ell_1$ 또는 $\ell_2$ 손실 최소화)는 예측값을 두 유효한 표면 사이의 중간 타협점으로 끌어당깁니다. 이 중간값은 빈 공간에 위치하게 되며, 이는 재구성된 기하 구조를 오염시키고 새로운 뷰 합성(novel-view synthesis)이나 로봇 조작과 같은 다운스트림 작업들을 방해하는 플라잉 포인트로 나타납니다. 저자들은 이 문제가 더 강력한 백본과 더 큰 데이터셋을 사용하더라도 지속된다는 점을 지적하며, 이것이 스케일링 문제가 아닌 모델링 문제임을 시사합니다.

방법론: 깊이 모호성 모델링 (MDA)

본 논문은 경계 근처의 깊이 모호성을 명시적으로 모델링하는 혼합 밀도 표현 방식인 **깊이 모호성 모델링(MDA)**을 제안합니다.

핵심 개념

MDA는 픽셀당 단일 깊이 값을 예측하는 대신, 관련 확률(혼합 가중치) 및 스케일 파라미터와 함께 $K$개의 깊이 가설을 예측합니다.

• 표현: 각 픽셀에 대해 모델은 $K$개의 깊이 가설 $\{\hat{D}_k\}$, 스케일 $\{b_k\}$, 그리고 혼합 가중치 $\{\pi_k\}$ (여기서 $\sum \pi_k = 1$)를 출력합니다.
• 분포: 깊이 분포는 라플라스(Laplacian) 또는 가우시안(Gaussian) 분포의 혼합으로 모델링됩니다:
  $$p(D | \{\hat{D}_k, b_k, \pi_k\}) = \sum_{k=1}^K \pi_k \cdot \frac{1}{2b_k} \exp\left(-\frac{|\hat{D}_k - D|}{b_k}\right)$$
• 동작: 매끄럽고 모호하지 않은 표면에서는 모든 가설이 동일한 깊이로 수렴합니다. 경계에서는 서로 다른 가설들이 서로 다른 표면(예: 하나는 전경, 하나는 배경)을 나타내도록 특화됩니다.

학습 목적 함수

모델은 혼합 밀도의 **음의 로그 가능도(Negative Log-Likelihood, NLL)**를 사용하여 학습됩니다.

• 손실 함수는 혼합 NLL로부터 유도되며, 이는 각 구성 요소 손실의 가중 합으로 축소됩니다.
• 단일 예측을 강제하는 표준 단봉형 손실과 달리, 이 목적 함수는 네트워크가 서로 다른 구성 요소가 유효한 표면에 고정될 수 있는 다봉 분포를 학습할 수 있도록 합니다.

디코딩 전략

추론 시, 시스템은 가설들을 평균 내지 않습니다(평균을 내면 플라잉 포인트 문제가 재발합니다). 대신, 가장 가능성이 높은 가설을 선택합니다:

1. 각 후보 깊이 $\hat{D}_k$에 대해, 모델은 학습된 혼합 분포 하에서의 밀도를 평가합니다.
2. 가장 높은 점수를 가진 구성 요소가 최종 깊이 예측값으로 선택됩니다.
3. 이를 통해 출력되는 깊이가 빈 공간이 아닌, 후보 중 하나의 표면에 위치하도록 보장합니다.

아키텍처 및 확장

• 최소한의 오버헤드: MDA는 기존 백본(예: DA3, VGGT)의 최종 예측 레이어만을 수정합니다. 이는 $3K+1$개의 채널(깊이, 신뢰도, 그리고 각 $K$개 구성 요소에 대한 로짓)을 출력하는 경량 헤드를 추가합니다.
• 투명한 물체: 광선이 여러 표면을 통과하는 투명한 물체를 처리하기 위해, 저자들은 소프트맥스(softmax) 혼합 가중치를 독립적인 시그모이드(sigmoid) 가중치로 대체합니다. 이를 통해 여러 구성 요소가 동시에 활성화될 수 있게 하여, 공존하는 깊이 층(예: 유리 표면과 배경)을 복구할 수 있습니다.
• 하늘 영역: 하늘을 모델링하기 위해 고정된 큰 깊이 파라미터를 가진 전용 구성 요소를 추가합니다. 이 구성 요소는 무한한 깊이를 가진 픽셀을 흡수하여, 유한한 깊이의 구성 요소가 스카이라인을 따라 플라잉 포인트를 생성하는 것을 방지하고 임계값 없는 하늘 분할을 가능하게 합니다.

주요 기여

1. 원인 규명: 저자들은 플라잉 포인트가 단순한 네트워크 용량이나 데이터 양의 실패가 아니라, 모호한 경계 픽셀에 대해 단일 값을 예측하도록 강제하는 데서 오는 직접적인 결과임을 밝혀냈습니다.
2. 혼합 밀도 표현: 여러 개의 깊이 가설과 확률을 예측하는 경량 $K$-구성 요소 혼합 밀도 표현을 제안합니다. 이를 통해 경계 픽셀이 두 표치 사이에서 평균을 내는 대신, 전경 또는 배경 중 하나를 "선택"할 수 있게 합니다.
3. 일반화 가능성: 이 프레임워크는 다양한 백본(DA3 및 VGGT)에서 효과적으로 작동함을 보여주었으며, 동일한 예측 헤드 내에서 투명한 물체 및 하늘 영역과 같은 다른 형태의 깊이 모호성을 처리할 수 있도록 자연스럽게 확장됩니다.

실험 결과

저자들은 경계 품질, 비디오 깊이 추정, 그리고 입력 블러(blur)에 대한 강건성을 기준으로 MDA를 평가합니다.

• 경계 품질: NRGBD, 7Scenes, HiRoom을 포함한 데이터셋에서 MDA는 베이스라인에 비해 경계 오차(Chamfer Distance 및 Accuracy)를 실질적으로 감소시킵니다.
  • 플라잉 포인트 제거: 정성적 결과에 따르면, PPD/PPVD와 같은 확산 기반 정밀화(diffusion-based refinement)를 포함한 베이스라인 모델들은 눈에 띄는 플라잉 포인트를 남기는 반면, MDA는 실제 표면과 일치하는 깨끗한 경계를 생성합니다.
  • 속도: MDA는 베이스라인 피드포워드 모델(예: ~33-34 FPS)과 유사한 속도로 실행됩니다. 반면, 확산 기반 정밀화 방법은 약 80배 더 느립니다.
• 블러에 대한 강건성: 심각한 입력 블러(다운샘플링으로 시뮬레이션됨) 상황에서도 MDA는 단봉형 베이스라인보다 더 완만하게 성능이 저하됩니다. 혼합 방식은 이미지 증거가 약할 때도 전경과 배경 모두에 대해 활성 모드를 유지할 수 있으므로, 단일 가설 모델에서 나타나는 이상치 누적을 피할 수 있습니다.
• 절제 연구(Ablation Studies): 실험을 통해 성능 향상이 단순히 네트워크 헤드의 수를 늘리는 것이 아니라, 혼합 밀도 표현에 의해 주도된다는 것을 확인했습니다. 단봉형 손실을 혼합 NLL로 교체하는 것이 개선의 대부분을 차지했습니다.
• 확장성:
  • 투명한 물체: 시그모이드 가중치 변형은 투명한 물체에서 가시적인 표면과 가려진 배경을 모두 예측함으로써 다층 깊이를 성공적으로 복구합니다.
  • 하늘: 전용 하늘 구성 요소는 스카이라인을 따라 발생하는 플라잉 포인트를 제거하고, 별도의 네트워크 없이도 정확한 하늘 분할을 제공합니다.

의의 및 주장

본 논문은 MDA가 깊이의 물리적 실제(경계에서의 모호성)와 모델링 가정을 일치시킴으로써 플라잉 포인트 문제에 대한 근본적인 해결책을 제공한다고 주장합니다.

• 효율성: 반복적인 정밀화나 확산 프로세스의 계산 비용 없이 최첨단 경계 재구성을 달s합니다.
• 단순성: 기존의 최첨단 모델에 최종 레이어만 수정하면 되는 방식이므로 도입이 용이합니다.
• 통합 프레임워크: 표준 깊이 추정, 투명한 물체, 하늘 영역을 모두 처리할 수 있는 단일 프레임워크를 제공하여, 여러 소스의 깊이 모호성을 동시에 해결합니다.

저자들은 이 접근 방식이 모든 깊이 추정 과제를 해결한다고 주장하는 것이 아니라, 단봉형 모델링으로 인해 발생하는 지속적인 아티팩트인 플라잉 포인트를 구체적으로 겨냥하고 있으며, 이론적으로 입증되고 경험적으로 효과적인 대안을 제시한다고 강조합니다.