One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

문제 정의

단안 깊이 추정(Monocular Depth Estimation, MDE) 파운데이션 모델은 일반적으로 단일 RGB 이미지를 픽셀당 하나의 스칼라 깊이 값으로 매핑하는 "단일 깊이(single-depth)" 패러다임 하에서 작동합니다. 이러한 가정은 불투명한 장면에서는 유효하지만, 레이어가 존재하는 3D 장면(예: 투명한 유리)에서는 실패합니다. 이러한 장면에서는 단일 카메라 광선이 여러 개의 기하학적으로 유효한 표면(전경의 유리 판과 배경의 물체)을 통과하기 때문입니다.

본 논문은 현재의 지도 학습 방식이 이러한 다중 레이어 기하 구조를 하나의 "데이터셋 형태의 스칼라 타겟"으로 붕괴시킨다고 주장합니다. 그 결과로 생성된 깊이 라벨은 장면의 본질적인 진실이 아니라, 주석(annotation) 선택, 센서의 한계(예: LiDAR 대 초음파), 그리고 학습 데이터의 편향에 의해 결정된 하나의 **관습(convention)**이 됩니다. 결과적으로, 동결된(frozen) 파운데이션 모델은 '레이어가 없는' 기하 구조를 학습하는 것이 아니라, 모호성이 존재할 때 전경(proximal) 또는 배경(distal) 레이어 중 하나를 보고하려는 **깊이 레이어 선호도(depth-layer preference)**라는 편향을 학습하게 됩니다. 단일 정답(ground truth)과의 일치도를 보상하는 표준 평가 지표들은 유효한 대안적 해석들을 벌칙 대상으로 삼음으로써, 모델의 실제 기하학적 추론 능력을 가리게 됩니다.

방법론

1. MultiDepth-3k (MD-3k) 벤치마크
투명한 레이어를 위한 밀집된(dense), 센서 중립적인 메트릭 정답을 얻는 것이 어렵기 때문에, 저자들은 이 선호도를 측정하기 위해 희소 순서 벤치마크(sparse ordinal benchmark)인 MD-3k를 도입합니다.

• 데이터: GDD 데이터셋에서 추출한 3,161개의 RGB 이미지로, 투명한 물체를 포함하고 있습니다.
• 주석: 밀집된 깊이 맵 대신, 각 이미지의 모호한 영역에 하나의 희소한 점 쌍(pair of points)을 주석 처리했습니다. 결정적으로, 이 주석은 투명한 전경 레이어와 가시적인 배경 레이어에 대한 **두 개의 순서 라벨(ordinal labels)**을 제공합니다.
• 서브셋: 데이터셋은 "동일(Same)" 서브셋(전경과 배경의 깊이 순서가 일치하는 경우)과 "역전(Reverse)" 서브셋(두 순서가 충돌하는 경우)으로 나뉩니다. "역전" 서브셋은 단일 출력 모델이 두 레이어를 동시에 만족시킬 수 없는 핵심적인 테스트 케이스입니다.

2. 라플라시안 시각적 프롬프팅 (Laplacian Visual Prompting, LVP)
저자들은 입력 표현을 변경함으로써 동결된 모델의 깊이 레이어 선호도를 조절할 수 있는지 확인하기 위해, 훈련이 필요 없는(training-free) 방법을 제안합니다.

• 메커니즘: LVP는 입력 RGB 이미지에 이산 라플라시안 커널(고주파 스펙트럼 변환)을 적용합니다. 생성된 부호 있는 잔차(signed residuals)는 정규화되어 모델의 입력 범위(예: 0–255)로 다시 매핑됩니다.
• 가설: 고주파 에지를 강조함으로써, LVP는 모델의 가중치를 재학습하거나 수정하지 않고도 동결된 모델이 다른 유효한 깊이 가설(예: 전경 선호에서 배경 선호로 전환)을 따르도록 유도하는 스펙트럼 프로브(spectral probe) 역할을 할 수 있습니다.

3. 평가 지표

• 공간 관계 정확도 (Spatial Relationship Accuracy, SRA): 예측된 깊이 순서가 특정 레이어의 정답과 일치하는 점 쌍의 비율을 측정합니다.
• 깊이 레이어 선호도 ($\alpha$): $SRA(2) - SRA(1)$로 정의됩니다. 양수$\alpha$는 배경 선호도를, 음수$\alpha$는 전경 선호도를 나타냅니다.
• 다중 레이어 공간 관계 정확도 (Multi-Layer Spatial Relationship Accuracy, ML-SRA): 두 가지 가설(예: RGB 출력과 LVP 출력)을 평가합니다. 이는 두 가설을 최적으로 두 레이어에 할당했을 때, 두 레이어의 순서 제약 조건을 동시에 만족하는지 확인합니다.

주요 기여

1. 깊이 레이어 선호도의 특성화: 본 논문은 다양한 단안 깊이 파운데이션 모델(Depth Anything v1/v2, DPT, Marigold 등 포함)이 표준 RGB 입력 하에서 어떻게 서로 다른 모델별 편향(전경 또는 배경 선호)을 보이는지 최초로 체계적으로 규명했습니다.
2. MD-3k 벤치마크: 희소한 순서 관계를 통해 깊이 레이어 선호도를 측정 가능하게 함으로써, 밀집된 다중 레이어 메트릭 정답 없이도 측정이 가능한 실제 환경의 벤치마크를 도입했습니다.
3. 입력 의존적 조절: **라플라시안 시각적 프롬프팅(LVP)**이 동결된 모델의 표현된 깊이 레이어 선호도를 유의미하게 변화시킬 수 있음을 입증했습니다. 특정 모델의 경우, LVP는 질문(query)되는 입력에 따라 상호 보완적인 기하학적 가설을 드러내는 "스위치" 역할을 하여, 단일 출력 모델이 여러 유효한 해석을 효과적으로 커버할 수 있게 합니다.

결과

• 다양한 편향: 표준 RGB 입력 하에서 모델들은 강하지만 일관되지 않은 편향을 보입니다. 예를 들어, 실내 튜닝된 Depth Anything v2 변형 모델들은 전경(유리)을 선호하는 경향이 있는 반면, 실외 튜닝된 모델이나 생성 모델(Marigold 등)은 종종 배경을 선호합니다.
• LVP의 효과: LVP는 특정 모델(DPT, Depth Pro, DAv2-L 등)의 선호도를 크게 변화시키지만, 다른 모델(DAv1, 일부 생성 모델 등)에는 거의 영향을 미치지 않습니다.
  • DAv2-L 사례: 가장 강력한 예시는 DAv2-L입니다. RGB 입력 시 전경 편향($\alpha \approx -30.6$)을 보이지만, LVP 적용 시 배경 편향($\alpha \approx +68.2$)으로 전환됩니다.
• ML-SRA 성능:
  • "붕괴된(collapsed)" 베이스라인(단일 깊이 맵을 복제함)은 MD-3k의 "역전" 서브셋에서 **56.4%**라는 엄격한 천장에 도달하는데, 이는 상충하는 순서 제약을 동시에 만족할 수 없기 때문입니다.
  • DAv2-L을 사용한 RGB/LVP 쌍은 전체 ML-SRA에서 75.5%, 역전 서브셋에서 **52.2%**를 달이트합니다. 이는 단일 가설의 천장보다 유의미한 향상을 보여주며, 입력 표현이 변할 때 동결된 모델이 상호 보완적인 순서 관계를 표현할 수 있음을 증명합니다.
• 절제 실험(Ablation): 이 효과는 고주파 프롬프팅에 특화되어 있습니다. 저역 통과 가우시안 프롬프트는 레이어 선호도를 조절하는 데 실패했습니다. 또한 이 효과는 라플라시안 연산자에만 국한되지 않고 다른 고주파 변환(Sobel, Fourier)에도 일반화되지만, LVP가 가장 견고한 기본 도구로 남습니다.

의의 및 주장

본 논문은 표준 RGB 추론이 더 풍부한 기하학적 사후 확률(posterior)의 단일 슬라이스만을 포착한다고 주장합니다. 모호성을 노이즈가 아닌 측정 가능한 기하학적 구조로 다룸으로써, 저자들은 다음을 입증했습니다:

1. 모호성은 본질적이다: 깊이 파운데이션 모델은 여러 유효한 기하학적 가설을 인코딩하고 있지만, 표준 학습과 평가는 이를 하나의 편향된 관습으로 붕답하도록 강요합니다.
2. 조절이 가능하다: 단순하고 훈련이 필요 없는 스펙트럼 입력 변환(LVP)을 통해 동결된 모델 내의 이러한 잠재적이고 상호 보완적인 가설을 끌어낼 수 있습니다.
3. 평가의 재고: 미래의 깊이 시스템은 단일 스칼라 출력을 강요하기보다, 여러 유효한 3D 해석을 표현하고 보존하는 능력을 기준으로 평가받아야 합니다.

인정된 한계점:

• LVP는 모델 의존적이며 보편적인 레이어 추출기가 아닙니다. 주파수 정보가 얽혀 있는 반투명 표면에서는 작동하지 않습니다.
• 벤치마크는 희소하며 투명성에 초점을 맞추고 있습니다. 밀집된 메트릭 검증을 제공하지 않습니다.
• LVP는 모호하지 않은 장면에서 표준 단일 깊이 정확도를 저하시키는 경우가 많아, 명확한 장면에서의 표준 추론을 대체하는 도구가 아닌 진단/프로빙 도구임을 나타냅니다.

저자들은 커뮤니티가 "모호성 인식(ambiguity-aware)"의 관점을 채택하여, 여러 유효한 3D 해석을 측정하고 표현해야 할 기하학적 구조로 취급할 것을 권고합니다.