기술 요약: 초점 가능 단안 깊이 추정

문제 정의

현재의 단안 깊이 기반 모델들 (예: Depth Anything, UniDepth, Metric3D) 은 다양한 도메인에서 조밀한 장면 기하학을 복원하는 데 탁월한 성능을 발휘합니다. 그러나 이러한 모델들은 주로 모든 이미지 영역을 동등하게 취급하는 균일한 픽셀 단위 목적 함수로 최적화되어 있습니다. 이러한 "이미지 중심" 접근법은 사용자 지정 또는 작업 관련 대상 영역을 주변 맥락과 구별하지 못합니다. 로봇 공학 및 체화 인공지능 (embodied AI) 과 같이 대상 객체 근처의 정밀한 깊이와 날카로운 경계 전환이 중요한 응용 분야에서는, 균일한 전역 최적화가 종종 전역 장면 기하학이 일관되게 유지되더라도 전경 정확도가 과소 평가되고 경계가 흐릿해지는 결과를 초래합니다.

이 격차를 해결하기 위해 저자들은 초점 가능 단안 깊이 추정 (Focusable Monocular Depth Estimation, FDE) 을 도입합니다. FDE 는 균일한 조밀한 예측에서 대상 조건부 추론으로 깊이 추정 작업을 재정의합니다. 입력 이미지와 사용자 지정 대상 영역 (박스 또는 텍스트 프롬프트를 통해) 이 주어지면, 모델은 다음을 수행해야 합니다:

1. 전경 대상 영역에서 깊이 정확도를 우선시합니다.
2. 대상 경계에서 날카로운 깊이 전환을 유지합니다.
3. 전체 이미지에 걸쳐 일관된 전역 장면 기하학을 유지합니다.

방법론: FocusDepth

FDE 작업을 해결하기 위해 저자들은 프롬프트 조건부 단안 상대 깊이 추정 프레임워크인 FocusDepth를 제안합니다. 핵심 직관은 프롬프트 가능 세그멘테이션 (Segment Anything Model 3, 또는 SAM3) 과 조밀한 기하학 기반 모델 (Depth Anything 계열, 또는 DAs) 의 상호 보완적 사전 지식을 결합하는 것입니다.

아키텍처 개요

FocusDepth 는 두 가지 주요 브랜치로 구성됩니다:

1. 기하학 깊이 브랜치: 전역 장면 구조를 나타내는 다중 스케일 기하학 토큰 ($X_g$) 을 추출하기 위해 사전 훈련된 DAs(DA2 또는 DA3) 를 사용합니다.
2. 프롬프트 조건부 브랜치: 입력 이미지와 사용자 프롬프트 (박스 또는 텍스트) 를 처리하여 대상 영역을 식별하는 프롬프트 조건부 토큰 특징 ($X_p$) 을 생성하기 위해 SAM3 를 사용합니다.

핵심 모듈: 다중 스케일 공간 정렬 융합 (MSSA)

핵심 혁신은 사전 훈련된 기하학 사전 지식을 방해하지 않으면서 기하학 표현에 프롬프트 조건부 단서를 주입하는 MSSA 모듈입니다. MSSA 는 기하학 인코더의 각 스케일에서 작동하며 세 가지 주요 단계를 포함합니다:

• 스케일별 공간 정렬: 두 브랜치 모두 동일한 ViT 패치 그리드에서 이미지를 처리하므로 토큰은 일대일 공간 대응 관계를 가집니다. 프롬프트 토큰은 스케일별 기하학 토큰 공간으로 투영되어 기하학 토큰과 연결됩니다.
• 라우팅 조건부 융합: 경량 전문가 혼합 (Mixture of Experts, MoE) 레이어가 연결된 토큰을 처리합니다. 라우터는 입력 의존적 전문가 출력 조합을 계산하여 모델이 특정 영역 (전경 대 배경) 에 대한 명시적 감독 없이 공간 위치에 따라 다른 보정을 적용할 수 있도록 합니다.
• 게이트 융합 출력: 프롬프트 단서가 전역 기하학을 덮어쓰는 것을 방지하기 위해 학습 가능한 게이트 ($G_s$) 가 주입을 제어합니다. 최종 특징은 라우팅된 특징과 원래 기하학 토큰의 가중 합입니다: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$. 이는 프롬프트 조건부 보정이 선택적으로 적용되면서 전역 사전 지식을 유지하도록 보장합니다.

학습 목적 및 훈련

모델은 ground-truth 마스크를 기반으로 이미지를 전경, 경계, 전역의 세 영역으로 분할하는 영역 인식 손실 함수로 훈련됩니다. 총 손실 ($L$) 은 이러한 영역에서 계산된 깊이 손실 ($L_{fg}, L_{bd}, L_{glb}$) 의 합에 보조 세그멘테이션 손실 ($L_{seg}$) 을 더한 것입니다.

훈련은 안정성을 보장하기 위해 2 단계 전략을 따릅니다:

1. 1 단계: 모든 사전 훈련된 백본을 고정하면서 MSSA 모듈만 최적화하여 MSSA 가 기하학 사전 지식을 방해하지 않고 정렬을 학습하도록 합니다.
2. 2 단계: 인코더는 고정된 상태에서 깊이 디코더, SAM3 프롬프트 유도 트랜스포머, 보조 세그멘테이션 디코더를 MSSA 와 함께 최적화합니다.

벤치마크: FDE-Bench

FDE 를 평가하기 위해 저자들은 기존 RGB-D 데이터셋을 표준화된 이미지–대상–깊이 3 중항으로 변환하는 FDE-Bench 벤치마크 스위트를 구축했습니다.

• 데이터셋: NYU v2, TUM RGB-D, YCB-Video, RLBench, RoboTwin 에서 구성되었으며, 실내 장면, 탁상 객체, 체화 조작 환경을 포괄합니다.
• 규모: 972 개 대상 카테고리에 걸쳐 252.9K 개의 훈련 및 72.5K 개의 검증 3 중항을 포함합니다.
• 평가 지표: 전체 이미지 오류를 보고하는 표준 벤치마크와 달리, FDE-Bench 는 세 가지 상호 보완적 영역에 걸쳐 성능을 평가합니다:
  • 전경: 대상 국소 깊이 품질.
  • 경계: 깊이 전환의 선명도.
  • 전역: 전체 이미지 기하학적 일관성.
    보고된 지표에는 많은 수의 대상이 있는 이미지의 지배를 방지하기 위해 대상별로 계산된 $\delta_1$ 및 AbsRel 이 포함됩니다.

실험 결과

실험은 FDE-Bench 에서 FocusDepth 를 제로샷 기반 모델 (UniDepth, Metric3D, DA2, DA3) 과 전역 미세 조정 베이스라인 (DA2-ft, DA3-ft) 과 비교하여 수행되었습니다.

• 성능 향상: FocusDepth 는 특히 대상 중심 영역에서 전역 미세 조정 베이스라인을 일관되게 능가합니다. 예를 들어, 박스 프롬프트가 있는 RLBench 에서 FocusDepth(DA3) 는 DA3-ft 대비 경계 AbsRel 을 0.073 에서 0.049 로, 전경 AbsRel 을 0.095 에서 0.056 으로 감소시켰으며, 동시에 전역 AbsRel 을 0.042 에서 0.030 으로 개선했습니다.
• 프롬프트 견고성: 프롬프트 정확도에 대한 연구는 올바른 프롬프트가 최상의 결과를 산출하지만, 잘못된 프롬프트나 빈 프롬프트조차도 프롬프트 없는 베이스라인보다 더 나은 성능을 보인다는 것을 보여주었습니다. 이는 프롬프트 조건부 브랜치가 완벽한 안내가 없더라도 유용한 국소 및 전역 단서를 제공함을 시사합니다.
• 정성적 분석: 시각화는 FocusDepth 가 표준 미세 조정에 비해 지정된 영역에서 더 선명한 대상 경계와 낮은 깊이 오류를 생성하며 배경에 아티팩트를 도입하지 않음을 보여줍니다.

제거 실험

RLBench 에 대한 제거 실험은 특정 설계 선택의 중요성을 강조합니다:

• 공간 정렬: 프롬프트와 기하학 토큰 간의 공간 대응 관계를 방해 (셔플) 하면 가장 심각한 저하가 발생하여 전역 AbsRel 을 최대 13.8% 까지 증가시킵니다. 이는 공간 정렬이 핵심 설계 요소임을 확인시켜 줍니다.
• 스케일별 및 라우팅 융합: 스케일별 융합을 제거하거나 MoE 라우터를 단일 MLP 로 대체하면 전경 및 경계 정확도가 일관되게 악화되어 스케일 인식 및 조건부 융합의 필요성을 나타냅니다.
• 게이트 주입: 게이트 메커니즘을 제거하면 일관된 저하가 발생하여 프롬프트 보정과 사전 훈련된 기하학 사전 지식 간의 균형을 유지하는 역할을 확인시켜 줍니다.
• 훈련 전략: 1 단계 훈련 접근법은 국소 정제를 약화시키므로, 교차 모델 정렬과 다운스트림 적응을 분리하기 위한 2 단계 전략을 검증합니다.

중요성 및 주장

이 논문은 균일한 이미지 중심 목적 함수의 한계를 넘어 지역 우선순위 깊이 추정을 위한 구체적인 작업 정의로서 FDE를 확립한다고 주장합니다. 저자들은 FocusDepth가 MSSA 를 통해 프롬프트 기반 대상 증거를 조밀한 기하학 표현으로 성공적으로 전달하여 공간 정렬 및 게이트 조건부 정제를 가능하게 한다고 주장합니다.

이 연구의 중요성은 전역 장면 기하학적 일관성을 타협하지 않고 국소 대상 정확도와 경계 충실도를 개선할 수 있음을 입증하는 데 있습니다. 저자들은 FDE 를 표준 깊이 모델이 관련 기하학을 우선시하지 못할 수 있는 특정 객체와의 정밀한 상호작용 (예: 로봇 조작) 이 필요한 응용 분야에 필수적인 단계로 위치시킵니다. 이 작업은 더 큰 규모의 결합 훈련과 다운스트림 작업 응용에 대한 추가 탐구가 필요하다는 한계를 지적하며, 이는 향후 과제로 남깁니다.