기술 요약: DepthVLM

문제 정의

비전-언어 모델 (VLM) 은 시각적 그라운딩 및 이미지 캡셔닝과 같은 2D 작업에서 뛰어난 성과를 거두었으나, 3D 이해 측면에서는 근본적인 한계를 안고 있습니다. 주요 병목 현상은 시각적 입력을 받아 autoregressive 텍스트 출력을 생성하는 텍스트 전용 감독 패러다임이 지배적이기 때문입니다. 이러한 설계는 세밀한 시각적 지각을 본질적으로 불충분하게 제약하며, 밀집된 장면 기하학을 명시적으로 모델링하는 것을 방해합니다.

이 격차를 해소하기 위한 기존 접근법들은 다음과 같은 중대한 단점을 안고 있습니다:

1. 지식 증류 파이프라인: 외부 사전 학습된 3D 모델로부터 깊이 지도와 같은 기하학적 신호를 주입하는 방법들은 오차 누적에 의존하며, 네이티브 통합이 부족합니다.
2. 비효율적인 직접 예측: VLM 이 기하학을 직접 예측하도록 하는 최근 시도들은 효율성이나 품질 간의 트레이드오프에 직면합니다. 예를 들어, DepthLM은 높은 정확도를 달성하지만 픽셀별 쿼리를 필요로 하여 prohibitively 느린 추론 ($O(HW)$) 을 초래합니다. Youtu-VL은 한 번의 패스로 전체 이미지 예측을 가능하게 하지만, 사후 보간이 필요한 거친 토큰 수준의 출력을 생성합니다. 또한, 이러한 방법들 중 다수는 텍스트 중심의 감독이나 처음부터 학습 (from-scratch) 요구 사항으로 인해 VLM 의 일반적인 멀티모달 능력을 저하시킵니다.

본 논문이 다루는 핵심 과제는 다음과 같습니다: VLM 이 최소한의 아키텍처 변경으로 일반 멀티모달 능력을 유지하면서 네이티브 밀집 기하학 예측기로 기능할 수 있는가?

방법론: DepthVLM

저자들은 단일 VLM 백본을 밀집된 메트릭 깊이 지도와 언어 응답을 단일 순전파 (forward pass) 로 생성할 수 있는 통합 기반 모델로 변환하는 DepthVLM 프레임워크를 제안합니다.

1. 통합 아키텍처

DepthVLM 은 대형 언어 모델 (LLM) 백본에 **가벼운 깊이 헤드 (depth head)**를 부착함으로써 표준 VLM 아키텍처를 확장합니다.

• 특징 추출: 최종 LLM 은닉 상태에만 의존하는 대신, 모델은 다중 스케일 특징 피라미드를 추출합니다. 여기에는 비전 트랜스포머 (ViT) 인코더의 세 가지 중간 레이어와 이미지 토큰 위치에서의 LLM 최종 은닉 상태가 포함됩니다.
• 깊이 헤드 설계: DPT(밀집 예측을 위한 비전 트랜스포머) 에서 영감을 받아, 헤드는 이러한 다중 스케일 특징을 처리합니다. 결정적으로, VLM 시각 토큰은 이미 패치 머저 (patch mergers) 에 의해 다운샘플링되었으므로, 저자들은 추가적인 다운샘플링을 피합니다. 대신, 초기 ViT 레이어에 더 높은 공간 해상도를 할당하여 업샘플링을 통해 하향식 피라미드를 구성합니다.
• 출력: 융합된 특징은 텍스트 응답 ($\hat{T}$) 과 함께 밀집된 풀 해상도 메트릭 깊이 지도 ($\hat{D} \in \mathbb{R}^{H \times W}$) 로 디코딩됩니다. Softplus 활성화 함수는 엄격히 양수인 깊이 값을 보장합니다.

2. 2 단계 학습 전략

사전 학습된 멀티모달 이해를 훼손하지 않으면서 밀집 기하학 예측을 도입하기 위해, 저자들은 2 단계 학습 일정을 사용합니다:

• 1 단계 (깊이 헤드 초기화): VLM 백본은 고정됩니다. 새로 추가된 깊이 헤드만 메트릭 깊이 데이터에 대한 스케일 불변 로그 (SILog) 손실로 학습됩니다. 이는 사전 학습된 지식을 방해하지 않으면서 초기 깊이 예측 능력을 확립합니다.
• 2 단계 (종단 간 미세 조정): LLM 백본의 잠금이 해제되고, 전체 모델이 명령 수행 데이터의 혼합물에 대해 종단 간으로 미세 조정됩니다. 목적 함수는 표준 autoregressive 언어 모델링 손실 ($L_{text}$) 과 깊이 손실 ($L_{depth}$) 을 계수 $\alpha$로 균형을 맞춘 결합 형태입니다.

3. 데이터 선별 및 정규화

• 초점 거리 정규화: 이질적인 데이터셋 (실내 vs. 야외, 서로 다른 센서) 간의 카메라로 인한 스케일 모호성을 완화하기 위해, 모든 이미지를 통합된 표준 초점 거리 ($f_c$) 로 재조정합니다. 이는 투영 기하학을 정렬하고 일관된 픽셀 - 메트릭 매핑을 강제합니다.
• DepthVLM-Bench: 저자들은 8 개의 학습 데이터셋 (실내 및 야외 장면 포함) 과 9 개의 평가 데이터셋을 집계한 통합 벤치마크를 도입합니다. 이는 일관된 프로토콜 하에 VLM 과 전문화된 순수 비전 모델 간의 공정한 비교를 가능하게 합니다.

주요 기여

1. 네이티브 밀집 예측: 이 논문은 VLM 이 네이티브 밀집 기하학 예측기로 기능할 수 있음을 입증합니다. 가벼운 헤드를 부착함으로써 DepthVLM 은 텍스트 생성 경로를 변경하지 않고도 밀집된 픽셀 단위 깊이 추정을 달성합니다.
2. 효율성 및 능력 보존: 기존 능력 저하나 느린 추론을 겪던 이전 방법들과 달리, DepthVLM 은 $O(1)$ 추론 비용 (풀 해상도 단일 순전파) 을 달성하고 2 단계 학습 전략을 통해 VLM 의 원래 멀티모달 성능을 보존합니다.
3. 통합 벤치마크: DepthVLM-Bench의 도입은 메트릭 깊이 추정에 있어 VLM 과 전문화된 순수 비전 모델 간의 효과적인 학습 및 직접적이고 공정한 비교를 가능하게 합니다.

실험 결과

다양한 데이터셋 (Waymo, NuScenes, ETH3D, sunRGBD 등) 에 대한 광범위한 실험은 다음과 같은 점을 강조합니다:

• 기존 VLM 대비 우위: DepthVLM 은 범용 모델 (예: GPT-5.5, Qwen3-VL) 과 공간 강화 VLM 을 포함한 기존 VLM 들을 크게 능가합니다. GPT-5.5 가 평균 $\delta_1$ 정확도에서 약 0.41 에 불과한 반면, DepthVLM-4B 는 0.868에 도달합니다.
• 순수 비전 모델 능가: 통합 모델임에도 불구하고 DepthVLM 은 최첨단 전문화된 순수 비전 모델을 능가합니다. 예를 들어, DepthAnythingV3(평균 $\delta_1$ 0.877 대 0.884) 와 Metric3Dv2(0.812 대 0.884) 보다 우수한 성능을 보입니다.
• 추론 효율성: DepthVLM 은 이전 VLM 기반 접근법보다 훨씬 빠릅니다. 256×192 깊이 지도를 0.42 초에 생성하는 반면, Youtu-VL 은 2.48 초, DepthLM 은 (픽셀별 쿼리로 인해) 13 시간이 소요됩니다.
• 멀티모달 능력: 일반 시각 벤치마크 (MMBench, OCRBench, POPE) 에 대한 평가는 DepthVLM 이 기본 VLM 백본과 일치하거나 약간 향상된 성능을 보임을 보여주며, 깊이 헤드 추가가 일반 멀티모달 이해를 저하시키지 않음을 확인시켜 줍니다.
• 3D 공간 추론: 이 모델은 포인트 깊이 추정, 3D 객체 치수 추정, 깊이 순서 순위 매기기 등 복잡한 하위 3D 작업에서 향상된 성능을 보여주며, 네이티브 밀집 기하학 예측이 고수준 공간 추론을 위한 견고한 기반이 됨을 시사합니다.

중요성 및 주장

이 논문은 DepthVLM 이 저수준 밀집 기하학 예측과 고수준 멀티모달 이해에서 모두 뛰어난 진정으로 통합된 기반 모델로의 한 걸음을 나타낸다고 주장합니다.

• 패러다임 전환: 밀집 기하학 예측이 별도의 전문화된 비전 모델이나 비효율적인 쿼리 기반 VLM 을 필요로 한다는 관념에 도전합니다. 대신 기하학이 단일 VLM 백본 내에서 네이티브로 나타날 수 있음을 보여줍니다.
• 실용성: 최소한의 아키텍처 변경으로 높은 정확도를 달성하고 일반 능력을 보존함으로써, DepthVLM 은 기존 VLM 생태계에 3D 지각을 통합하기 위한 실용적인 방안을 제시합니다.
• 한계: 저자들은 겸손하게 현재 작업이 밀집 메트릭 깊이 추정에 구체적으로 초점을 맞추고 있음을 지적합니다. 객체 감지 및 포즈 추정과 같은 더 넓은 3D 지각 작업은 향후 과제로 남아 있습니다.

요약하자면, DepthVLM 은 VLM 에서 밀집 메트릭 깊이 추정을 해제하기 위한 경량, 효율적이며 효과적인 솔루션을 제공하여 2D 멀티모달 이해와 3D 공간 지능 간의 격차를 해소합니다.