기술 요약: Metric Anything

문제 정의

확장성(scaling)이 비전 파운데이션 모델의 비약적인 발전을 이끌어온 반면, 이를 **미터법 기반 깊이 추정(metric depth estimation)**으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 상대적 깊이(relative depth)가 서열 관계를 학습하고 합성 데이터와 의사 라벨(pseudo-label) 증류의 혜택을 받는 것과 달리, 미터법 기반 깊이는 절대적이고 물리적으로 의미 있는 거리를 학습해야 합니다. 이 분야는 **데이터 소스의 이질성(heterogeneity of data sources)**으로 인해 병목 현상을 겪고 있습니다. 실제 세계의 3D 주석은 다양한 센서(LiDAR, RGB-D, 스테레오)와 재구성 알고리즘(SfM, MVS, SLAM)에서 기인하며, 각기 다른 노이즈 패턴, 하드웨어 아티팩트, 카메라 종속적 편향을 도입합니다. 이러한 이질성은 도메인 간 격차, 노이즈가 섞인 지도 학습, 미터법적 모호성을 유발하여 "데이터 수프(data soup)" 방식의 확장 전략이 성공하는 것을 방해합니다. 이를 프롬프트 기반 방법으로 해결하려 했던 이전의 시도들은 특정 작업, 작은 데이터셋, 그리고 강력한 인간의 사전 지식(human priors)을 도입하는 복잡하고 수작업으로 설계된 프롬프트 파이프라인에 국한되었습니다.

방법론

저자들은 특정 작업용 아키텍처나 수동으로 설계된 프롬프트 없이, 노이즈가 많고 다양한 3D 소스로부터 미터법 깊이를 학습하도록 설계된 미니멀리스트 사전 학습 프레임워크인 Metric Anything을 소개합니다.

1. 다중 소스 데이터 수집

저자들은 10,000개 이상의 카메라 모델에 걸친 약 2,000만 개의 이미지-깊이 쌍을 포함하는 데이터셋을 집계했습니다. 데이터는 세 가지 소스로 분류됩니다:

• 재구성된 3D 데이터(Reconstructed 3D Data): SfM, SLAM, MVS 및 스테레오 기술로부터 얻은 깊이 맵으로, 종종 아티팩트와 누락된 영역을 포함합니다.
• 포착된 3D 데이터(Captured 3D Data): LiDAR, ToF, RGB-D 센서로부터 얻은 포인트 클라우드로, 센서의 한계와 환경적 요인으로 인해 흔히 희소(sparse)하고 노이즈가 많습니다.
• 렌더링된 3D 데이터(Rendered 3D Data): 가상 엔진으로부터 생성된 합성 깊이 맵으로, 노이즈가 없는 기하학적 지도 학습을 제공합니다.
  모든 샘플은 유효성 마스크(validity masks)와 함께 픽셀 단위의 미터법 깊이 맵으로 표준화됩니다.

2. 희소 미터법 프롬프트를 통한 사전 학습

핵심 혁신은 센서 편향으로부터 공간적 추론을 분리하는 보편적 인터페이스인 **희소 미터법 프롬프트(Sparse Metric Prompt)**입니다.

• 프롬프트 생성: 복잡한 시뮬레이션 대신, 정답(ground truth) 깊이 맵에서 유효한 픽셀을 무작위로 마스킹(2,000~40,000 픽셀 샘플링)하여 프롬프트를 생성합니다.
• 프롬프트 준비: 원본 프롬프트의 이질성을 처리하기 위해, 저자들은 사전 학습된 깊이 모델을 사용하여 누락된 영역을 채우고 스케일을 정렬하는 픽셀 단위 깊이 스케일 정렬(PDSA) 및 **글로벌 미터법 깊이 복구(GMDR)**를 적용하여 통일된 중간 표현을 만듭니다.
• 아키텍처: 모델은 표준 ViT 백본과 DPT 디코더를 사용합니다. 프롬프트는 백본을 수정하는 대신 **조건부 DPT 헤드(conditioned DPT head)**를 통해 주입됩니다(약 5%의 파라미터만 추가). 이 설계는 맞춤형 아키텍처 변경을 피함으로써 모델이 데이터로부터 직접 구조적 및 미터법적 이해를 학습할 수 있게 합니다.
• 손실 함수: 학습 목적 함수는 평균 절대 오차(MAE)와 스케일 및 시프트 불변 평균 절대 기울기 오차(SSI-MAGE)를 결합합니다. 실제 데이터의 경우, 노이즈를 완화하기 위해 가장 큰 오차 상위 20%를 제외하는 강건한(robust) MAE를 사용합니다.

3. 프로프트 프리(Prompt-Free) 모델 증류

프롬프트 없이 구동되는 시나리오에서의 배포를 위해, 저자들은 사전 학습된 "교사(teacher)" 모델을 프롬프트 프리 학생(student) 모델로 증류합니다.

• 의사 라벨 생성: 교사 모델은 희소 프롬프트에 조건화된 고충실도의 조밀한 미터법 깊이 맵을 전체 데이터셋에 대해 생성합니다. 이 의사 라벨은 많은 실제 데이터셋이 짧은 거리 범위에 편향된 것과 달리, 근거리부터 원거리까지 넓은 깊이 범위를 커버합니다.
• 학생 아키텍처: 학생 모델은 프롬프트 주입 레이어를 제거합니다. 결정적으로, 저자들은 표준 스킵 연결(skip-connection) 체계를 역전시킵니다: 깊은 수준의 고수준 ViT 특징은 더 깊은 디코딩 레이어에 주입되는 반면, 얕은 특징은 더 얕은 레이어에 공급됩니다. 이는 교사의 의사 라벨이 가진 높은 의미적 일관성을 활용하기 위함입니다.
• 손실 함수: **거리 균형 역깊이 손실(Distance-Balanced Inverse-Depth Loss)**이 도입됩니다. 로그 공간($D_{log} = 1 - \ln(D)/\ln(C)$)에서 작동하는 이 손실은 근거리 영역에서의 미세한 민감도를 보존하는 동시에 원거리 영역까지 효과적인 감독을 확장하여, 표준 역깊이 손실의 한계를 해결합니다.

주요 기여

1. Metric Anything 프레임워크: 수작업으로 설계된 프롬프트나 작업별 아키텍처 없이, 희소 미터법 프롬프트를 사용하여 이질적이고 노이즈가 많은 3D 소스로부터 미터법 깊이를 학습하는 미니멀리스트하고 확장 가능한 사전 학습 패러다임을 제시합니다.
2. 확장성 입증: 2,000만 개의 다양한 이미지-깊이 쌍을 집계함으로써 미터법 깊이 추정에서 **명확한 스케일링 트렌드(scaling trend)**를 보여주었으며, 이는 이 도메인에서 이전에 볼 수 없었던 현상입니다. 성능은 훈련 데이터 크기가 증가함에 따라 일관되게 향상됩니다.
3. 보편적 일반화: 사전 학습된 모델과 증류된 프롬프트 프리 학생 모델 모두 작업별 엔지니어링 없이 10개의 다운스트림 작업에서 최첨단(SOTA) 성능을 달달성합니다. 이 작업에는 다음이 포함됩니다:
   • 프롬프트 기반: 깊이 완성(depth completion), 초해상도(super-resolution), 레이더-카메라 퓨전.
   • 프롬프트 프리: 단안 깊이 추정, 카메라 내부 파라미터 복구, 다중 뷰 3D 재구성, VLA 플래닝.
   • MLLM 강화: 멀티모달 대규모 언어 모델(MLLM)의 공간 추론 능력을 크게 향상시킴.

결과

• 스케일링 트렌드: 실험 결과, 훈련 데이터가 200만 개에서 2,000만 개로 늘어남에 따라 Middlebury 데이터셋에 대한 제로샷 $\delta_1$ 정확도가 일관되게 증가함을 보여줍니다.
• 프롬프트 기반 작업: 모델은 NYUv2, ETH3D, KITTI 전반에 걸쳐 깊이 초해상도 및 완성 작업에서 SOTA 제로샷 성능을 달성하며, 합성 프롬프트 시뮬레이션에 의존하는 기존 방법들을 능가합니다. nuScenes의 레이더-카메라 깊이 추정에서 파인튜닝된 모델은 처음부터 학습시킨 모델보다 정확도를 거의 두 배 높였으며, 모든 기존 퓨전 방법들을 앞질렀습니다.
• 프롬프트 프리 작업: 증류된 학생 모델은 엄격한 제로샷 설정에서 6개의 다양한 단안 깊이 추정 벤치마크(ETH3D, NuScenes, Sun-RGBD 등)에서 1위 또는 2위를 차지했습니다. 또한 카메라 내부 파라미터 복구 및 다중 뷰 3D 재구성에서도 SOTA 결과를 달성했습니다.
• 공간 지능: MLLM의 시각 인코더로 사용될 때, 이 모델은 객체 크기 추정, 절대 거리 측정, 경로 계획과 같은 작업에서 VSI-Bench의 성능을 크게 향상시킵니다.
• 강건성: 모델은 미처 보지 못한 센서 구성(예: 서로 다른 LiDAR-카메라 설정), 극한의 환경 조건(밤, 비, 안개), 그리고 보지 못한 시각 도메인(어안 렌즈, 파노라마, 카툰)에 대한 강력한 일반화 능력을 보여줍니다.

의의 및 주장

본 논문은 미터법 깊이 추정이 현대의 NLP 및 2D 비전에서 추진력을 얻은 것과 동일한 **스케일링 법칙(scaling laws)**의 혜택을 받을 수 있다고 주장합니다. 프롬프트의 인간 사전 지식 설계를 최소화하고 이질적인 소스로부터의 데이터 주도 학습에 의존함으로써, Metric Anything은 확장 가능하고 효율적인 실제 세계의 미터법 인지를 향한 새로운 길을 제시합니다.

저자들은 자신들의 발견을 "고통스러운 교훈(The Bitter Lesson)"과 결부시키며, 일반 목적의 데이터 주도 방법이 수작업으로 설계된 디자인을 체계적으로 능가한다고 주장합니다. 그들은 노이즈가 섞인 이질적 소스를 효과적으로 활용함으로써 미터법 깊이의 "데이터 부족" 문제를 해결했고, 이를 통해 창발적 능력(emergent capabilities)과 강건한 일반화를 끌어냈다고 주장합니다. 이 연구는 향로의 초점이 작업별 엔지니어링에서 다양한 센서와 시나리오에 적응할 수 있는 일반적인 사전 학습 패러다임으로 이동해야 함을 시사합니다. 저자들은 커뮤니티 연구를 지원하기 위해 프레임워크를 오픈 소스로 공개합니다.