ARDepth: Auto-regressive Monocular Depth Estimation with Progressive Visual Conditioning

기술 요약: ARDepth

문제 정의
단안 깊이 추정(Monocular Depth Estimation, MDE)은 최근 반복적인 디노이징을 통해 전역적 정밀화 과정으로 깊이를 복원하는 확산 기반 모델(diffusion-based models)에 의해 주도되어 왔습니다. 이러한 방식은 효과적이긴 하지만, 저자들은 이 패러다임이 깊이를 전역적으로 매끄러운 장(field)으로 암묵적으로 가정함으로써, 실제 세계의 장면 기하학이 가진 조각적(piecewise), 불연속적, 그리고 스케일 의존적인 특성을 명시적으로 반영하지 못한다고 주장합니다. 가려짐 경계(occlusion boundaries), 얇은 구조, 표면 교차와 같은 기하학적 구조는 균일하게 정밀화되기보다는 공간적 스케일에 따라 점진적으로 나타나는 경우가 많습니다. 또한, 깊이에 적용된 기존의 자기 회귀(auto-regressive, AR) 방식은 "평면적(flat)" 공식을 사용하여 근거리의 세부 사항에 충분한 용량을 할당하지 못하고 전역적인 레이아웃을 포착하는 데 어려움을 겪으며, 이로 인해 미세한 구조적 충실도가 손실됩니다.

방법론
본 논문은 깊이 추정을 구조화된 스케일 점진적 생성 과정으로 공식화하는 계층적 자기 회귀 프레임워크인 ARDepth를 소개합니다. ARDepth는 균일한 디노이징 대신, 거친 레이아웃에서 미세한 기하학적 세부 사항으로 깊이 표현을 구축합니다.

아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 계층적 조粗-세(Coarse-to-Fine) 자기 회로:

   • 모델은 사전 학습된 시각적 자기 회귀(Visual Auto-Regressive, VAR) 백본을 활용합니다.
   • 깊이 지도는 점진적으로 증가하는 공간 해상도를 가진 일련의 잔차 맵($R = \{r_1, ..., r_K\}$)으로 분해됩니다.
   • 트랜스포머는 이러한 잔차들을 순차적으로 예측합니다. 거친 잔차는 전역적인 장면 레이아웃과 지배적인 표면을 인코딩하며, 후속 잔차는 물체 경계 및 국소적 불연속성과 같은 고주파 보정치를 포착합니다.
   • 추론 시, 모델은 거친 단계에서 세밀한 단계로 잔차를 생성하고 이를 융합하여 최종 풀 해상도 깊이 맵을 생성합니다.

2. 스케일 점진적 컨디셔닝 (Scale-Progressive Conditioning, SPC):

   • 단일 전역 시각 특징에 의존하는 표준 AR 모델의 한계를 해결하기 위해, SPC는 각 생성 단계에서 다중 스케일 시각 특징을 주입합니다.
   • 입력 이미지로부터 국소 특징 토큰($v_k$)과 풀링된 전역 컨텍스트($g_k$)를 구축합니다.
   • 크로스 어텐션(cross-attention) 메커니즘을 사용하여, 이 모듈은 국소 및 전역 단서를 중간에 예측된 잔차와 적응적으로 융합합니다. 이를 통해 거친 단계는 전역 레이아웃 단서를 받고, 고해상도 단계는 국소적이고 고주파적인 시각적 증거의 안내를 받아 공간적 정렬과 세부 충실도를 향상시킵니다.

3. 의미론적 인식 가이드 (Semantic-Aware Guidance, SAG):

   • 전역 구조적 일관성을 높이기 위해, SAG는 경량화된 장면 수준의 의미론적 사전 지식(semantic priors)을 도입합니다.
   • 멀티모달 언어 모델(VLM)은 장면의 전역 구조와 객체 관계에 대한 간결하고 이미지 특화된 설명을 생성합니다(명시적인 픽셀 단위의 깊이 추론은 피함).
   • 이 텍스트는 인코딩되어 "시작 시퀀스(start-of-sequence, sos)" 토큰으로 투영되며, 이는 트랜스포머의 초기 입력 역할을 합니다. 이는 생성 과정을 안정화하기 위해 전역 의미 컨텍스트를 제공하며, 특히 질감이 없거나 가려진 영역에서 유용합니다.

주요 기여

• 구조화된 AR 공식화: 본 논문은 깊이를 전역적으로 정밀화되는 무작위 장(random field)으로 가정하는 것에서 벗어나, 깊이 추정을 스케일 점진적 자기 회귀 생성 작업으로 공식화할 것을 제안합니다.
• 단계별 정렬 컨디셔닝: SPC와 SAG 모듈을 도입했습니다. SPC는 국소 세부 사항을 복원하기 위해 시각적 단서를 계층적 생성 과정에 정렬시키며, SAG는 전역 의미 사전 지식을 제공하여 장면의 일관성을 유지합니다.
• 포괄적인 검증: 저자들은 접근 방식의 타당성을 검증하기 위해 광범위한 제로샷(zero-shot), 상대적 깊이, 인도메인(in-domain) 및 스케일링 연구를 제공합니다.

실험 결과

• 제로샷 성능: 5개의 실제 벤치마크(NYUv2, KITTI, ETH3D, ScanNet, DIODE)에서 ARDepth는 최첨단 확산 기반 모델(예: Marigold, GeoWizard)과 경쟁하거나 이를 능가하는 성능을 보였으며, 기존 자기 회귀 베이스라인(예: DepthART, VAR)을 크게 앞질렀습니다.
  • 예를 들어, 74K 학습 설정에서 ARDepth는 NYUv2의 AbsRel을 Marigold의 5.5에서 4.8로 개선했습니다.
• 절제 실험(Ablation Studies):
  • SPC: SPC를 제거하면 성능이 크게 저하됩니다. 연구를 통해 국소 및 전역 특징의 적응형 어텐션 기반 융합이 단순한 결합(concatenation)이나 전역 컨텍스트만을 사용하는 것보다 우수함을 확인했습니다.
  • SAG: 이미지 특화 의미론적 설명(SAG Text)이 일반적인 프롬프트나 빈 텍스트보다 우수한 성능을 보여, 압축된 장면 수준 가이드의 가치를 입증했습니다. 그러나 지나치게 상세한 공간적 설명은 노이즈를 유발할 수 있습니다.
  • 계층 vs 평면(Hierarchy vs. Flat): "Flat AR" 베이스라인(단일 단계 래스터 스캔)은 계층적 공식보다 현저히 낮은 성능을 보였으며, 이는 거친 단계에서 세밀한 단계로의 인자가 밀집한 기하학적 예측에 결정적임을 입증합니다.
• 확장성: 프레임워크는 데이터(74K에서 174K 샘플로 증가)와 모델 크기(2B vs. 8B 파라미터)에 따라 효과적으로 확장됩니다. 2B 변형 모델이 이미 Marigold를 능가한다는 점은 아키텍처 설계 자체가 상당한 이점을 제공함을 나타냅니다.
• 정성적 분석: 시각적 비교 결과, ARDepth는 확산 기반 모델에 비해 더 날카로운 경계를 생성하고, 얇은 구조를 더 잘 보존하며, 더 일관된 전역 레이아웃을 유지함을 보여줍니다.

의의 및 주장
본 논문은 ARDepth가 자기 회귀 생성을 기하학적 모델링을 위한 유망한 대안 패러다임으로 검증한다고 주장합니다. 장면 기하학의 계층적이고 스케일 의존적인 조직을 명시적으로 모델링함으로써, 이 접근 방식은 강력한 제로샷 일반화와 구조적으로 일관된 예측을 달고합니다.

저자들은 자신들의 연구를 확산 모델을 대체하는 것이 아니라, 태스크 인지적 아키텍처 설계(특히 계층적 생성 및 단계별 정렬 컨디셔닝)를 통해 자기 회귀 프레임워크가 밀집한 기하학적 구조를 효과적으로 포착할 수 있다는 증거로 위치시킵니다. 이들은 이러한 관점이 공간 추론과 멀티모달 이해를 통합적으로 모델링할 수 있도록 자기 회귀 파운데이션 모델(예: MLLM)을 확장하는 데 잠재적인 방향을 제시한다고 제안합니다.

한계점
저자들은 현재 8B 모델이 순차적 디코딩으로 인해 무시할 수 없는 추론 비용을 발생시킨다는 점을 인정하며, 더 가벼운 2B 변형 모델을 사용할 수 있음을 언급했습니다. 또한 SAG가 오프더쉘(off-the-shelf) VLM에 의존하며, 이들이 때때로 노이즈가 있는 공간적 세부 사항을 포함할 수 있어 명시적인 깊이 추론보다는 압축된 장면 수준의 설명이 필요하다는 점을 지적했습니다. 마지막으로, 현재의 공식은 단일 이미지 추정에 국한되어 있으며, 비디오 및 다중 뷰 확장은 향후 과제로 남겨두었습니다.