DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation

기술 요약: DrivingDepth

문제 정의: 기하학-스케일 갈등 (The Geometry–Scale Conflict)

자율 주행에는 밀도(dense) 있고, 픽셀 정렬(pixel-aligned) 되어 있으며, 미터법적으로 일관된(metrically consistent) 깊이 추정이 필요합니다. 그러나 기존의 센싱 모달리티와 모델들은 기하학-스케일 갈등이라 불리는 근본적인 긴장 상태에 직면해 있습니다:

• 시각적 파운데이션 모델(Visual Foundation Models) (예: DepthAnything3, Depth Pro)은 강력한 경계 일관성을 가진 밀도 높고 픽셀 정렬된 시각적 기하학을 생성하지만, 신뢰할 수 있는 미터법적 스케일이 부족합니다. 이들은 이미지별로 독립적으로 추론하거나 절대적 거리 앵커 없이 시각적 대응 관계에만 의존합니다.
• **투영된 LiDAR(Projected LiDAR)**는 미터법적 앵커를 제공하지만, 본질적으로 **희소(sparse)**하고, 노이즈가 많으며, 불균일하게 분포되어 있고, 캘리브레이션 드리프트나 표면 반사로 인해 이미지 구조와 어긋나는 경우가 많습니다.

기존 방법론의 한계: 기존의 희소 프롬프트 방식(예: MapAnything, PriorDA)은 LiDAR를 사용하여 깊이를 처음부터 다시 생성하거나 특징을 융합하여 절대 깊이를 예측하려고 시도합니다. 이러한 접근 방식은 파운데이션 모델의 일관된 기하학적 사전 정보(geometric priors)를 덮어써 버려, LiDAR 증거가 희소한 시각적으로 연속적인 객체에서 구조적 아티팩트(구멍, 깨진 표면)를 유발합니다. 반대로, 전역적인 사후 정렬(global post-hoc alignment)은 평균적인 스케일은 조정할 수 있지만, 서로 다른 표면에 걸친 공간적으로 가변적인 미터법적 오류를 수정하는 데는 실패합니다.

방법론: DrivingDepth

DrivingDepth는 희소한 LiDAR를 밀도 높은 감독 대상(supervision targets)이 아니라 **잔차 픽셀 단위 스케일 교정(residual pixel-wise scale correction)**을 위한 **기하학적 프롬프트(geometric prompts)**로 취급함으로써 이 갈등을 해결하는 **최소 개입 프레임워크(minimal-intervention framework)**를 제안합니다. 핵심 통찰은 파운데이션 모델이 이미 기하학적으로 일관된 상대적 깊이를 포착하고 있다는 것이며, 모델은 단지 이 상대적 기하학을 미터법 좌표로 매핑하기 위한 픽셀당 스케일 계수를 학습하기만 하면 된다는 것입니다.

아키텍처

이 프레임워크는 동결된(frozen) DepthAnything3 (DA3) 백본을 기반으로 구축되었으며, 두 가지 상호 보완적인 수준에서 작동합니다:

1. 기하학 보존 특징 어댑터 (Geometry-Preserving Feature Adapter, GPFA):

   • 기능: 백본의 기하학을 덮어쓰지 않고 동결된 DA3 표현에 희소 깊이 단서를 주입합니다.
   • 메커니즘: 경량 CNN이 다중 해상도 LiDAR 프롬프트를 희소 깊이 토큰으로 인코딩합니다. 이 토큰들은 **교차 주의 집중(cross-attention)**을 통해 이미지 토큰에 조건을 부여합니다.
   • 제한된 전파 (Constrained Propagation): 서라운드 뷰 카메라의 물리적 설정을 존중하기 위해, 셀프 어텐션(self-attention)은 공동 가시 패턴(co-visible patterns), 즉 동일한 타임스탬프의 인접 카메라 및 연속된 프레임의 동일 카메라로 제한됩니다. 이는 관련 없는 뷰로부터 발생하는 기하학적 노이즈를 방지합니다.
   • 출력: 깊이 인식 특징(depth-aware features)이 원래의 백본 특징과 결합되어, 스케일 헤드가 수정되지 않은 기하학적 사전 정보에 직접 접근할 수 있도록 보장합니다.

2. 희소 인식 픽셀 스케일 헤드 (Sparse-Aware Pixel-Scale Head):

   • 기능: 밀도 높은 픽셀당 스케일 맵($S_{pix}$)과 신뢰도 맵($C$)을 예측합니다.
   • 입력: 어댑터의 깊이 인식 특징과 다중 해상도 LiDAR 프롬프트(저해상도 디코더 단계에서의 유효 밀도를 높이기 위해 희소 깊이를 다운샘플링하여 구성)를 결합합니다.
   • 초기화: 헤드는 중립적으로 초기화됩니다(제로 초기화 컨볼루션, 스케일 1로 초기화). 이를 통해 모델은 학습 시작 시 DA3의 원래 예측을 재현합니다.
   • 출력: 최종 미터법 깊이 $\hat{D}_c$는 $D_{prior} \odot S_{pix} \cdot s_g$로 계산됩니다. 여기서 $s_g$는 뷰 간 일관성을 보장하기 위해 강건한 이상치 제외(Robust Outlier Exclusion, ROE) 정렬을 통해 도출된 전역 클립 수준 스칼라입니다.

학습 목적 함수 (Training Objective)

손실 함수는 미터법적 앵커링과 기하학적 보존 사이의 균형을 맞춥니다:

• 희소 깊이 정렬 ($L_{depth}$): 다중 해상도 감독과 **신뢰도 가중 회귀(confidence-weighted regression)**를 결합합니다. 학습된 신뢰도 맵은 신뢰할 수 없는 LiDAR 투영(예: 정렬이 어긋난 지점)의 가중치를 자동으로 낮춥니다.
• 표면 법선 규제 ($L_{norm}$): 수정된 깊이와 DA3 사전 정보 사이의 법선 각도 편차에 대해 페널티를 부여합니다. 이는 모델이 노이즈가 있는 점들에 맞춰 표면 연속성을 깨뜨리는 방식으로 피팅되는 것을 방지합니다.
• 스케일 규제 ($L_{scale}$): 스케일 맵이 매끄럽고 1에 가깝도록 유도하여 희소 노이즈에 대한 과적합을 방지합니다.

주요 기여

1. 문제 공식화: 주행 깊이에서의 기하학-스케일 갈등을 식별하고, 깊이를 새로 생성하는 대신 잔차 픽셀 단위 스케일 교정을 통해 이를 해결하는 방안을 제안했습니다.
2. 최소 개입 아키텍처: 기하학 보존 특징 어댑터(제한된 주의 집중을 통한 단서 주입)와 희소 인식 픽셀 스케일 헤드(학습된 신뢰도를 통한 교정 예측)를 특징으로 하는 이중 수준 설계를 제공합니다.
3. 학습 전략: 희소 미터법 앵커링과 밀도 높은 기하학 보존 사이를 중재하기 위해 신뢰도 가중 정렬, 표면 법선 규제, 스케일 매끄러움을 사용하는 균형 잡힌 목적 함수를 사용합니다.
4. 실증적 검증: 뛰어난 기하학적 일관성을 보이면서 경쟁력 있는 미터법 정확도를 입증했습니다.

실험 결과

실험은 nuScenes 및 DDAD 데이터셋에서 4-프레임 서라운드 뷰 입력을 사용하여 수행되었습니다.

• 미터법 정확도 vs 일관성: DrivingDepth는 nuScenes에서 AbsRel 11.19 및 EdgeCR 5.741을 달성했습니다.
  • 이는 미터법 정확도를 위해 경계 정렬을 희생하는 MapAnything(AbsRel 11.99, EdgeCR 1.914)보다 우수합니다.
  • 미터법 스케일이 부족한 DepthAnything3(AbsRel 15.88)보다 크게 개선되었습니다.
  • 희소한 LiDAR 포인트에 과적합되어 깊이 불연속성을 만들어내는 PriorDA(EdgeCR 2.524)의 구조적 아티팩트를 피합니다.
• 희소 데이터에 대한 강건성: 10% LiDAR 밀도 조건에서도 DrivingDepth는 높은 성능(EdgeCR > 5.7)을 유지하는 반면, MapAnything은 급격히 저하됩니다(EdgeCR ~1.9로 하락). 이는 LiDAR를 밀도 높은 감독이 아닌 기하학적 프롬프트로 취급하는 방식의 유효성을 입증합니다.
• 정성적 분석: 시각화 결과, DrivingDepth는 스케일 오류를 교정하면서도 날카로운 객체 경계와 일관된 3D 구조(예: 움직이는 트럭, 건물 외벽)를 보존하는 반면, 다른 방법들은 스케일이 부족하거나 기하학적 왜곡을 유발합니다.

의의 및 주장

본 논문은 **문제를 분해(decomposition)**함으로써, 파운데이션 모델이 이미 필요한 표면 구조를 제공하며 오직 스케일 매핑만이 학습이 필요한 영역임을 인식하여, 밀도 높은 시각적 기하학과 신뢰할 수 있는 미터법적 스케일 사이의 간극을 성공적으로 메웠다고 주장합니다.

• 효율성: 백본을 동결하고 경량 스케일 헤드와 어댑터만을 학습함으로써, 엔드 투 엔드 재학습 비용 없이 단일 8-GPU 노드에서 모델을 구동할 수 있습니다.
• 설계 원칙: "최소 개입" 원칙은 밀도 높은 시각적 기하학이 구조적으로(by construction) 보존되도록 하여, 깊이를 처음부터 재생성하는 방식에서 흔히 발생하는 구조적 아티팩트를 방지합니다.
• 한계: 저자들은 이 접근 방식이 동결된 파운데이션 모델의 기하학이 근본적으로 올바르다는 것에 의존한다는 점을 겸허히 언급합니다. 만약 파운데이션 모델이 (예: 고반사 또는 투명한 표면에서) 구조를 포착하는 데 실패한다면, 스케일 교정만으로는 누락된 기하학을 복구할 수 없습니다.