GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth

기술 요약: GemDepth: 3D 일관성 비디오 깊이를 위한 기하학 임베딩 특징

문제 제기
단안 깊이 추정은 기반 모델 (foundation models) 을 통해 크게 발전했으나, 이러한 프레임워크는 주로 단일 프레임 추론을 위해 설계되었습니다. 비디오에 적용할 때 프레임을 고립적으로 처리하면 중요한 시간적 의존성을 무시하게 되어 심각한 프레임 간 깜빡임과 기하학적 불일치를 초래합니다. 기존 비디오 깊이 추정 방법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

1. 생성 모델: 날카로운 세부 사항을 보존할 수 있지만, 시간적 일관성이 부족하고 계산 오버헤드가 크며 메모리 사용량이 prohibitive(부담스러울 정도로) 합니다.
2. 판별 모델: 시간적 모듈을 통해 단일 프레임 추정기를 확장하지만, 암시적 2D 시간적 평활화에 의존합니다. 명시적 기하학적 인식이 부족하여 복잡한 카메라 회전이나 급격한 시점 변화 동안 엄격한 3D 일관성을 유지하는 데 어려움을 겪습니다. 이로 인해 고주파수 공간 단서가 억제되어 경계가 흐려지고 구조적 충실도가 저하되는 결과가 자주 발생합니다.

저자들은 명시적 3D 기하학 이해—특히 카메라 운동과 글로벌 3D 구조에 대한 인식—가 진정한 시간적 일관성을 위한 전제 조건이라고 주장합니다. 명시적 운동 인식 사전 지식이 없으면 모델은 일관성을 강제하는 데 필요한 잠재적 포인트 레벨 대응 관계를 수립하지 못합니다.

방법론
GemDepth 는 명시적 기하학적 제약을 통합하여 비디오 깊이 추정을 향상시키도록 설계된 일반화된 프레임워크입니다. DepthAnythingV2 와 VideoDepthAnything 와 같은 베이스라인에 구현됩니다. 이 프레임워크는 세 가지 핵심 구성 요소로 구성됩니다:

1. 기하학 임베딩 모듈 (GEM):

   • 기능: GEM 은 자세 인식 기하학 임베딩을 주입하기 위해 카메라 자기 운동 (ego-motion) 을 명시적으로 모델링합니다.
   • 메커니즘: 학습 가능한 카메라 토큰을 처리하기 위해 4 층 교차 어텐션 (alternating-attention) 트랜스포머가 있는 경량 EfficientPoseNet 을 활용합니다. 이를 통해 6 자유도 (6-DoF) 카메라 자세와 글로벌 스케일 인자를 추정합니다.
   • 정규화: 단안 스케일 모호성을 해결하기 위해 글로벌 스케일 인자를 사용하여 병진 운동을 정규화하고, 모든 자세를 통합된 표준 좌표계로 투영합니다.
   • 출력: 회전, 병진 운동 및 스케일은 기하학적 MLP 를 통해 인코딩되어 메트릭 인식 카메라 특징 표현 ($F_{cam}$) 을 생성합니다. 이러한 표현은 시각적 특징과 융합되어 네트워크에 물리적 제약을 통한 일관성을 강제하는 좌표계를 제공합니다.

2. 교차 시공간 트랜스포머 (ASTT):

   • 기능: ASTT 는 기하학적 일관성을 강제하면서도 세부 사항을 정제하기 위해 의존성 모델링을 두 가지 전문화된 단계로 분해합니다.
   • 시간적 어텐션 (기하학적 정렬): GEM 의 운동 사전 지식을 활용하여 시간 축 전반에 걸쳐 명시적 포인트 레벨 대응 관계를 수립합니다. 순수 운동 단서를 포착하기 위해 궤적 기반 특징 집계를 수행하여 견고한 공간 구조적 일관성과 깜빡임 없는 시퀀스를 보장합니다.
   • 공간적 어텐션 (구조적 정제): 정렬된 시간적 특징을 조건으로 하여 관련 3D 공간 특징을 집계합니다. 여기에는 국소 레이아웃을 위한 프레임 내 공간적 어텐션과 장거리 의존성을 위한 프레임 간 공간적 어텐션이 포함되어 고주파수 표현을 향상시키고 구조적 세부 사항을 선명하게 합니다.
   • 실행: 이 모듈은 이러한 메커니즘 사이를 교차하며 실행되어 기하학적 정렬이 세부 사항 선명화보다 먼저 이루어지도록 보장합니다.

3. 2 단계 훈련 전략:

   • 1 단계 (기하학적 최적화): 전체 프레임워크는 Virtual KITTI 2, TartanAir 등을 포함한 약 69 만 프레임의 복합 데이터셋에서 자세 및 깊이 감독을 통해 공동 최적화됩니다. 이를 통해 견고한 기하학적 추론 역량이 확립됩니다.
   • 2 단계 (깊이 정제): GEM 모듈은 기하학적 기반을 유지하기 위해 고정됩니다. 나머지 네트워크는 카메라 외향성 (extrinsics) 정답이 없는 데이터셋 (예: IRS, in-the-wild 시퀀스) 의 약 25 만 프레임에서 미세 조정됩니다. 이는 ASTT 가 자세 노이즈에 적응하도록 강요하여 불완전한 기하학적 단서가 있더라도 고품질 예측을 보장합니다.

주요 기여

• GemDepth 프레임워크: 자세 인식 임베딩을 주입하여 엄격한 3D 구조적 제약을 강제하는 기하학 임베딩 모듈 (GEM) 을 통합한 일반화된 솔루션입니다.
• ASTT 모듈: 기하학적 사전 지식을 활용하여 의존성 모델링을 분해하는 새로운 트랜스포머 아키텍처로, 기하학적 정렬과 공간적 정제를 교차시킴으로써 세부 사항 보존과 시간적 안정성 간의 갈등을 해결합니다.
• 데이터 효율성: 기존 접근 방식이 종종 수백만 개의 샘플을 요구하는 반면, 이 프레임워크는 약 100 만 프레임 미만의 훈련 샘플로만 최첨단 (SOTA) 성능을 달성하여 매우 효율적인 데이터 활용을 보여줍니다.

실험 결과
Sintel, KITTI, Scannet, Bonn 등 네 가지 벤치마크에 대한 광범위한 평가는 GemDepth 의 우월성을 입증합니다:

• 공간 정밀도: GemDepth-VDA 는 기존 SOTA 방법 대비 Bonn 과 Scannet 에서 AbsRel 오차를 25% 이상 감소시켰습니다. Sintel 에서는 VideoDepthAnything 보다 46.8% 더 높은 성능을 기록했습니다.
• 시간적 일관성: GemDepth 는 시간적 안정성에 대한 새로운 SOTA 기준을 수립했습니다. Scannet 에서 GemDepth-DAv2 는 기존 베이스라인 대비 시간적 정렬 오차 (TAE) 를 56.14% 감소시켰으며, GemDepth-VDA 는 17.54% 감소시켰습니다.
• 3D 기하학적 정확도: 포인트 클라우드 재구성에서 GemDepth-VDA 는 Bonn 에서 90.43 의 F1 점수를 달성하여, 0.58B 파라미터 (경쟁사 크기의 약 절반) 만으로도 DA3 (78.44) 및 VGGT 와 같은 무거운 3D 기반 모델보다 훨씬 뛰어난 성능을 보였습니다.
• 견고성: 제거 분석 (ablation studies) 은 모델이 저중간 수준의 주입된 자세 노이즈 (최대 20%) 하에서도 안정적인 성능을 유지하여 상류 기하학적 부정확성에 대한 회복 탄력성을 보여줍니다.
• 효율성: GemDepth 는 판별 베이스라인 대비 미미한 계산 오버헤드 (<20%) 로 이러한 결과를 달성하며, 생성형 프레임워크보다 현저히 낮은 지연 시간을 보입니다.

의의 및 주장
이 논문은 GemDepth 가 비디오 깊이 추정 분야에서 공간 정확도와 시간적 일관성 모두에 대한 새로운 벤치마크를 설정한다고 주장합니다. 카메라 운동과 글로벌 3D 구조를 명시적으로 모델링함으로써, 이 프레임워크는 암시적 2D 평활화에 의존하는 기존 방법의 근본적인 한계를 해결합니다. 저자들은 GemDepth 가 다양한 단안 또는 비디오 깊이 베이스라인에 원활하게 통합될 수 있는 다목적 일반화된 프레임워크라고 주장합니다. 제한된 자세 레이블 데이터로 SOTA 제로샷 성능을 달성하는 능력은 동적 환경에서의 3D 인식을 위한 더 데이터 효율적이고 기하학적으로 근거 있는 접근 방식의 전환을 강조합니다. 이 연구는 기하학적 일관성이 필수적인 자율 주행 및 증강 현실과 같은 실세계 응용 분야에서 깊이 추정 백본을 더 실용적으로 만드는 한 걸음으로 위치 지어집니다.