What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility

기술 요약: VGGT가 중첩(Overlap)에 대해 알고 있는 것: 공동 가시성(Co-Visibility)을 위한 기하학적 파운데이션 모델 프로빙

문제 정의
3D 재구성 및 로봇 위치 추정(localization)에서 근본적인 과제는 공동 가시성(co-visibility), 즉 어떤 이미지 쌍이 겹치는 가시 표면을 공유하는지를 식별하는 것입니다. 이 작업은 Structure-from-Motion (SfM) 및 Simultaneous Localization and Mapping (SLAM) 파이프라인에서 안정적인 기하학적 제약을 구축하는 데 매우 중요합니다. 현재의 접근 방식들은 희소 뷰(sparse-view) 환경이나 최소한의 중첩이 있는 시나리오에서 성능이 크게 저하되는 경우가 많으며, 이는 모호한 특징점 매칭, 포즈 추정 드리프트, 그리고 조용한 재구성 실패(silent reconstruction failures)로 이어집니다. 최근의 Co-VisiON과 같은 벤치마크는 이러한 희소하고 불균형한 시나리오에서 현재 모델과 인간 베이스라인 사이의 성능 격차를 강조하고 있지만, 기존 방법들(학습된 매처나 대규모 시각-언어 모델 포함)은 중첩되지 않는 쌍을 신뢰성 있게 표시하거나 다운스트림 필터링을 위한 보정된 신뢰 점수를 제공하는 데 어려움을 겪고 있습니다.

방법론
저자들은 고정된(frozen) **Visual Geometry Grounded Transformer (VGGT)**의 내부 표현을 활용하여 백본을 수정하지 않고 RGB 입력으로부터 공동 가시성을 직접 예측하는 방법인 Co-VGGT를 제안합니다.

1. 창발적 구조 프로빙: 본 연구는 먼저 명시적인 공동 가시성 감독 없이 학습된 VGGT가 이 정보를 암묵적으로 인코딩하고 있는지 조사합니다. 저자들은 VGGT의 내부 표현이 대규모 언어 모델(LLM)과 유사한 계층적 구조를 나타낸다는 것을 발견했습니다:

   • 초기 레이어는 3D 인지 장면 표현을 구축합니다.
   • 후기 레이어는 전용 공동 가시성 추론기(reasoner) 역할을 합니다.
   • 특히, **레이어 17 (L17)**은 비공동 가시성 쌍을 일관되게 라우팅하는 "부정적 앵커(negative anchor)"로 식별되었으며, 이는 레이어 특화(layer specialization)에 대한 작업 기반의 증거를 제공합니다.

2. Co-VGGT 아키텍처: 이러한 발견을 바탕으로, 저자들은 고정된 VG고 VGGT 상단에 학습된 경량 레이어별 전문가 혼합(Layer-wise Mixture-of-Experts, MoE) 헤드(약 7.5M 파라미터)를 도입합니다.

   • 특징 추출: 서머리저(linear projection + learned queries와의 cross-attention)를 사용하여 고정된 VGGT의 모든 레이어로부터 뷰별 임베딩을 추출합니다.
   • 쌍 표현: 각 이미지 쌍 $(i, j)$에 대해, 임베딩의 결합, 절대 차이, 그리고 요소별 곱을 사용하여 대칭적 특징 벡터 $[e_i, e_j, |e_i - e_j|, e_i \odot e_j]$를 구성합니다.
   • 전문가 혼합(Mixture-of-Experts): 각 트랜스포머 레이어는 로짓(logit)을 예측하는 "전문가" MLP 역할을 하며, 게이팅 네트워크는 입력 쌍에 따라 이러한 레이어별 예측에 적응적으로 가중치를 부여하여 최종 공동 가시성 확률로 집계합니다.

3. 평가 프로토콜: 이 방법은 다음 두 가지 체계에서 평가됩니다:

   • Pairwise (쌍 단위): 개별 이미지 쌍에 대한 공동 가시성 예측.
   • Multiview (다중 뷰): $N$개의 뷰에 대한 전체 공동 가시성 그래프를 동시에 예측.
   • 또한, 학습 가능한 헤드 없이 고정된 VGGT 특징에 대한 코사인 유사도를 사용하는 Zero-Shot 베이스라인도 정의되었습니다.

주요 결과
이 방법은 Gibson 및 HM3D 환경에서 Co-VisiON 벤치마크를 통해 평가되었으며, Graph IoU* 및 AUC를 통해 성능을 측정했습니다.

• 최첨단(SOTA) 성능: Co-VGGT는 이전의 성과를 크게 앞섭니다.
  • Pairwise: Gibson에서 0.85 IoU*, HM3D에서 0.84를 달성하여, 이전 최고 모델인 Covis(Gibson에서 0.56)보다 25% 이상 높은 성능을 보였습니다. 또한 GPT-4o와 같은 프롬프팅된 대규모 VLM(0.58)의 성능을 능가합니다.
  • Multiview: Gibson에서 0.74 IoU*, HM3D에서 0.76을 달와 달성하여, SOTA 대비 거의 10% 향상된 성능을 보였습니다. 특히, Gibson 다중 뷰 설정에서의 보고된 인간 주석 베이스라인(0.72)을 초과했습니다.
• 최소 중첩에 대한 강건성: 이 모델은 쌍별 중첩이 $<10\%$인 "어려운(hard)" 체제에서 우수한 강건성을 보여줍니다. Hard edge-level split에서 Co-VGGT는 Graph-IoU 0.84를 달성한 반면, GPT-4o는 0.34를 기록했습니다.
• 보정(Calibration): Pairwise 설정에서 Co-VGGT는 0.030의 기대 보정 오차(Expected Calibration Error, ECE)를 가지며 잘 보정되어 있습니다. 이를 통해 예측된 확률을 사후 교정 없이 가시성 그래프의 엣지 가중치로 직접 사용할 수 있습니다.
• Zero-Shot 능력: MoE 헤드를 학습시키지 않은 Zero-shot 변형조차 Gibson에서 경쟁력 있는 결과(0.50 IoU*)를 달성하여, 공동 가시성 신호가 고정된 VGGT 특징 내에 본질적으로 존재함을 확인했습니다.

의의 및 주장
본 논문은 VGGT와 같은 기하학적 기반의 파운데이션 모델이 즉각적인 학습 목표를 초월하는 풍부한 공간적 사전 지식(spatial priors)을 인코딩하며, 공동 가시성에 대해 추론하는 법을 효과적으로 학습한다는 점을 주장합니다.

• 계층적 특화: 본 연구는 기하학적 기반 모델에서의 계층적 구조에 대한 최초의 작업 기반 증거를 제공하며, LLM의 후기 레이어가 복잡한 추론을 처리하는 것과 유사하게 후기 레이어(특히 L17)가 공동 가시성을 결정하는 추론기임을 식별했습니다.
• 효율적 증류(Distillation): 저자들은 이러한 창발적 신호가 RGB 입력만을 사용하는 모듈형의 경량 예측기(Co-VGGT)로 효율적으로 증류될 수 있음을 입증했습니다.
• 실용적 유용성: 잘 보정된 출력은 신뢰할 수 있는 가시성 그래프의 직접적인 구축을 가능하게 하여, 일관되지 않은 제약을 식별하고 Embodied Autonomy 파이프라인의 초기 단계 실패를 감지하는 감사 메커니즘 역할을 수행합니다.

저자들은 희소 뷰 공동 가시성 추론의 간극을 메우는 것이 강건한 로봇 인지에 필수적이며, 그들의 접근 방식이 도전적인 시나리오에서 현재 모델과 인간 베이스라인 사이의 성능 격차를 효과적으로 좁힌다고 결론짓습니다.