기술 요약: 어떤 사전 학습 패러다임이 공간 지능을 더 잘 뒷받침하는가?

문제 제기

공간 지능은 구체화된 AI, 자율 주행, 로봇 공학에 있어 핵심적인 구성 요소이며, 의미론적 객체 정보와 기하학적 구조를 동시에 포착하는 시각적 표현을 요구합니다. 현재 두 가지 지배적인 사전 학습 패러다임이 이러한 작업의 기반 백본으로 작용하고 있습니다:

1. 시각-언어 모델 (VLMs): 언어 감독을 활용하여 시각적 관찰과 의미론적 개념을 정렬합니다.
2. 비디오 생성 모델 (VGMs): 시간에 따라 진화하는 시각적 세계로부터 학습하여 동역학과 기하학적 일관성에 대한 사전 지식을 획득할 수 있습니다.

두 계열 모두 점점 더 인식 백본으로 사용되고 있지만, 어떤 패러다임이 공간 지능을 위한 더 우수한 표현 기반을 제공하는지는 여전히 불분명합니다. 이전 비교 연구들은 종종 완전한 정책 (예: 시각-언어-액션 프레임워크 내) 을 평가하는데, 이때 성능은 액션 디코더, 로봇 데이터 혼합, 그리고 사후 학습 레시피와 얽혀 있습니다. 본 논문은 어떤 공간 정보가 다운스트림 미세 조정 전에 본질적으로 인코딩되어 있는지를 결정하기 위해 동결된 시각적 표현 자체를 분리할 필요성에 대응합니다.

방법론

저자들은 세 가지 상호 보완적인 공간 지능 축에 걸쳐 VLM 과 VGM 을 비교하기 위해 통제된 동결 특징 프로빙 연구를 제안합니다. 핵심 설계는 기반 모델을 동결하고 특정 정보를 읽어내기 위해 통합된 아키텍처를 갖춘 경량 프로브를 훈련하는 것을 포함합니다.

1. 실험 설정

• 모델: 연구는 두 계열의 대표 모델을 평가합니다:
  • VGMs: WAN2.1(T2V/I2V), CogVideoX, OpenSora-2.0, Aether.
  • VLMs: InternVL3/3.5, Qwen2.5-VL, Qwen3-VL.
• 특징 추출:
  • 76 프레임 비디오 컨텍스트가 샘플링됩니다.
  • VGMs의 경우, 단일 디노이징 패스 (빈 텍스트 조건 또는 이미지-비디오 조건화 사용) 중 선택된 트랜스포머 블록의 숨겨진 활성화에서 특징이 추출됩니다. VAE 를 통한 시간적 압축은 76 프레임을 20 개의 잠재 위치와 정렬합니다.
  • VLMs의 경우, 20 개의 쿼리 프레임이 직접 입력되고, 언어 모델 레이어에서 비주얼 토큰 숨겨진 상태가 수집됩니다.
• 통합 프로빙 백본: 경량이며 동일한 트랜스포머 백본 (N 레이어 교차 어텐션) 이 샘플링된 특징을 처리합니다. 이는 프레임 단위 어텐션을 수행한 후 프레임 간 전역 어텐션을 수행합니다.
• 작업별 읽기 헤드: 동결된 백본 위에 세 가지 독립적인 헤드가 훈련됩니다:
  1. 의미론적 태깅: 비디오 내 객체 범주의 존재를 예측하는 다중 레이블 분류기 (ScanNet20 어휘).
  2. 인스턴스 그룹화: 여러 뷰에서 동일한 객체 인스턴스에 속하는 픽셀을 그룹화하기 위해 다중 뷰 대비 풀-푸시 손실로 훈련된 픽셀 단위 프로젝션 헤드.
  3. 3D 기하학 예측: 점 맵 및 깊이 예측을 위한 밀집 헤드 (DPT 스타일) 와 포즈 추정을 위한 카메라 헤드로, VGGT 가 생성한 정답 (DL3DV 데이터셋) 에 의해 감독됩니다.

2. 평가 지표

• 의미론적 태깅: mAP, APmid(덜 빈번한 범주에 대한 성능), Mid Ratio.
• 인스턴스 그룹화: T-mIoU(여러 뷰에 걸친 평균 IoU) 및 T-SR(모든 뷰에서 인스턴스를 그룹화하는 성공률).
• 3D 기하학: P-map Err.(정렬 후 점 맵 오차), AbsRel(상대 깊이 오차), AUC@30(카메라 포즈 정확도).

주요 결과

1. 명확한 강점의 분할

실험은 단일 우월한 패러다임이 아니라 두 모델 계열 간의 뚜렷한 상호 보완성을 드러냅니다:

• VLMs 는 의미론과 인스턴스에 뛰어납니다:
  • 의미론적 태깅: VLMs 는 VGMs 보다 현저히 우수한 성능을 보입니다 (평균 mAP: 92.08% 대 69.89%). 특히 덜 빈번한 범주에서 강세를 보입니다 (APmid: 87.28 대 58.63).
  • 인스턴스 그룹화: VLMs 는 여러 뷰에 걸쳐 픽셀을 그룹화하는 데에서도 앞서며 (T-mIoU: 22.66 대 13.24), 객체 중심 의미론적 표현이 기하학적 연속성뿐만 아니라 인스턴스 영속성에 중요함을 시사합니다.
• VGMs 는 3D 기하학에 뛰어납니다:
  • 기하학 예측: VGMs 는 밀집 기하학과 카메라 운동을 복원하는 데 더 우수한 결과를 달성합니다 (더 낮은 P-map Err: 0.152 대 0.223; 더 낮은 AbsRel: 0.072 대 0.113; 더 높은 AUC@30: 0.527 대 0.330).
  • 이는 비디오 생성 사전 학습이 언어 정렬 훈련보다 공간 일관성과 기하학적 사전 지식을 본질적으로 더 효과적으로 인코딩함을 나타냅니다.

2. 단순한 특징 융합

저자들은 강력한 VGM(WAN2.1-T2V-14B) 과 강력한 VLM(Qwen3-VL-8B) 의 정규화된 특징을 연결하여 동일한 프로브에 입력하는 "단순한" 특징 수준 융합을 테스트했습니다.

• 결과: 융합된 표현은 VLM 의 의미론적 우위 (태깅에서 VGM 을 능가하고 그룹화에서 VLM 에 근접) 를 유지하면서, VGM 의 기하학적 강점 (깊이 및 카메라 지표에서 VGM 을 일치시키거나 약간 초과) 을 회복했습니다.
• 시사점: 이는 두 계열의 강점이 상호 보완적이며 의미론과 기하학 모두에서 뛰어난 표현을 만들기 위해 결합될 수 있음을 보여줍니다.

3. 발견의 안정성

프로브 깊이 (경량 읽기 헤드의 용량 변화) 에 대한 제거 연구는 모델의 상대적 순위가 안정적으로 유지됨을 보여주었습니다. 이는 관찰된 차이가 프로브가 처음부터 작업을 학습하는 능력 때문이 아니라 동결된 특징 자체에 인코딩된 정보에 기인함을 확인시켜 줍니다.

중요성 및 주장

본 논문은 공간 지능이 단일 축으로 포착되지 않는다고 주장합니다.

• 상호 보완성: 현재 기반 모델은 트레이드오프를 보입니다: VLM 은 강력한 의미론적 및 객체 중심 표현을 제공하는 반면, VGM 은 접근 가능한 밀집 기하학적 및 운동 신호를 제공합니다.
• 방법론적 기여: 동결된 표현을 분리함으로써, 연구는 다운스트림 미세 조정의 교란 요인을 피하여 사전 학습 방식이 본질적으로 무엇을 인코딩하는지에 대한 더 명확한 시각을 제공합니다.
• 미래 방향: 단순한 특징 융합의 성공은 언어 정렬된 객체 의미론과 생성 유도 기하학적 표현을 효과적으로 통합함으로써 더 강력한 공간 지능 백본을 구축할 수 있는 유망한 경로를 시사합니다.

저자들은 미래의 공간 이해 시스템이 인식 (VLM) 이나 재구성 (VGM) 에만 의존해서는 안 되며, 견고한 공간 지능을 달성하기 위해 두 패러다임을 통합해야 한다고 결론지었습니다.