기술 요약: GeoWorld-VLM

문제 제기

현대 비전 - 언어 모델 (VLM) 은 의미 인식에서 유창성을 달성했지만 "왼쪽", "위", "뒤", "사이"와 같은 기본 공간 관계를 처리할 때 여전히 취약합니다. 저자들은 이러한 실패가 주로 언어적 추론의 결핍이 아니라 시각적 표현의 병목 현상이라고 주장합니다. 특징 추출 과정에서 표준 VLM 은 종종 중요한 3 차원 구조 단서를 압축하거나 폐기하여, 언어 모델에 신뢰할 수 있는 공간 판단을 위한 불충분한 이미지 표현을 제공합니다. 이 격차를 메우기 위한 기존 시도들은 종종 명시적인 3 차원 감독, 점구름 입력, 또는 테스트 시 합성 뷰 생성에 의존하는데, 이는 특수한 아키텍처나 추가적인 계산 오버헤드를 요구합니다.

방법론: GeoWorld-VLM

본 논문은 언어 백본을 재학습하지 않고도 동결된 카메라 조건부 비디오 월드 모델로부터 기하학적 구조를 VLM 으로 전이하도록 설계된 비전 측 증류 프레임워크인 GeoWorld-VLM을 소개합니다.

핵심 아키텍처

이 방법은 공간적 실패가 대규모 언어 모델 (LLM) 로 들어가는 시각 토큰에 충분한 3 차원 구조가 부족하기 때문에 발생한다는 가설에 기반합니다. 따라서 GeoWorld-VLM 은 LLM 과 텍스트 인코더를 동결한 채 다음 항목만 업데이트합니다:

1. 이미지 인코더 ($V_\phi$).
2. 멀티모달 프로젝터 ($P_\theta$).
3. 경량 정렬 헤드.

교사: 카메라 조건부 월드 모델

DINO 와 같은 정적 비전 기초 모델을 교사로 사용하는 대신, GeoWorld-VLM 은 동결된 비디오 월드 모델 (구체적으로 LingBot-World-Fast) 을 활용합니다.

• 입력: 교사는 입력 이미지, 텍스트 프롬프트, 그리고 무작위로 샘플링된 자기 중심 카메라 궤적 (이동 및 회전) 을 받습니다.
• 메커니즘: 교사는 샘플링된 카메라 운동 하에서 장면이 어떻게 진화할지 예측합니다. 이 과정은 단일 정적 이미지에서 복원하기 어려운 반사실적 뷰와 뷰포인트 의존적 기하학 (예: 가림, 지지, 상대적 깊이) 을 인코딩하는 중간 숨겨진 표현을 생성합니다.
• 증류: 학생 VLM 은 공유 특징 공간에서 프로젝터 이후의 이미지 특징을 교사의 중간 표현과 정렬합니다.

학습 목적 함수

학습 손실은 세 가지 구성 요소를 결합합니다:

1. 작업 감독 ($L_{task}$): 공간 다중 선택 답변에 대한 표준 교차 엔트로피 손실.
2. 월드 모델 정렬 ($L_{align}$): 투영된 학생 특징과 투영된 교사 특징 (일반적으로 24 번째 레이어와 같은 특정 트랜스포머 블록에서 추출됨) 간의 코사인 정렬 손실.
3. 보존 앵커 ($L_{preserve}$): 업데이트된 학생 특징을 동결된 원본 VLM 특징의 복사본과 정렬하는 손실 항입니다. 이는 시각 토큰이 동결된 LLM 이 기대하는 분포에서 너무 멀어지는 것을 방지하여 모델의 원래 언어 능력을 보존합니다.

주요 기여

1. 공간 추론을 위한 월드 모델 증류: 본 논문은 동결된 카메라 조건부 월드 모델을 기하학 교사로 사용하는 새로운 프레임워크를 제안합니다. 카메라 궤적을 샘플링함으로써, 이 방법은 실제 다중 뷰 데이터나 3 차원 주석이 필요하지 않으면서도 합성 다중 뷰 감독을 제공합니다.
2. 동결된 LLM 을 통한 비전 측 수리: 전체 모델을 파인튜닝하거나 언어 백본을 수정하는 접근법과 달리, GeoWorld-VLM 은 공간적 개입을 비전 인터페이스로 격리합니다. 이 설계는 텍스트 전용 행동을 구조적으로 보존하면서 시각 토큰의 기하학적 인식을 향상시킵니다.
3. 광범위한 검증: 이 방법은 두 가지 다른 VLM 백본 (Gemma-4 및 InternVL3.5-2B) 과 여러 공간 추론 벤치마크 (What'sUp, VSR, EmbSpatial-Bench) 에서 검증되어 베이스라인 대비 일관된 개선을 입증했습니다.

실험 결과

저자들은 What'sUp+VSR 스위트와 EmbSpatial-Bench 에서 GeoWorld-VLM 을 평가했습니다:

• 성능 향상: What'sUp+VSR 스위트에서 GeoWorld-VLM 은 Gemma-4(61.70 에서 65.45 로) 와 InternVL3.5-2B(57.06 에서 61.66 로) 모두에서 전체 점수를 약 4% 향상시켰습니다.
• 베이스라인과의 비교: 이 방법은 작업 전용 파인튜닝과 정적 비전 모델 (DINOv3) 로부터의 증류보다 우수한 성능을 보였습니다. 특히 DINO 기반 증류는 때때로 InternVL3.5-2B 에서 성능을 저하시켰는데, 이는 정적 특징이 뷰포인트 인식이 필요한 공간 작업에는 불충분함을 시사합니다.
• 관계별 개선: "아래", "가깝다", "멀다"와 같은 기하학에 민감한 관계에서 개선이 가장 두드러졌으며, 이는 단순한 객체 인식보다는 상대적 배치와 깊이 추정에 의존합니다.
• 어블레이션 연구:
  • 교사 조건부: 카메라 궤적과 텍스트 프롬프트 조건부의 조합이 필수적이었으며, 둘 중 하나만 사용하면 최적 이하의 결과가 나왔습니다.
  • 특징 추출: 중간에서 후기 단계의 월드 모델 레이어 (구체적으로 24 번째 레이어) 와 적절한 수의 디노이징 단계 (2) 가 가장 효과적인 감독을 제공했습니다.
  • 보존: 보존 앵커를 제거하면 성능이 저하되어 동결된 언어 모델과의 호환성을 유지하는 것이 필수적임을 확인했습니다.

중요성과 주장

본 논문은 VLM 공간 추론의 주요 병목 현상이 언어 추론 시작 전에 운동 인식 공간 구조를 보존하지 못하는 비전 경로의 능력에 있다고 주장합니다. 월드 모델로부터의 기하학을 비전 인코더로 증류함으로써 GeoWorld-VLM 은 시각 토큰에 인코딩된 기하학을 개선하는 것이 언어 모델을 재학습하지 않고도 공간적 실패를 완화할 수 있음을 입증합니다.

저자들은 월드 모델을 단순한 생성 도구가 아닌 공간적으로 근거된 멀티모달 지능을 위한 재사용 가능한 교사로서 위치시킵니다. 이 연구는 월드 모델이 유도한 시각적 정렬이 다양한 모델 구조와 데이터셋에서 일반화되어 원래의 언어 유창성을 유지하면서 VLM 의 공간 지능을 향상시키는 확장 가능한 경로를 제공함을 시사합니다. 이 방법은 벤치마크된 공간 추론에 대한 연구 연구로 제시되며, 향상된 임베디드 AI 및 내비게이션 시스템의 잠재력을 강조하면서도 현재 평균 풀링 특징의 사용으로 인한 자기 운동 추론 처리의 한계를 인정합니다.