WorldMAP: Bootstrapping Vision-Language Navigation Trajectory Prediction with Generative World Models

1. 문제 정의 (Problem)

**시각 - 언어 모델 (VLM)**과 **생성형 월드 모델 (Generative World Models)**은 embodied navigation(구체적 에이전트의 내비게이션) 에 새로운 기회를 제공하고 있습니다. 그러나 현재 기술 수준에서는 다음과 같은 한계가 존재합니다.

• 단일 관찰에서의 불안정성: 단일 1 인칭 시점 (egocentric) 관찰과 자연어 지시만으로 신뢰할 수 있는 내비게이션 궤적을 예측하는 것은 여전히 어렵습니다. 기존 VLM 은 종종 불안정한 궤적을 생성하거나, 장면의 기하학적 구조를 무시하고 통과 불가능한 영역을 통과하는 등 'grounded(현실 기반)'인 예측을 하지 못합니다.
• 월드 모델의 활용 한계: 월드 모델은 미래의 시점을 상상 (imagine) 하여 추론을 지원할 수 있지만, 생성된 미래 뷰 자체가 내비게이션 학습에 필요한 **구체적이고 구조화된 지도 신호 (grounded supervision)**를 직접 제공하지는 못합니다.
• 핵심 질문: "생성된 미래 (generated futures) 를 어떻게 현실 기반의 궤적 예측을 위한 감독 신호 (supervision) 로 전환할 수 있는가?"

2. 방법론 (Methodology: WorldMAP)

이 논문은 WorldMAP이라는 교사 - 학생 (Teacher-Student) 프레임워크를 제안합니다. 이 프레임워크는 생성된 미래 비디오를 영구적인 의미 - 공간 구조 (semantic-spatial structure) 와 계획 기반 감독 신호로 변환하여 학생 모델에게 전수합니다.

A. 전체 아키텍처

• Teacher (교사): 월드 모델 기반의 무거운 파이프라인으로, 생성된 미래 비디오를 분석하여 궤적의 '의사 레이블 (pseudo-labels)'을 생성합니다.
• Student (학생): 경량화된 시각 - 언어 모델 (VLM) 로, 교사가 생성한 감독 신호를 학습하여 관찰과 지시만으로 직접 궤적을 예측합니다. 테스트 시에는 교사가 필요 없습니다.

B. Teacher 파이프라인 (3 단계)

1. 월드 구성 (World Construction):
   • 단일 관찰로부터 생성된 미래 비디오를 기반으로 3D 재구성과 **의미 - 공간 메모리 (Semantic-Spatial Memory)**를 구축합니다.
   • 각 프레임에 대한 깊이 추정, 시각 임베딩, 캡션, 카메라 포즈를 저장하여 검색 및 계획의 기초로 삼습니다.
   • 공통의 내비게이션 평면 (Navigation Plane) 을 정의하여 기하학적 일관성을 유지합니다.
2. 작업 인식 그라운딩 (Task-Aware Grounding):
   • 목표 그라운딩: 지시어와 메모리를 기반으로 CLIP 기반 검색을 수행하고, VLM 이 목표 설명을 생성하여 오픈 보카불러리 분할 모델 (UniPixel) 로 목표 영역을 식별합니다.
   • 장애물 그라운딩: 경로에 방해가 될 수 있는 객체 (벽, 가구 등) 를 식별하고 분할합니다.
   • 모든 요소는 3D 공간에서 통합되어 BEV (Bird's Eye View) 좌표계로 투영됩니다.
3. 기하학적 계획 및 감독 생성 (Geometric Planning & Supervision):
   • BEV 그리드 위에 목표, 장애물, 자유 공간을 매핑하여 **비용 지도 (Cost Map)**를 생성합니다.
   • FMM (Fast Marching Method) 알고리즘을 사용하여 시작점에서 목표까지의 최소 비용 경로를 계산합니다.
   • 이 계획된 경로가 학생 모델 학습을 위한 구조화된 궤적 의사 레이블이 됩니다.

C. Student 학습 (Student Trajectory Learning)

• 아키텍처: 멀티모달 조건부 특징 (텍스트, 비전, 교차 풀링) 을 입력받아 경량 트랜스포머 디코더를 통해 궤적을 예측합니다.
• 다중 가설 (Multi-hypothesis): 교사의 감독 신호에 내재된 불확실성을 처리하기 위해 $K$개의 궤적 가설과 각 가설의 신뢰도를 예측합니다.
• 손실 함수:
  • Waypoint Regression: 각 지점의 $\ell_2$ 거리 최소화.
  • Segment-Direction Consistency: 궤적의 국소적 방향 일관성 유지.
  • 최종 손실은 $K$개 가설 중 가장 잘 맞는 (best-matching) 가설을 선택하여 계산합니다.

3. 주요 기여 (Key Contributions)

1. 내비게이션 궤적 예측을 위한 새로운 Teacher-Student 증류 프레임워크: 계획에서 도출된 궤적 감독 신호를 경량 예측기로 증류하는 방식을 제안했습니다.
2. 월드 모델 기반의 현실 기반 궤적 생성 엔진: 생성된 미래를 단순한 증거가 아닌, 의미 - 공간 메모리, 작업 인식 그라운딩, 명시적 기하학적 계획 신호로 변환하여 학습 가능한 감독 신호로 재정의했습니다.
3. 강력한 성능 달성: 오픈 소스 VLM 을 사용하여 상용 모델과 경쟁 가능한 성능을 달성하면서도, 생성된 미래를 직접 추론에 사용하는 기존 방법 (MindJourney 등) 보다 훨씬 우수한 결과를 보였습니다.

4. 실험 결과 (Results)

Target-Bench 벤치마크 (실제 환경에서 의미 있는 목표로의 경로 계획) 에서 평가되었습니다.

• 성능 지표:
  • ADE (평균 변위 오차): 기존 최우수 베이스라인 (Gemini-3-Pro) 대비 18.0% 감소 (51.27 → 42.06).
  • FDE (최종 변위 오차): 42.1% 감소 (67.19 → 38.87).
  • DTW (동적 시간 왜곡): 상용 모델과 유사한 수준을 유지.
• 비교 분석:
  • VLM 직접 예측: 강력한 상용 VLM 조차도 단일 관찰에서 안정적인 궤적을 예측하기 어렵습니다.
  • 월드 모델 증류의 효과: 생성된 미래를 추론 시 추가 증거로 사용하는 것 (MindJourney) 보다, 학습 시 감독 신호로 사용하는 것이 훨씬 효과적이었습니다.
  • 모델 크기: 작은 오픈 소스 VLM (Qwen3-VL-8B) 을 Teacher 의 감독으로 학습시켰을 때, 훨씬 큰 모델들의 직접 예측 성능을 능가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 월드 모델의 역할 재정의: embodied navigation 에서 월드 모델의 가장 큰 가치는 '행동 준비가 된 상상된 증거 (action-ready imagined evidence)'를 제공하는 것이 아니라, 학습을 위한 정렬된 감독 신호 (aligned supervision) 를 합성하는 데 있음을 시사합니다.
• Fast-Slow 시스템 관점:
  • Slow System (Teacher): 비용이 많이 드는 월드 모델 상상, 검색, 그라운딩, 계획을 수행하여 정확한 지도를 생성.
  • Fast System (Student): 이 지도를 학습하여 테스트 시 실시간으로 경량 예측을 수행.
• 미래 방향: 생성된 미래가 완벽하지 않더라도, 이를 구조화하여 학습에 활용하는 방식은 실제 환경에서의 내비게이션 학습에 유망한 방향을 제시합니다.

요약하자면, WorldMAP은 생성형 AI 의 힘을 '직접적인 행동 결정'이 아닌 '고품질의 학습 데이터 생성'에 집중시킴으로써, 소형 모델이 복잡한 내비게이션 과제를 해결할 수 있도록 하는 혁신적인 프레임워크입니다.