기술 요약: DriveWorld-VLA

문제 정의

엔드 투 엔드(End-to-end, E2E) 자율주행은 의사결정과 "전망적 상상(prospective imagination)"을 강화하기 위해 비전-언어-행동(Vision-Language-Action, VLA) 모델과 월드 모델(World Model, WM)을 통합하는 방향으로 변화하고 있습니다. 그러나 기존의 통합 시도들은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 구조적 격리 (분리된 상호작용): 월드 모델을 외부 시뮬레이터로 취급하는 방식은 VLA가 물리 법칙과 환경 역학을 내재화하는 것을 방해하며, 이는 잠재 지식 전이(latent knowledge transfer)의 병목 현상을 초래합니다.
2. 인과적 추론의 결여 (특징 공유): 표현(representation)을 공유하는 접근 방식들은 행동 조건부 인과 추론(action-conditioned causal reasoning)이 부족한 경우가 많습니다. 결과적으로, 에이전트는 반사실적(counterfactual) "만약 ~한다면(what-if)" 상상이나 장기 계획을 수행하지 못하며, 이는 에이전트를 능동적인 최적화가 아닌 반응적인 상태에 머물게 합니다.

현재의 방법론들은 잠재 상태(latent states)의 불충분한 공유로 인해 단일 아키텍처 내에서 미래 장면의 진화와 행동 계획을 효과적으로 통합하지 못하며, 이는 시각적 상상이 행동 결정에 미치는 영향을 제한합니다.

방법론: DriveWorld-VLA

DriveWorld-VLA는 VLA와 월드 모델을 표현 및 의사결정 수준에서 긴밀하게 통합하는 통합 프레임워크를 제안합니다. 핵심 혁신은 월드 모델의 잠재 변수(latents)를 의사결정 변수로 최적화하여, 공유된 잠재 공간 내에서 제어 가능한 상상을 통해 통합된 인과 추론을 가능하게 하는 것입니다. 이 시스템은 비용이 많이 드는 픽셀 수준의 롤아웃(rollout)을 피하기 위해 전체 과정을 잠재 공간 내에서 수행합니다.

본 프레임워크는 3단계 점진적 학습 패러다임을 채택합니다.

1. VLA 및 월드 모델 공동 학습 (VLA & World Model Joint Training)

• 아키텍처: 다중 모달 입력(다중 뷰 이미지, 텍스트 프롬프트, 과거 행동, BEV 표현)을 토큰화하여 비전-언어 모델(VLM)에 입력하며, 특히 InternVL의 은닉 상태(hidden states)를 공유 잠재 공간($H_t$)으로 활용합니다.
• 메커니가즘: 모델은 이 공유된 표현으로부터 미래 BEV 상상과 행동 예측을 공동으로 학습합니다.
  • 상상(Imagination): 디노이저(denoiser)는 과거 기록을 바탕으로 미래의 BEV 상태($B_{t+\Delta t}$)를 예측합니다.
  • 행동(Action): 경량 디코더는 미래의 행동($A'_{t+\Delta t}$)을 예측합니다.
• 목표: 월드 모델의 지식을 VLA로 전달하고, 상상과 계획 모두를 위한 공통 특징 공간을 구축하는 것입니다.

2. 행동 제어 미세 조정 (Action Controllability Fine-Tuning)

• 해결하고자 하는 문제: 초기 공동 학습 단계에서는 미래 행동에 대한 조건부 설정이 부족하여, 전망적 행동에 기반한 결과를 상상할 수 없습니다.
• 메커니즘: 이 단계에서는 행동 조건부 "만약 ~한다면(What-If)" 추론을 도입합니다.
  • 두 번째 디노이저 브랜치는 디퓨전 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 사용합니다.
  • 이는 현재 BEV 상태와 지면 참값(Ground Truth, GT) 미래 행동에 조건화된 플로우 매칭(flow-matching) 디노이징 프로세스를 학습합니다.
  • 이를 통해 모델은 단순한 외삽(extrapolation)을 넘어, 후보 행동 시퀀스에 대응하는 구체적인 미래 시나리오를 생성할 수 있는 반사실적 시뮬레이션이 가능해집니다.

3. 미래 가이드 평가 및 정교화 (Future-Guided Evaluation & Refinement)

• 메커니즘: 폐루프(closed-loop) 상호작용이 구축됩니다.
  1. 모델이 미래 행동($A'$)을 예측합니다.
  2. 이 행동들이 생성 브랜치에 조건으로 작용하여, 행동 조건부 미래 상상($B'$)을 생성합니다.
  3. 학습된 **보상 함수(Reward Function)**가 상상된 미래와 실제 미래 사이의 일관성을 평가하여 스칼라 점수를 부여합니다.
• 최적화: 행동 헤드는 보상 가중 손실($L'_{act}$)을 사용하여 정교화되며, 이는 유리한 상상된 결과로 이어지는 궤적에 우선순위를 둡니다. 이를 통해 결과 인식형(consequence-aware) 의사결정이 가능해집니다.

주요 기여

1. 통합 프레임워크: 월드 모델이 행동과 전망적 상상을 잇는 추론 엔진 역할을 하는 긴밀하게 결합된 시스템인 DriveWorld-VLA를 제안합니다.
2. 특징 수준의 공유: LLM의 은닉 상태를 사용하여 상상과 행동 예측 모두에 적용되는 공유 잠재 공간을 도입함으로써, 모델이 물리 법칙과 환경 역학을 내재화할 수 있도록 합니다.
3. 행동 조건부 추론: "만 if" 추론을 통해 후보 궤적을 생성하고 평가하는 메커니즘을 개발하여, 선제적이고 결과 인식적인 의사결정을 촉진합니다.
4. 점진적 학습: 인지, 제어력 강제, 보상 피드백을 통한 의사결정 정교화 순으로 진행되는 3단계 학습 패러다임을 검증하여 안정적인 공동 최적화를 달 수 있음을 보여줍니다.

실험 결과

저자들은 DriveWorld-VLA를 NAVSIM(폐루프) 및 nuScenes(개방 루프) 벤치마크에서 평가하여 최첨단(SOTA) 성능을 입증했습니다.

• NAVSIMv1 (폐루프): LAW, Epona, DriveVLA-W0와 같은 특화된 베이스라인들을 능가하는 예측 드라이버 모델 점수(PDMS) 91.3을 달성했습니다. 충돌 없음(No Collision, NC) 비율 99.1%와 자차 진행도(Ego Progress, EP) 85.9%를 기록했습니다.
• NAVSIMv2 (폐루프): 확장된 예측 드라이버 모델 점수(EPDMS) 86.8을 달성하였으며, 주행 가능 영역 준수율(99.1%), 주행 방향 준수율(99.6%), 차선 유지(97.0%)에서 높은 준수성을 보였습니다.
• nuScenes (개방 루프): 평균 3초 충돌율(Collision Rate, CR) 0.16% 및 L2 오차 0.61m를 기록하며, 안전 지표 측면에서 FSDrive 및 HERMES-p와 같은 방법론들을 크게 앞질렀습니다.

**어블레이션 연구(Ablation Studies)**를 통해 다음을 확인했습니다:

• 세 가지 학습 단계 각각이 성능에 점진적으로 기여합니다.
• 점진적 학습 전략이 비점진적(동시) 학습보다 우수하며, 동시 학습 시 발생하는 상당한 성능 저하(-7.7 PDMS)를 방지합니다.
• 특징 수준의 감독(디노이징 프로세스를 통한)이 매우 중요하며, 태스크 수준의 감독에만 의존할 경우 성능이 저하됩니다.
• VLM 파라미터는 초기 단계에서 완전히 고정하거나 사전 학습에만 의존하기보다 최적화되어야 합니다.

의의 및 주장

본 논문은 DriveWorld-VLA가 생성적 상상과 선제적 의사결정을 단일 아키텍처 내에서 통합함으로써 중요한 진전을 이루었다고 주장합니다. 월드 모델의 잠재 변수를 의사결정 변수로 최적화함으로써, 이 프레임워크는 VLA 플래너가 총체적인 장면 진화 모델링으로부터 직접적인 이득을 얻을 수 있게 합니다.

저자들은 이 접근 방식이 조밀한 주석 기반의 감독에 대한 의존도를 줄이며, 시스템이 제어 가능한 상상을 통해 후보 행동이 미래 장면 진화에 어떤 영향을 미치는지 평가할 수 있게 한다고 강조합니다. 결과적으로, 특징 수준의 공유와 인과적 롤아웃 가이드가 자율주행의 견고하고 안전한 의사결정에 필수적임을 시사하며, 이 분야를 단순한 반응형 계획을 넘어 장기적인 결과 인식이 가능한 시스템으로 진화시킵니다.