기술 요약: 앞을 내다보는 능력: MLLM과 월드 모델에서의 선견 지능(Foresight Intelligence)

1. 문제 정의

현재의 시각-언어 모델(VLM)과 자율주행 벤치마크는 주로 인지(현재 상태의 이해)와 반응형 계획(즉각적인 제어 결정)에 집중되어 있습니다. 여기에는 선견 지능(Foresight Intelligence), 즉 복잡하고 장기적인 미래 사건을 예측하고 추론하는 능력(특히 불확실성과 반사실적 조건 하에서)을 평가하는 데 있어 상당한 격차가 존재합니다.

기존 벤치마크(예: DriveLM, OmniDrive)는 쿼리를 즉각적인 행동이나 기하학적 경로 생성(L2 변위 오차)으로 제한하는 경우가 많습니다. 이들은 다음과 같은 문제를 다루지 못합니다:

• 장기적 추론(Long-horizon reasoning): 확장된 시간대(예: 12초) 동안의 의미론적 결과 예측.
• 반사실적 시뮬레이션(Counterfactual simulation): "만약 자율주행 차량이 왼쪽으로 회전한다면 어떤 일이 벌어질까?"와 같은 "what-if" 시나리오에 대한 추론.
• 월드 모델(World Models, WMs)의 의미론적 일관성: 월드 모델이 시각적으로 사실적인 미래 영상을 생성할 수는 있지만, 이러한 생성물이 의미론적으로 일관되며 다운스트림 의사결정에 유용한지는 여전히 불분명합니다.

2. 방법론

2.1 FSU-QA 데이터셋

저자들은 선견 지능을 훈련하고 평가하기 위해 특별히 설계된 nuScenes 데이터셋 기반의 시각 질의응답(VQA) 데이터셋인 FSU-QA를 소개합니다.

• 데이터 구축: 약 15초 길이의 전방 뷰 비디오를 3초의 과거 관측 창과 12초의 미래 창으로 나누어 활용합니다.
• 태스크 계층 구조: 데이터셋은 21,000개 이상의 QA 쌍을 세 가지 인지 수준으로 구성합니다:
  1. 저수준 (시공간 동적 추론): 12초 동안의 에고 모션 상태(속도, 회전, 차선 변경) 및 상대적 에이전트 위치/거리 예측.
  2. 중수준 (VRU 중심 위험 평가): 보행자(VRU)의 의도 추론, 에고-VRU 간의 상대적 위치 변화, 3초 이내의 위험 구역 식별.
  3. 고수준 (인과적 추론): 반사실적 예측(Counterfactual Prediction, CFP). 모델은 기하학적 제약 조건과 HD 맵을 바탕으로 가상의 행동(예: "에고 차량이 일정한 반경으로 왼쪽으로 회전한다면...")에 따른 결과를 예측해야 합니다.
• 주석 프로토콜: 반사실적 상황의 정답(Ground truth)은 3D 궤적과 HD 맵을 사용한 규칙 기반의 기하학적 교차 검사를 통해 생성되었으며, 인간 전문가에 의해 검증되었습니다(89%의 일치율).

2.2 FSU-Bench 평가 프로토콜

이 벤치마크는 두 가지 뚜렷한 능력을 평가합니다:

1. VLM 중심 평가: 과거 비디오($V_{-T_h:0}$)와 궤적($Traj_{-T_h:0}$)이 주어졌을 때, 미래의 의미론적 결과를 예측하는 VLM의 능력을 평가합니다.
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0})$$
2. 월드 모델(WM) 평가: WM이 생성한 미래($\hat{V}_{1:T_f}, \hat{Traj}_{1:T_f}$)가 의미 있는 단서를 제공하는지 테스트하기 위한 대리 평가(proxy-evaluation) 패러다임입니다. VLM에 예측된 미래 데이터를 추가하여 증강합니다:
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0}, \hat{V}_{1:T_f}, \hat{Traj}_{1:T_f})$$
   • 대조 실험: 성능 향상이 단순한 토큰 증강 때문이 아님을 확인하기 위해, 무관한 임의의 장면에서 가져온 WM 예측치를 사용하는 **셔플 대조 실험(shuffled control experiments)**을 수행합니다. 성능 저하는 생성된 데이터의 의미론적 일관성에 기반하여 성능 향상이 이루어졌음을 입증합니다.

2.3 평가 대상 모델

• VLMs: 폐쇄형(GPT-5, Claude-Sonnet-4.5, Gemini-2.5 Pro) 및 오픈소스(Qwen2.5/3-VL, Llama 4 시리즈)를 포함한 13개 모델.
• World Models: Epona (autoregressive + DiT) 및 DrivingWorld (순수 autoregressive).
• 미세 조정(Fine-tuning): FSU-QA의 훈련 효용성을 테스트하기 위해 Qwen3-VL-8B를 FSU-QA로 미세 조정하였습니다 (Qwen3-VL-8B-FI).

3. 주요 결과

3.1 VLM 성능 (베이스라인)

• 일반적인 어려움: 최첨단 VLM들은 선견 지능 측면에서 상당한 어려움을 겪고 있습니다. 가장 우수한 모델인 GPT-5조차 전체 정확도가 약 48.66%에 그쳤습니다.
• 태스크 간 격차: 모델들은 저수준 기하학적 태스크(예: 차선 변경: ~90-97%)에서는 잘 수행하지만, 중수준 위험 평가 및 고수준 반사실적 추론(종종 CFP 태스크에서 <20%)에서는 고전합니다.
• 규모 vs 능력: 성능은 파라미터 크기와 엄격하게 상관관은 없습니다. 오픈소스 모델(예: Qwen2.5-VL-72B)이 일부 작은 규모의 폐쇄형 모델보다 뛰어난 성능을 보였으나, 모든 모델이 다중 에이전트 상호작용 및 안전 필수적인 반사실적 상황에서 체계적인 약점을 보였습니다.
• 미세 조정 효과: Qwen3-VL-8B를 FSU-QA로 미세 조정했을 때 전체 정확도가 59.59%로 크게 향상되어, GPT-5와 같은 더 큰 모델을 포함한 모든 제로샷 베이스라인을 능가했습니다.

3.2 월드 모델 평가

• 의미론적 유용성: VLM을 WM 생성 예측값으로 증강하면 일반적으로 성능이 향상되지만, 그 이득은 아키텍처에 따라 달랐습니다.
• DrivingWorld vs Epona: DrivingWorld는 특히 관계적 추론(상대적 위치, 보행자 의도)에서 더 크고 일관된 이득을 제공했습니다. Epona의 이득은 더 완만하고 특정 태스크에 국한되었습니다.
• 검증: 셔플 대조 실험을 통해 성능 향상이 단순히 시각적 토큰을 추가했기 때문이 아니라, 예측된 미래의 의미론적 일관성 덕분임을 확인했습니다.

4. 주요 기여

1. FSU-QA 데이터셋: 저수준 인지부터 고수준 반사실적 추론까지 9가지 태스크 유형을 아우르며, 자율주행 분야의 장기적, 다중 에이전트, "what-if" 벤치마크 부재를 해결하는 새로운 VQA 데이터셋을 제안합니다.
2. FSU-Bench 및 대리 프로토콜: VLM의 선견 능력과 월드 모델의 의미론적 유용성을 대리 평가 패러다임(셔플 대조 실험으로 검증됨)을 통해 평가하는 통합 벤치마크를 제공합니다.
3. 경험적 발견:
   • 현재의 VLM은 고수준 반사실적 추론에서 체계적으로 낮은 성능을 보이며, 이는 모델 규모만으로는 설명되지 않는 격차입니다.
   • 월드 모델이 생성한 데이터는 선견 추론을 강화할 수 있으나, 의미론적 일관성의 품질은 아키텍처마다 크게 다릅니다.
   • FSU-QA에 대한 타겟 미세 조정은 nuScenes 도메인 내에서 선견 격차를 효과적으로 메울 수 있습니다.

5. 의의 및 주장

본 논문은 **선견 지능(Foresight Intelligence)**이 단순한 패턴 인식을 넘어 시뮬레이션 수준의 인지력을 요구하는, 반응형 계획과는 구별되는 독특한 능력이라고 주장합니다. 저자들은 다음과 같이 상정합니다:

• 기존 벤치마크는 자율주행에 필요한 안전 필수적이고 장기적인 추론을 평가하기에 불충분합니다.
• FSU-QA는 복잡한 미래를 예측하도록 모델을 훈련시키기 위한 원칙적인 토대를 제공합니다.
• 다운스트림 QA 성능를 통해 월드 모델을 평가하는 방식은 표준적인 픽셀 수준 생성 지표(예: FBD, FID)보다 실제 유용성에 대한 더 진단적인 지표를 제공합니다.

저자들은 현재 모델들이 고수준 선견 능력에서 어려움을 겪고 있지만, 타겟 데이터셋(FSU-QA)과 개선된 월드 모델의 결组合이 유망한 경로를 제시한다고 결론짓습니다. 또한, 타 도메인(예: Waymo 또는 nuPlan)으로의 교차 도메인 일반화는 향데 과제로 남아 있음을 언급합니다.