Resumen Técnico: Pensando en el Futuro: Inteligencia de Previsión en MLLMs y Modelos de Mundo

1. Definición del Problema

Los modelos de lenguaje-visión (VLMs) actuales y los benchmarks de conducción autónoma se centran predominantemente en la percepción (comprensión del estado presente) y la planificación reactiva (decisiones de control inmediatas). Existe una brecha significativa en la evaluación de la Inteligencia de Previsión (Foresight Intelligence): la capacidad de anticipar y razonar sobre eventos futuros complejos a largo plazo, particularmente bajo condiciones de incertidumbre y contrafácticas.

Los benchmarks existentes (p. ej., DriveLM, OmniDrive) suelen restringir las consultas a acciones inmediatas o generación de trayectorias geométricas (errores de desplazamiento L2). Estos no logran abordar:

• Razonamiento de largo horizonte: Anticipar consecuencias semánticas durante periodos de tiempo extendidos (p. ej., 12 segundos).
• Simulación contrafáctica: Razonar sobre escenarios de "¿qué pasaría si..." (p. ej., "¿Si el vehículo propio gira a la izquierda, qué sucede?").
• Consistencia semántica de los Modelos de Mundo (WMs): Aunque los WMs pueden generar videos futuros visualmente realistas, sigue sin estar claro si estas generaciones son semánticamente coherentes y útiles para la toma de decisiones downstream.

2. Metodología

2.1 Conjunto de Datos FSU-QA

Los autores presentan FSU-QA, un conjunto de datos de Visual Question Answering (VQA) derivado del conjunto de datos nuScenes, diseñado específicamente para entrenar y evaluar la Inteligencia de Previsión.

• Construcción de Datos: Utiliza videos de vista frontal (~15s) divididos en una ventana de observación histórica de 3 segundos y una ventana futura de 12 segundos.
• Jerarquía de Tareas: El conjunto de datos organiza más de 21,000 pares de QA en tres niveles cognitivos:
  1. Nivel bajo (Razonamiento Espacio-temporal Dinámico): Predicción de estados de movimiento del ego (velocidad, giro, cambios de carril) y posiciones/distancias relativas de agentes durante 12 segundos.
  2. Nivel medio (Evaluación de Riesgos centrada en VRU): Inferencia de la intención de peatones, cambios de posición relativa entre el ego y el VRU (usuario vulnerable de la vía), e identificación de áreas de riesgo en un plazo de 3 segundos.
  3. Nivel alto (Razonamiento Causal): Predicción Contrafáctica (CFP). Los modelos deben predecir los resultados de acciones hipotéticas (p. ej., "Si el vehículo propio gira a la izquierda con un radio constante...") basadas en restricciones geométricas y mapas HD.
• Protocolo de Anotación: La verdad de terreno (ground truth) para los contrafácticos se genera mediante verificaciones de intersección geométrica basadas en reglas utilizando trayectorias 3D y mapas HD, validadas por expertos humanos (tasa de acuerdo del 89%).

2.2 Protocolo de Evaluación FSU-Bench

El benchmark evalúa dos capacidades distintas:

1. Evaluación orientada a VLM: Evalúa la capacidad de un VLM para predecir resultados semánticos futuros dados un video histórico ($V_{-T_h:0}$) y trayectorias ($Traj_{-T_h:0}$).
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0})$$
2. Evaluación de Modelo de Mundo (WM): Un paradigma de evaluación por proximidad (proxy-evaluation) para probar si los futuros generados por el WM ($\hat{V}_{1:T_f}, \hat{Traj}_{1:T_f}$) proporcionan pistas semánticamente significativas. El VLM se aumenta con los datos futuros predichos:
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0}, \hat{V}_{1:T_f}, \hat{Traj}_{1:T_f})$$
   • Experimento de Control: Para asegurar que las mejoras no se deban al mero aumento de tokens, los autores realizan experimentos de control con permutación (shuffled control experiments) donde se utilizan predicciones de WM de escenas aleatorias y no relacionadas. Una caída en la precisión confirma que las ganancias de rendimiento dependen de la coherencia semántica.

2.3 Modelos Evaluados

• VLMs: 13 modelos, incluyendo de código cerrado (GPT-5, Claude-Sonnet-4.5, Gemini-2.5 Pro) y de código abierto (Qwen2.5/3-VL, Llama 4 series).
• Modelos de Mundo (WM): Epona (autorregresivo + DiT) y DrivingWorld (puramente autorregresivo).
• Ajuste Fino (Fine-tuning): Qwen3-VL-8B fue ajustado con FSU-QA (Qwen3-VL-8B-FI) para probar la eficacia de entrenamiento del conjunto de datos.

3. Resultados Clave

3.1 Rendimiento de VLM (Línea Base)

• Dificultad General: Los VLMs de última generación enfrentan desafíos significativos en la inteligencia de previsión. Incluso el mejor modelo (GPT-5) logró solo un ~48.66% de precisión general.
• Disparidad de Tareas: Los modelos funcionan bien en tareas geométricas de bajo nivel (p. ej., Cambio de Carril: ~90-97%), pero tienen dificultades con la evaluación de riesgos de nivel medio y el razonamiento contrafáctico de alto nivel (a menudo <20% en tareas CFP).
• Escala vs. Capacidad: El rendimiento no está estrictamente correlacionado con el tamaño de los parámetros. Los modelos de código abierto (p. ej., Qwen2.5-VL-72B) superaron a algunos modelos de código cerrado más pequeños, pero todos exhibieron debilidades sistemáticas en la interacción multi-agente y en contrafácticos críticos para la seguridad.
• Impacto del Ajuste Fino: El ajuste fino de Qwen3-VL-8B en FSU-QA resultó en mejoras sustanciales (General: 59.59%), superando a todas las líneas base zero-shot, incluyendo modelos más grandes como GPT-5.

3.2 Evaluación de Modelos de Mundo

• Utilidad Semántica: Aumentar los VLMs con las predicciones generadas por el WM generalmente mejoró el rendimiento, pero las ganancias fueron dependientes de la arquitectura.
• DrivingWorld vs. Epona: DrivingWorld proporcionó ganancias más grandes y consistentes, particularmente en el razonamiento relacional (Posición Relativa, Intención del Peatón). Las ganancias de Epona fueron más modestas y selectivas según la tarea.
• Validación: Los experimentos de control con permutación confirmaron que las mejoras de rendimiento se debieron a la coherencia semántica de los futuros predichos, no solo a la adición de tokens visuales.

4. Contribuciones Clave

1. Conjunto de Datos FSU-QA: Un novedoso conjunto de datos de VQA dirigido a la Inteligencia de Previsión con 9 tipos de tareas que abarcan desde la percepción de bajo nivel hasta el razonamiento contrafáctico de alto nivel, abordando la falta de benchmarks de largo horizonte, multi-agente y de tipo "¿qué pasaría si..." en la conducción autónoma.
2. FSU-Bench y Protocolo de Proximidad: Un benchmark unificado que evalúa tanto las capacidades de previsión de los VLM como la utilidad semántica de los Modelos de Mundo a través de un paradigma de evaluación por proximidad, validado mediante experimentos de control con permutación.
3. Hallazgos Empíricos:
   • Los VLMs actuales rinden sistemáticamente por debajo de lo esperado en el razonamiento contrafáctico de alto nivel, una brecha que no se explica únicamente por la escala del modelo.
   • Los datos generados por Modelos de Mundo pueden mejorar el razonamiento de previsión, pero la calidad de la coherencia semántica varía significamente entre arquitecturas.
   • El ajuste fino dirigido en FSU-QA cierra eficazmente la brecha de previsión dentro del dominio de nuScenes.

5. Significación y Reivindicaciones

El artículo afirma que la Inteligencia de Previsión es una capacidad distinta de la planificación reactiva, que requiere una cognición de nivel de simulación en lugar de solo reconocimiento de patrones. Los autores postulan que:

• Los benchmarks existentes son insuficientes para evaluar el razonamiento de largo horizonte y crítico para la seguridad requerido en la conducción autónoma.
• FSU-QA proporciona una base principled para entrenar modelos para anticipar futuros complejos.
• La evaluación de los Modelos de Mundo a través del rendimiento de QA downstream ofrece una métrica más diagnóstica de la utilidad en el mundo real que las métricas estándar de generación a nivel de píxel (p. ej., FVD, FID).

Los autores concluyen que, aunque los modelos actuales luchan con la previsión de alto nivel, la combinación de conjuntos de datos dirigidos (FSU-QA) y mejores Modelos de Mundo ofrece un camino viable hacia adelante. Señalan que la generalización trans-dominio (p. ej., a Waymo o nuPlan) sigue siendo un desafío abierto para trabajos futuros.