How Can Driving World Models Do Counterfactual Prediction?

Resumen Técnico: Predicción Contrafactual en Modelos de Mundo para la Conducción

Definición del Problema y Brecha Causal
El artículo aborda un desajuste fundamental entre la capacidad pretendida de los modelos de mundo para la conducción (predicción contrafactual) y su implementación estándar (predicción condicionada directamente a la acción). En la conducción autónoma, la predicción contrafactual plantea la siguiente pregunta: "Dado un registro de conducción fáctico donde ocurrió un evento (por ejemplo, un coche que se cruza), ¿qué habría registrado la cámara si el vehículo autónmo hubiera tomado una acción diferente (por ejemplo, frenar en lugar de acelerar)?".

Los autores identifican que las "predicciones directas" actuales condicionan al modelo únicamente en la historia compartida ($H$) y la acción alternativa ($a'$). Este enfoque no logra incorporar la continuación fáctica ($F^+$)—la evidencia observada de lo que realmente sucedió después de la historia compartida. De acuerdo con la "escalera de la causalidad" de Pearl, un verdadero contrafactual (Renglón 3) requiere abducción: inferir el estado específico del mundo ($w$) que generó el resultado fáctico observado, para luego intervenir con la nueva acción. La predicción directa, al ignorar $F^+$, efectivamente promedia sobre todos los mundos posibles consistentes con la historia ($p(w|H)$), en lugar de centrarse en el mundo específico realizado en el episodio ($p(w|H, F^+)$). En consecuencia, los modelos directos suelen generar vídeos fluidos consistentes con la nueva acción, pero omiten eventos específicos (como un coche que aparece) que sí estaban presentes en el episodio.

Metodología: Un Pipeline Libre de Entrenamiento
Para cerrar esta brecha sin necesidad de reentrenar los modelos existentes, los autores proponen un sencillo pipeline en tiempo de inferencia basado en la receta causal de Abducción, Acción y Predicción. El método opera sobre un modelo de mundo congelado y consta de cuatro etapas:

1. Abducir (Reconstrucción): Un modelo de estimación de profundidad congelado procesa la continuación fáctica ($F^+$) para estimar la profundidad métrica. Esto eleva los fotogramas RGB 2D a una nube de puntos 3D, reconstruyendo las superficies observadas del mundo realizado.
2. Transportar (Intervención): El sistema aplica la trayectoria alternativa del vehículo ($a'$) a la pose de la cámara mientras mantiene fijo el mundo 3D reconstruido. Utilizando forward splatting y un búfer de profundidad, los puntos 3D observados se reproyectan en la vista contrafactual de la cámara. Esto genera una imagen de evidencia deformada ($E_t$) y una máscara de soporte ($M_t$) que indica qué píxeles están determinados por la observación fáctica.
3. Completar (Predicción): Se le asigna al modelo de mundo congelado la tarea de generar únicamente las regiones no soportadas (áreas no visibles en el registro fáctico o que están ocluidas).
   • Para modelos de difusión, la entrada es una codificación ruidosa de la evidencia fáctica enmascarada por $M_t$. Durante el proceso de eliminación de ruido (denoising), las regiones de evidencia se restauran en cada paso para restringir la generación.
   • Para modelos autorregresivos, los tokens correspondientes a la máscara de evidencia se fijan a los valores de entrada, mientras que el modelo genera los tokens para las regiones restantes.
4. Combinar (Refinamiento): La salida del modelo de mundo se mezcla con la evidencia transportada. Una función de ponderación ($\alpha_t$) asegura que los píxeles transportados fiables se preserven íntegramente, mientras que los bordes se suavizan para armonizar los colores y reducir las costuras.

Benchmark y Evaluación
Dado que los datos del mundo real no pueden proporcionar una verdad de campo contrafactual (no se puede observar dos futuros distintos desde un mismo pasado), los autores construyeron un benchmark controlado utilizando el simulador CARLA.

• Configuración: Simulan un mundo con un evento predefinido (por ejemplo, un coche que emerge de una calle lateral). Ejecutan tres escenarios: (1) Ejecución fáctica ($F, a_{obs}$), (2) Ejecución contrafactual ($P, a'$) y (3) Ejecución nula donde el evento es suprimido ($U, a'$).
• Métricas:
  • Fracción Recuperada (Recovered Fraction, $Rec$): Mide cuánto se asemeja la predicción a la verdad de campo contrafactual ($P$) frente a la referencia nula ($U$) utilizando similitud de embeddings (DINOv2 y CLIP). Una puntuación de 1 indica una recuperación perfecta del evento; 0 indica una omisión completa.
  • Fidelidad Perceptual: Mide la distancia LPIPS entre la predicción y la verdad de campo contrafactual para evaluar la calidad visual.

Resultados Clave
Los experimentos en dos modelos de mundo representativos (un modelo basado en difusión y un modelo autorregresivo) arrojaron los siguientes hallazgos:

• Fallo de la Predicción Directa: Las predicciones estándar condicionadas directamente a la acción fallaron consistentemente en preservar los eventos específicos presentes en la continuación fáctica. Sus puntuaciones de "fracción recuperada" fueron bajas, lo que indica que generaron futuros plausibles pero incorrectos donde el evento (por ejemplo, el coche que emerge) no ocurrió.
• Eficacia del Método: El pipeline propuesto, libre de entrenamiento, mejoró significativamente el rendimiento. Aumentó sustancialmente la fracción recuperada, logrando retener la señal del evento que la predicción directa perdió.
• Calidad Visual: El método redujo la distancia perceptual (LPIPS) respecto a la verdad de campo contrafactual, produciendo salidas que eran tanto semánticamente correctas (que contienen el evento) como visualmente coherentes.

Significado y Reivindicaciones
El artículo no pretende haber resuelto la predicción contrafactual para todos los escenarios de conducción ni haber introduido una nueva arquitectura de aprendizaje. En su lugar, su importancia radica en:

1. Diagnóstico: Proporcionar una explicación causal precisa de por qué los modelos de mundo actuales fallan en tareas contrafactuales (la omisión de la abducción/evidencia de la continuación fáctica).
2. Benchmarking: Establecer el primer benchmark controlado con verdades de campo contrafactuales emparejadas para medir cuantitativamente este modo de fallo específico.
3. Base de Referencia Constructiva: Demostrar que una simple intervención geométrica libre de entrenamiento puede recuperar la "evidencia faltante" y mejorar significamente la fidelidad contrafactual. Esto sirve como punto de referencia para futuros métodos, sugiriendo que una mejor predicción contrafactual puede requerir la integración explícita de la evidencia observada en el proceso de generación, en lugar de depender únicamente del condicionamiento de la acción.

Los autores concluyen que este trabajo tiene como objetivo llamar la atención sobre la brecha entre la predicción directa y el razonamiento contrafactual real, motivando el desarrollo de métodos que respeten la estructura causal de episodios de conducción específicos.