Resumen Técnico: What-If World: Una referencia causal para modelos de mundo generales en escenarios encarnados

Declaración del Problema

Los modelos de generación de video se proponen cada vez más como simuladores de mundo de propósito general para aplicaciones encarnadas, como la conducción autónoma y la manipulación robótica. Sin embargo, los paradigmas de evaluación existentes no logran evaluar una capacidad crítica requerida para estos entornos: la sensibilidad causal. Las referencias actuales (por ejemplo, VBench, EvalCrafter, VideoPhy) evalúan los videos generados de forma aislada, calificándolos por su realismo visual o su plausibilidad física en relación con un único prompt. Este enfoque no puede detectar un modo de fallo fundamental en el que un modelo produce dos videos visualmente plausibles que son casi idénticos a pesar de recibir prompts que describen intervenciones físicas diferentes (por ejemplo, "frena suavemente" frente a "frena fuerte").

Para simuladores condicionados por acciones y planificadores basados en modelos, un sistema que no logra rastrear cambios en la entrada controlada es inutilizable, ya que las simulaciones que no divergen según la intervención no pueden utilizarse para comparar acciones alternativas. Las referencias causales existentes (por ejemplo, CLEVRER, NExT-QA) ponen a prueba la capacidad de un modelo para percibir la estructura causal en un video dado, no su capacidad para generar dinámicas causales físicamente correctas desde cero basándose en variaciones de entrada.

Metodología

1. La referencia What-If World

Los autores presentan What-If World, la primera referencia diseñada específicamente para la intervención contrastiva en modelos de mundo de video. La referencia se construye mediante una tubería de tres etapas:

• Definición de la taxonomía (Qué evaluar): Dos expertos en el dominio (conducción autónoma y manipulación robótica) analizaron 1.000 videos del mundo real de nuScenes y DROID. Identificaron variables físicas que gobiernan los resultados y las fusionaron en una taxonomía unificada de seis primitivas que abarca dos dominios:

  • Dominio del Entorno ($D_{env}$): Fricción de la superficie, Material y Medio, Configuración de obstáculos.
  • Dominio de la Interacción ($D_{int}$): Alineación espacial, Fuerza/Grado, Secuenciación temporal.
    Estas primitivas se seleccionaron por ser físicamente fundamentales, compartidas entre distintas encarnaciones y operativamente aislables.

• Construcción del conjunto de datos (Cómo evaluar): La referencia consta de 319 instancias de prueba emparejadas. Cada instancia se construye mediante:

  1. Seleccionar un clip de video real y extraer un fotograma $x_0$ en el punto de bifurcación causal (el momento inmediatamente anterior al inicio de la acción) para fijar el estado inicial.
  2. Construir un par de prompts contrastivos $(p^+, p^-)$ que comparten la perspectiva de la cámara y el estado inicial de la escena, pero difieren en exactamente una variable semántica (la intervención).
  3. Ocultar el resultado físico en el prompt para obligar al modelo a simular la consecuencia en lugar de recuperarla de priores textuales.
     El conjunto de datos cubre 18 subcategorías en conducción autónoma y manipulación de brazos robóticos.

• Protocolo de evaluación (Cómo calificar): Los autores proponen el marco APEO, que califica pares de videos en cuatro dimensiones:

  • Adherencia (A): ¿El video ejecuta la acción solicitada?
  • Física (P): ¿El movimiento respeta las restricciones físicas?
  • Entorno (E): ¿El fondo y la escena no objetivo son estables?
  • Resultado (O): ¿Los dos videos divergen en la dirección predicha por la intervención?

  Crucialmente, A, P y E se califican tanto en modo video único (plausibilidad independiente) como en modo emparejado (consistencia comparativa). El Resultado (O) es solo para pares. Este diseño separa la plausibilidad por video de la corrección causal. Un juez VLM (Gemini 3.1-Pro), validado frente a anotación humana (82,3% de acuerdo), realiza la calificación.

Resultados Clave

La referencia se aplicó a nueve modelos de generación de video de última generación (cuatro de código abierto, cinco de código cerrado). Los resultados revelan limitaciones significativas en los modelos de mundo actuales:

1. Baja sensibilidad causal: Ningún modelo supera el 52% en la métrica emparejada principal (pAvg). El modelo de mejor rendimiento, Grok Imagine, alcanza el 51,7%, mientras que los modelos de código abierto se agrupan cerca del 28%.
2. El cuello de botella contrastivo: Existe una brecha sustancial entre las puntuaciones de video único y las puntuaciones emparejadas. Por ejemplo, HunyuanVideo-1.5 logra una puntuación de física de video único ($P_s$) del 64,4%, pero cae al 12,2% en la puntuación de física emparejada ($P_p$). Esto indica que los modelos pueden generar videos individualmente convincentes que no logran diferenciarse basándose en cambios de entrada.
3. Prominencia visual vs. Tractabilidad física: El rendimiento se correlaciona más fuertemente con la prominencia visual de las consecuencias de la intervención que con la física subyacente.
   • Fuerza/Grado (que produce diferencias dramáticas en el movimiento) obtiene la puntuación más alta con un 40,4%.
   • Fricción de la superficie (que produce diferencias sutiles en la trayectoria sobre variables latentes) obtiene la puntuación más baja con un 14,2%.
   • Secuenciación temporal muestra un rango de rendimiento comprimido en todos los modelos, lo que sugiere que es un desafío fundamental aún no resuelto por la escalabilidad.
4. Modos de fallo ocultos: En el 13,1% de los casos en los que pasó cada verificación de video único, falló la verificación de física emparejada. Estos "fallos ocultos" suponen un alto riesgo para aplicaciones posteriores como la planificación contrafáctica, ya que la simulación parece válida pero no proporciona distinción causal.

Significado y Afirmaciones

El artículo afirma que What-If World proporciona el primer marco unificado y reproducible para diagnosticar dónde luchan los sistemas actuales de generación de video como modelos de mundo. Su importancia radica en:

• Exponer un punto ciego: Demuestra que las métricas de evaluación por video existentes son insuficientes para aplicaciones encarnadas porque no pueden detectar el "cuello de botella contrastivo": el fallo en el rastreo de cambios de entrada controlados.
• Definir un estándar: Establece una taxonomía de seis primitivas que unifica las variables de intervención física a través de la conducción autónoma y la manipulación robótica, superando los casos de prueba ad hoc.
• Cuantificar la brecha: Proporciona evidencia cuantitativa de que los modelos actuales, incluso los sistemas de código cerrado más avanzados, aún no son fiables para la simulación condicionada por acciones o la planificación basada en modelos, ya que fallan en una gran fracción de intervenciones causales.

Los autores concluyen que, aunque los modelos muestran cierta capacidad en escenarios visualmente obvios, carecen de sensibilidad física generalizable, particularmente para variables latentes (como la fricción o la masa) y el razonamiento relacional (como la secuenciación temporal). El trabajo destaca una brecha de capacidad crítica que debe abordarse antes de que estos modelos puedan implementarse de forma segura en sistemas encarnados críticos para la seguridad.