Resumen Técnico: ImageTime – Un nuevo benchmark para sondear el modelado del mundo visual mediante la consistencia espaciotemporal

1. Declaración del Problema

Los modelos actuales de generación de imágenes han alcanzado una notable competencia en la síntesis de imágenes estáticas, produciendo visuales de alta calidad y alineación semántica. Sin embargo, su capacidad para representar cómo evoluciona un mundo visual en el tiempo sigue siendo poco comprendida. Los flujos de trabajo prácticos, como el guion gráfico (storyboarding), la ilustración paso a paso y la previsualización de video, requieren que los modelos preserven la identidad de las entidades, los estados de los objetos, las relaciones espaciales y el orden causal a través de múltiples estados visuales.

Los protocolos de evaluación existentes se centran principalmente en la corrección de una sola imagen (por ejemplo, presencia de objetos, vinculación de atributos, relaciones espaciales) o en la calidad densa del video (por ejemplo, suavidad del movimiento, parpadeo). Estos enfoques no logran diagnosticar si un modelo puede imaginar coherentemente un proceso ordenado temporalmente. Un modelo puede generar un fotograma final plausible mientras omite acciones intermedias necesarias, duplica objetos, desvía la identidad de la escena o viola el orden causal. Existe una brecha crítica en la evaluación de si los modelos de imagen pueden mantener un mundo visual coherente a través de estados ordenados en lugar de simplemente renderizar instantáneas aisladas.

2. Metodología

2.1 El Benchmark ImageTime

ImageTime es un benchmark de diagnóstico diseñado para sondear el modelado del mundo visual a través de la consistencia espaciotemporal. En lugar de generar video continuo, el benchmark utiliza un protocolo de cuatro fotogramas clave para evitar las confusiones de la dinámica de video denso (por ejemplo, la interpolación del flujo óptico) al tiempo que impone demandas temporales mayores que la generación de una sola imagen.

• Formulación de la tarea: Dada una instrucción de acción (y opcionalmente una imagen de referencia para el estado inicial), el modelo debe generar una única imagen cuadrada que contenga cuatro estados temporales ordenados en una disposición de $2 \times 2$:
  1. $t_1$ Estado Inicial: La configuración de partida.
  2. $t_2$ Inicio de la Acción: El comienzo de la interacción.
  3. $t_3$ Estado de Transición: Una interacción o cambio de estado intermedio.
  4. $t_4$ Estado Final: La conclusión de la acción.
• Escala del Dataset: El benchmark comprende 750 casos que abarcan 22 dominios (por ejemplo, hogar, cocina, laboratorio, deportes) y 375 conceptos de acción.
• Configuraciones: La evaluación principal utiliza una configuración estricta de solo prompt, donde los modelos sintetizan los cuatro paneles a partir de texto únicamente. También se define una configuración de andamiaje condicionada por referencia, la cual se excluye de la comparación entre modelos para aislar las capacidades generativas.

2.2 Árbol de Capacidades Progresivo (L0–L6)

Para estructurar la evaluación, ImageTime introduce una jerarquía de siete niveles de capacidad. Las tareas no son planas; los niveles superiores dependen de la ejecución exitosa de los compromisos de los niveles inferiores:

• L0 (Anclaje Estático): Instanciar el sujeto, la escena, el estilo y el estado inicial.
• L1 (Identidad y Anclajes): Preservar actores, objetos, materiales y anclajes de fondo a través de los paneles.
• L2 (Transición Espacial): Representar cambios objetivos en posición, contención y orientación.
• L3 (Transición de Estado de Objeto): Rastrear cambios de estado (por ejemplo, niveles de llenado, conteos) y conservación de fuente-objetivo.
• L4 (Interacción y Asequibilidad/Affordance): Representar contacto plausible, uso de herramientas y biomecánica.
• L5 (Proceso Causal): Asegurar que los cambios de estado sigan disparadores visibles y etapas intermedias (sin estados finales prematuros).
• L6 (Restricción/Contrafáctico): Obedecer negaciones, acciones bloqueadas y resultados condicionales.

2.3 Evaluación Estructurada de VLM-como-Juez

El artículo emplea un GPT-5.5 estructurado como juez para calificar las imágenes generadas, yendo más allá de las puntuaciones de preferencia holísticas. El protocolo de evaluación incluye:

• Validación de Layout: Asegurar que la salida sea una hoja de movimiento de $2 \times 2$ válida y legible.
• Sistema de Doble Calificación:
  • Puntuaciones de Capacidad (C0–C9): Puntuaciones de grano grueso que cubren layout, consistencia de entidad, estabilidad de la vista espacial, continuidad del movimiento, orden temporal, proceso causal, interacción, sensibilidad a restricciones y calidad visual.
  • Subpuntuaciones Diagnósticas (D0–D14): Puntuaciones de grano fino que proporcionan evidencia visual de los fallos (por ejemplo, integridad del parseo de paneles, permanencia de objetos, acoplamiento de trayectoria-pose, visibilidad de la transición de estado, ejecución de restricciones).
• Agregación: Las puntuaciones de nivel de árbol ($T_L$) se calculan como un promedio equilibrado de las dimensiones C y D mapeadas, asegurando que las afirmaciones de capacidad de alto nivel estén respaldadas por evidencia visual específica.

3. Contribuciones Clave

1. Una Sonda de Comportamiento para el Modelado del Mundo Visual: ImageTime introduce un benchmark de diagnóstico que utiliza la consistencia espaciotemporal a través de estados clave ordenados como una sonda observable. Desplaza la evaluación de la corrección de un estado único a la consistencia de múltiples estados ordenados, proporcionando un estándar concreto con 750 casos.
2. Árbol de Capacidades de Siete Niveles y Evaluación Estructurada: Los autores diseñan una jerarquía L0–L6 y un protocolo estructurado de VLM-como-juez. Esto permite tanto el análisis de nivel de árbol de la degradación progresiva de la capacidad como la localización de fallos de grano fino mediante subpuntuaciones diagnósticas.
3. Benchmarking Multimodelo Sistemático: El artículo evalúa ocho modelos de generación de imágenes diversos (incluyendo GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1 y SDXL) utilizando el benchmark de 750 casos, revelando modos de fallo recurrentes como la deriva de identidad, la omisión de estados intermedios y las violaciones de la precondición causal.

4. Resultados Experimentales

• Jerarquía de Rendimiento: GPT Image 2 logró la puntuación media general más alta (7.86), seguido de Nano Banana 2 (7.45) y Seedream 5.0 Lite (7.16). SDXL obtuvo la puntuación más baja (1.57), debido principalmente a fallos en la generación de la interfaz de cuatro paneles requerida.
• Brechas de Capacidad: Los sistemas más fuertes (GPT Image 2, Nano Banana 2) mantienen envolventes amplias en consistencia de entidad, estabilidad de la vista espacial y proceso causal. Sin embargo, incluso estos modelos superiores muestran caídas significativas en Proceso Causal (C6) y Sensibilidad a Restricciones (C8) en comparación con el anclaje estático.
• Perspectivas Diagnósticas:
  • Continuidad del Movimiento (C4) y Orden Temporal (C5) son diferenciadores principales. Los modelos más débiles suelen producir "estados finales prematuros" u omitir fases intermedias.
  • Violaciones de Precondición Causal: Muchos modelos generan interacciones físicamente imposibles (por ejemplo, un objeto apareciendo en una mano antes de que se abra un cajón) o fallan en conservar cantidades (por ejemplo, los niveles de líquido no cambian durante el vertido).
  • Degradación a Nivel de Árbol: Los modelos de menor rendimiento exhiben una degradación aguda en los niveles de capacidad superiores (L4–L6), lo que indica que, aunque pueden construir escenas estáticas, luchan por mantener un proceso causal coherente sobre estados ordenados.
• Fiabilidad: El análisis de distribución muestra que los modelos de primer nivel no solo son altos en promedio, sino que mantienen la consistencia a través de diversos prompts, mientras que los modelos de nivel inferior muestran colas pesadas de fallo, particularmente en tareas centradas en restricciones y cantidades.

5. Significado y Reivindicaciones

El artículo posiciona a ImageTime no como una medida de un modelo de mundo interno, sino como una sonda de comportamiento de si los modelos de imagen pueden externalizar un comportamiento similar al de un modelo de mundo.

• Más allá de la Síntesis Estática: Los resultados demuestran que la alta calidad visual no garantiza una construcción de procesos temporales fiable. Los modelos actuales a menudo fallan en preservar las "variables ocultas" (por ejemplo, cantidades de origen, disparadores causales) necesarias para un proceso coherente.
• Capacidades Emergentes: El benchmark revela que incluso los sistemas de pesos abiertos y de menor costo (por ejemplo, Qwen-Image-2512, Z-Image-Turbo) pueden producir hojas de movimiento legibles y exhibir una preservación de entidad no trivial, lo que sugiere que la generación de procesos espaciotemporales básicos está emergiendo fuera de los modelos fronterizos cerrados.
• Limitaciones del Razonamiento Actual: Aunque los sistemas orientados al razonamiento (como GPT Image 2) sobresalen en la planificación a través de los paneles, todavía tienen dificultades con la conservación del estado del objeto, la geometría de contacto y el razonamiento contrafáctico.
• Dirección Futura: Los autores argumentan que el progreso en la generación de imágenes debe reportarse no solo a través de la calidad visual y el seguimiento de prompts, sino también mediante diagnósticos explícitos de la persistencia del estado y la coherencia causal. ImageTime sirve como un puente entre la evaluación de imágenes estáticas y la evaluación de video denso, ofreciendo una interfaz controlada para rastrear la evolución del modelado del mundo visual.

El artículo concluye que, si bien los modelos actuales exhiben un comportamiento básico similar al de un modelo de mundo visual, su seguimiento de estados temporales sigue siendo frágil bajo procesos más largos, más restringidos o causalmente exigentes.