🤖 AI

VGI-Bench: Probing Visual Intelligence in Video Generation Models

Este artículo presenta VGI-Bench, un banco de pruebas exhaustivo que comprende 27 tareas y 810 instancias diseñado para evaluar rigurosamente las capacidades de razonamiento visual de los modelos de generación de video, revelando que incluso sistemas de vanguardia como Seedance 2.0 alcanzan solo un 51.0% de precisión y tienen dificultades con la autocorrección fiable durante el proceso de generación.

Autores originales: Xuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping Nie

Publicado 2026-08-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping Nie, Kelsey R Allen, Chenglong Wang, Michel Galley, Jianfeng Gao, ChengXiang Zhai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una computadora que no solo observa el mundo, sino que puede imaginar cómo este cambia. Durante años, la inteligencia artificial ha sido entrenada para reconocer imágenes estáticas: un gato sentado en un tapete, un coche estacionado en una calle. Más recientemente, estos sistemas han aprendido a generar videos, creando imágenes en movimiento que parecen sorprendentemente reales. Los científicos ahora se preguntan si estos generadores de video están haciendo algo más profundo que simplemente imitar el movimiento. Se preguntan si las máquinas están comenzando a comprender las reglas del mundo físico —la gravedad, la causa y el efecto, y cómo interactúan los objetos— para poder "pensar" a través de una secuencia de eventos antes de mostrar el resultado. Esta pregunta se encuentra en el corazón de un nuevo esfuerzo por medir si la IA de creación de video puede razonar verdaderamente, o si simplemente está adivinando cómo se ve un final plausible.

Un equipo de investigadores ha construido un nuevo campo de pruebas llamado VGI-Bench para responder a esta pregunta. En lugar de pedirle a la IA que resuelva acertijos abstractos dibujados con líneas simples, le proporcionaron fotos realistas de escenas cotidianas y le pidieron que generara videos que siguieran reglas lógicas específicas. Las tareas fueron diseñadas para ser desafiantes pero posibles, requiriendo que la máquina simulara un proceso paso a paso. Por ejemplo, se le podría mostrar a una IA la foto de un coche de juguete al inicio de un laberinto y pedirle que genere un video de este conduciendo hasta la salida sin chocar contra las paredes. Otra tarea podría mostrar una caja de cartón plana y desplegada, y pedirle a la IA que la anime plegándose a sí misma para formar una figura 3D. Los investigadores no solo miraron la imagen final; examinaron minuciosamente todo el video para ver si la máquina siguió las reglas en cada momento, buscando cosas como objetos atravesando paredes, coches teletransportándose o artículos desapareciendo y reapareciendo.

Cuando probaron los modelos de generación de video más avanzados disponibles hoy en día, los resultados fueron una mezcla de promesa y limitación. El sistema con mejor desempeño, un modelo llamado Seedance 2.0, logró resolver solo cerca de la mitad de las tareas correctamente bajo estas estrictas condiciones. Aunque la IA a menudo lograba captar la idea general, frecuentemente fallaba al mantener una historia consistente. En muchos videos, la física se rompía: una taza situada sobre una computadora portátil inclinada no rodaba hacia afuera, o un coche atravesaba directamente una pared sólida. Las máquinas también tuvieron dificultades con las reglas, a veces saltándose pasos necesarios o cambiando la identidad de un objeto a mitad del video. Incluso cuando el resultado final parecía correcto, el camino para llegar allí estaba lleno de movimientos imposibles, lo que sugiere que los modelos son buenos prediciendo un estado final, pero malos simulando el trayecto para llegar a él.

Los investigadores profundizaron para entender por qué ocurrían estos fallos. Descubrieron que el estilo de la imagen de entrada importaba enormemente; cuando la IA recibía una foto realista, funcionaba mejor que cuando se le daba un dibujo de líneas simples, lo que indica que los modelos están entrenados con imágenes del mundo real y tienen dificultades cuando el estilo visual cambia. También observaron cómo la IA "piensa" mientras crea un video, paso a paso. Descubrieron que los modelos no corrigen realmente sus errores sobre la marcha. Si la IA comete un error en las etapas iniciales de la generación de un video, tiende a mantener ese error, refinando la idea equivocada en lugar de corregirla. La máquina se encierra en una hipótesis tempranamente y luego la pule, incluso si esa hipótesis viola las leyes de la física o las reglas de la tarea.

Este estudio sugiere que, si bien los modelos de generación de video se están convirtiendo en herramientas poderosas para la creación de contenido visual, aún no han desarrollado el tipo de razonamiento fiable y paso a paso que los humanos usamos para navegar por el mundo. Pueden simular apariencias y movimientos simples, pero carecen de una comprensión profunda y consistente de cómo funcionan realmente las cosas a través del tiempo. El nuevo punto de referencia proporciona una forma clara de medir esta brecha, mostrando que los sistemas actuales están lejos de ser verdaderos razonadores visuales. Al resaltar exactamente dónde fallan estos modelos —ya sea al rastrear objetos, seguir reglas o corregir errores—, la investigación ofrece una hoja de ruta para construir la próxima generación de inteligencia artificial que pueda verdaderamente imaginar el futuro.

Resumen Técnico: VGI-Bench: Sondeo de la Inteligencia Visual en Modelos de Generación de Vídeo

1. Planteamiento del Problema

Estudios recientes sugieren que los modelos de generación de vídeo están evolucionando de simuladores visuales pasivos a potenciales "razonadores visuales" capaces de realizar razonamiento zero-shot a través de secuencias de fotogramas generados. Sin embargo, evaluar esta capacidad sigue siendo un desafío debido a tres brechas críticas en los benchmarks existentes:

Desajuste de Distribución: Muchos benchmarks dependen de entradas abstractas o de arte lineal, lo que se desvía de los priors de imágenes naturales de los modelos de vídeo modernos, provocando fallos que reflejan un desajuste de dominio visual en lugar de limitaciones de razonamiento.
Falta de Sensibilidad al Proceso: Las tareas de razonamiento visual existentes a menudo permiten a los modelos responder directamente desde la entrada o se centran únicamente en el estado final, fallando al no probar si el modelo puede simular trayectorias intermedias válidas y procesos evolutivos.
Dificultad no Controlada: Los benchmarks actuales incluyen tareas que son trivialmente resolubles o que están muy por encima del régimen factible de los modelos actuales (por ejemplo, requiriendo pericia no visual o excediendo duraciones de vídeo prácticas), lo que dificulta la evaluación diagnóstica.

2. Metodología: VGI-Bench

Para abordar estas brechas, los autores presentan VGI-Bench, un benchmark que contiene 27 tareas y 810 instancias diseñadas para evaluar la inteligencia visual en el límite de la capacidad actual de los modelos de generación de vídeo.

2.1 Taxonomía y Diseño de Tareas

El benchmark emplea una taxonomía de dos niveles:

Dominios de Tarea (Mutuamente Excluyentes):
- Organización Visual: Organizar, agrupar o seleccionar objetos basándose en atributos visuales.
- Manipulación Física: Acciones a nivel de objeto (mover, apilar, uso de herramientas) que requieren una interacción física plausible.
- Puzles Estructurados: Puzles regidos por reglas que requieren restricciones explícitas para transformar un estado inicial en uno objetivo.
- Dinámicas Espaciotemporales: Razonar sobre la evolución del estado, el orden y las dependencias temporales.
Etiquetas de Habilidad (No exclusivas): Las tareas están anotadas con etiquetas como Espacial, Temporal, Planificación, Anclaje de Atributos (Attribute Grounding), Física, Topología y Asequibilidad (Affordance).

2.2 Construcción de Datos y Control de Calidad

Entradas: Las tareas utilizan entradas de estilo fotorrealista (imágenes de la web o generadas mediante modelos de imagen como GPT-Image-2) para alinearse con los priors del modelo, evitando el arte lineal abstracto.
Sensibilidad al Proceso: El éxito depende de trayectorias intermedias válidas y una evolución que preserve las reglas, no solo del estado final.
Calibración de Dificultad: Una etapa de pre-generación prueba las tareas en modelos de última generación (SOTA). Las tareas se aceptan solo si son resolubles por al menos un modelo pero fallan para al menos uno, asegurando que sean desafiantes pero factibles.
Métricas de Evaluación:
- Completitud (Comp.): Una métrica global que evalúa el progreso hacia el objetivo (Completo, Parcial, Fallido).
- Puntuación de Rúbrica (Rub.): Una métrica local que mide la validez del proceso frente a una lista de verificación detallada de reglas y restricciones. Utiliza una estrategia de muestreo de fotogramas adaptativa de grueso a fino (4fps a 8fps) y una ventana de enfoque deslizante para detectar violaciones transitorias.
- Puntuación Final: El producto de la Completitud y la Puntuación de Rúbrica, penalizando tanto el fallo del objetivo como la violación de las reglas.

2.3 Configuración de Evaluación

El benchmark evalúa una amplia gama de modelos de vídeo comerciales (por ejemplo, Seedance 2.0, Sora 2, Veo 3.1) y de código abierto (por ejemplo, Wan 2.7, HunyuanVideo 1.5). Se utiliza un juez automático basado en VLM (Gemini-3-Flash), cuya fiabilidad ha sido validada frente a anotaciones humanas. Un subconjunto de tareas también se adapta para modelos de generación de imágenes para comparar la inferencia de estado objetivo estático frente a la generación de vídeo procedimental.

3. Resultados Clave

Rendimiento General: Los modelos actuales exhiben capacidades de razonamiento emergentes pero siguen lejos de una inteligencia visual de propósito general fiable. Incluso el modelo más fuerte, Seedance 2.0, logra solo un 51.0% bajo los criterios de evaluación.
Análisis de Dominio y Habilidad:
- Puzles Estructurados es el dominio más desafiante, exponiendo fallos en la adherencia a reglas de múltiples pasos y en el seguimiento de estados.
- Las habilidades de Topología y Temporal son las dimensiones más débiles, indicando dificultades en la preservación de la conectividad y el seguimiento de estados de múltiples pasos.
- Los modelos comerciales superan consistentemente a los modelos de código abierto, aunque todos tienen dificultades para mantener una ejecución coherente de múltiples pasos.
Modos de Fallo: Los fallos comunes incluyen:
- Colapso Físico: Deformaciones poco realistas o violación de la gravedad (por ejemplo, objetos que no ruedan por superficies inclinadas).
- Violación de Reglas: Realizar acciones prohibidas o saltarse pasos esenciales mientras se alcanza un estado final visualmente plausible.
- Inconsistencia de Objeto/Estado: Fallo en preservar la identidad o la posición de los objetos a lo largo del tiempo (por ejemplo, objetos que desaparecen o se duplican).
Sensibilidad de la Entrada: El rendimiento es altamente sensible a los estilos visuales de entrada. Los modelos de código abierto muestran caídas significativas al cambiar de entradas fotorrealistas a arte lineal, lo que sugiere que los inputs abstractos en otros benchmarks pueden confundir las limitaciones de razonamiento con un desajuste del dominio visual.
Transferencia de Ajuste Fino Sintético: El ajuste fino (fine-tuning) en datos abstractos sintéticos a gran escala (VBVR) mejora el rendimiento en tareas con solapamiento estructural, pero ofrece ganancias limitadas en tareas no solapadas. Las mejoras suelen estar limitadas por la cobertura estructural de la distribución de entrenamiento.
Dinámicas de Denosing: El análisis de los pasos intermedios de eliminación de ruido (denoising) revela una autocorrección limitada. Los modelos tienden a refinar hipótesis tempranas en lugar de corregir errores de razonamiento; la "autocorrección" (incorrecto $\to$ correcto) ocurre en menos del 1% de las transiciones, mientras que los modelos mayoritariamente se bloquean y refinan hipótesis tempranas (a menudo incorrectas).

4. Significancia y Contribuciones

El artículo reclama tres contribuciones principales:

VGI-Bench: Un benchmark de diagnóstico diseñado para el límite de capacidad actual de los modelos de vídeo, que presenta entradas realistas, tareas sensibles al proceso y niveles de dificultad calibrados.
Evaluación Amplia: Una evaluación exhaustiva de los modelos generativos contemporáneos (tanto de imagen como de vídeo), destacando sus capacidades de razonamiento emergentes mientras expone limitaciones significativas en la inteligencia visual de propósito general.
Análisis Multifacético: Un diagnóstico detallado del comportamiento del razonamiento de vídeo, que cubre modos de fallo, sensibilidad de la entrada, los límites de transferencia del ajuste fino sintético y las dinámicas internas de las trayectorias de denoising.

Los autores postulan que VGI-Bench ayudará a estimular el desarrollo de la próxima generación de modelos de generación de vídeo al proporcionar un marco riguroso para distinguir entre fidelidad visual y razonamiento visual genuino, identificando cuellos de botella específicos como la coherencia física, la adherencia a las reglas y los mecanismos de autocorrección.