🤖 AI

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

Este artículo presenta PRISM, un benchmark multilingüe a gran escala y un marco de evaluación integral diseñados para evaluar rigurosamente las capacidades de razonamiento espacio-temporal de los modelos de lenguaje en la generación programática de video, revelando una brecha significativa entre la ejecutabilidad del código y la coherencia espacial visual.

Autores originales: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

Publicado 2026-05-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un arquitecto robot para construir una película en movimiento y animada sobre matemáticas o historia. Le das al robot un guion (el prompt), y él escribe el código para construir la escena.

Durante mucho tiempo, hemos estado preguntando: "¿Terminó el robot de construir la casa?". Si el código se ejecutaba sin fallar, decíamos: "¡Buen trabajo!".

Pero el artículo PRISM argumenta que eso no es suficiente. Solo porque la casa esté construida no significa que las habitaciones estén en el lugar correcto, que los muebles no estén flotando en el aire, o que las paredes no se estén derrumbando sobre los actores.

Aquí está el artículo explicado en términos sencillos:

1. El Problema: "Ejecutar" vs. "Parecer Correcto"

Piensa en la IA a nivel de píxel (como los generadores de video estándar) como un pintor que intenta pintar una película cuadro por cuadro. Son excelentes haciendo que las cosas parezcan realistas, pero a menudo se equivocan en la lógica. Un personaje podría caminar a través de una pared, o el texto podría aparecer al revés.

La IA programática (lo que estudia este artículo) es diferente. Es como un robot que escribe un conjunto preciso de instrucciones (código) para construir la película. Se supone que es perfecta porque sigue reglas.

La Prueba Antigua: ¿Terminó el robot de escribir las instrucciones? (Sí/No)
El Nuevo Problema: El robot podría terminar las instrucciones perfectamente, pero las instrucciones podrían decirle al robot que ponga un árbol gigante dentro de una casa diminuta. El código se ejecuta, pero la película parece rota.

2. La Solución: PRISM (La "Prueba de Estrés")

Los autores crearon una nueva prueba masiva llamada PRISM.

La Escala: Recopilaron más de 10,000 ejemplos (20 veces más grande que cualquier prueba anterior). Estos cubren 437 temas diferentes, desde "Cómo resolver un problema de álgebra" hasta "La historia de los lichis".
El Giro Bilingüe: Probaron esto tanto en inglés como en chino.
El Toque Humano: No solo dejaron que las computadoras calificaran el trabajo. Los humanos revisaron los "planos" para asegurarse de que el código realmente tuviera sentido para la historia que se contaba.

3. El Nuevo Sistema de Calificación: El "Embudo"

En lugar de simplemente dar una calificación de aprobado/reprobado, PRISM utiliza un embudo con cuatro capas para atrapar diferentes tipos de errores:

El Guardián (Fiabilidad del Código): ¿El código se ejecuta siquiera? Si falla, queda fuera.
El Arquitecto (Razonamiento Espacial): Este es el punto clave. ¿Tiene sentido la distribución?
- Superposición: ¿Chocaron dos objetos entre sí?
- Fuera de Límites: ¿Flotó un objeto fuera de la pantalla?
- Fuga: ¿Se salió una palabra de su caja?
El Director (Complejidad Dinámica): ¿Es el video demasiado aburrido (como una diapositiva estática) o demasiado caótico (demasiado giro y salto)? La prueba verifica si el movimiento coincide con la historia.
El Editor (Densidad Temporal): ¿Se mueve el video a un buen ritmo, o parpadea demasiado rápido?

4. El Descubrimiento Sorprendente: La "Brecha Ejecución-Espacial"

Los autores probaron 7 de los modelos de IA más inteligentes disponibles (incluyendo nombres importantes como GPT, Gemini y Claude).

El Resultado:

La Buena Noticia: Las IAs se están volviendo muy buenas escribiendo código que se ejecuta. La mayoría de las veces, el código no falla.
La Mala Noticia: Hay una brecha masiva entre "ejecutarse" y "parecer correcto".
- En promedio, el 41% de los videos que se ejecutaron con éxito estaban rotos espacialmente.
- Imagina un robot que puede construir un motor de coche perfectamente, pero luego pone las ruedas en el techo. El motor funciona, pero el coche no conduce.

Hallazgos Clave:

Pensar Más Tiempo No Ayuda: Los autores intentaron dejar que la IA "pensara" más tiempo antes de responder (una característica llamada "Modo de Pensamiento"). No solucionó los problemas espaciales. La IA simplemente se volvió más segura en sus respuestas incorrectas.
Demasiada Acción es Mala: Cuando la IA intentó hacer el video demasiado emocionante con mucho movimiento, la distribución se desmoronó.
El Idioma Importa: La IA tuvo dificultades de manera diferente con el inglés frente al chino, a menudo cometiendo más errores de distribución con texto en chino.

5. La Conclusión

El artículo concluye que ya no podemos simplemente preguntar: "¿Se ejecuta el código?". Tenemos que preguntar: "¿Crea el código un mundo lógico y organizado?".

Actualmente, incluso las IAs más inteligentes son como ayudantes de escena talentosos pero torpes. Pueden seguir el guion para encender las luces y mover los accesorios, pero a menudo olvidan verificar si los accesorios están bloqueando los rostros de los actores o si el escenario se está cayendo. PRISM es el nuevo reglamento para obligarlos a aprender a ser mejores jefes de escena.

Resumen Técnico: PRISM - Un Punto de Referencia para el Razonamiento Espacio-Temporal Programático

1. Declaración del Problema

Aunque los avances recientes en Modelos de Lenguaje Grande (LLM) han expandido la creación automatizada de contenido al ámbito del video, los enfoques existentes enfrentan limitaciones significativas en la generación programática de video. Los métodos actuales generalmente siguen dos rutas:

Generación a nivel de píxel (Modelos de Difusión): Estas logran una alta fidelidad visual, pero luchan con la consistencia espacial, la renderización precisa de símbolos y la coherencia lógica a largo plazo debido a la falta de restricciones geométricas explícitas.
Generación programática: Este enfoque ejecuta scripts (por ejemplo, usando Manim) para definir objetos, diseños y dinámicas temporales, ofreciendo una precisión geométrica y una capacidad de control superiores.

Sin embargo, persiste una brecha crítica en evaluar si los LLM pueden sintetizar programas de video que no solo sean ejecutables, sino también espacial y temporalmente correctos. Los puntos de referencia existentes son insuficientes porque:

Se centran en salidas estáticas (gráficos, páginas web) en lugar de secuencias temporales continuas que requieren relaciones de objetos consistentes.
Son de pequeña escala y no cubren diversos escenarios del mundo real.
Los protocolos de evaluación dependen de evaluaciones "VLM-como-juez" de granularidad gruesa o verificaciones de ejecución simples, pasando por alto fallos de renderizado de granularidad fina como desalineaciones de diseño u objetos fuera de los límites que solo aparecen en fotogramas específicos.

El desafío central es la "Brecha Ejecución-Espacial": la discrepancia entre el código que se ejecuta con éxito y el código que produce animaciones visualmente coherentes y espacialmente correctas.

2. Metodología

2.1 Construcción del Punto de Referencia PRISM

Los autores presentan PRISM (Razonamiento Programático en Modalidades Espaciales), un punto de referencia a gran escala y bilingüe (inglés/chino) que contiene 10,372 pares instrucción-código calibrados por humanos.

Escala y Alcance: Es 20 veces más grande que los puntos de referencia anteriores de video programático, abarcando 437 categorías de temas fundamentados en la visualización de conocimientos del mundo real (por ejemplo, animaciones educativas, demostraciones científicas).
Marco de Curación de Datos: Se empleó una pipeline jerárquica con intervención humana para filtrar más de 30,000 candidatos brutos:
1. Filtrado Duro Determinista: Scripts automatizados analizan la pipeline de renderizado de Manim para detectar violaciones geométricas (por ejemplo, umbrales de coordenadas) y eliminar muestras con defectos de diseño.
2. Calibración de Límites: Un subconjunto dorado de 3,000 ejemplos anotados por expertos se utilizó para refinar las reglas de exención y los umbrales de tolerancia, minimizando los falsos positivos.
3. Verificación Aleatoria Humana: La revisión semántica final asegura que las animaciones coincidan con el contenido educativo y sean pedagógicamente apropiadas.
Definición de la Tarea: La tarea se formula como un problema de generación de código restringido $f_\theta: I \to O$ , que mapea instrucciones en lenguaje natural (esquemas educativos) a un programa Manim ( $C$ ) y su video renderizado ( $V$ ).

2.2 Marco de Evaluación

PRISM propone un marco de evaluación estilo embudo con cuatro métricas complementarias:

Fiabilidad a Nivel de Código: Mide la robustez de la ejecución. Incluye la tasa de éxito básica (éxito en el primer intento), categorización de errores de granularidad fina (alucinación de API, mal uso, errores de renderizado de texto, etc.) y complejidad de ejecución (tiempo medio de renderizado).
Razonamiento Espacial: La métrica principal de extremo a extremo que evalúa la planificación del diseño sobre toda la secuencia de animación. Detecta tres modos de fallo:
- Superposición de Diseño: Oclusión no intencionada de elementos visuales.
- Fuera de Límites (OOB): Elementos que se extienden más allá del fotograma visible.
- Fuga de Diseño: Extensiones geométricas que exceden las regiones locales (por ejemplo, texto escapando de un recuadro).
- Mecanismo: Utiliza una pipeline de auditoría automatizada que captura instantáneas clave, extrae conjuntos de puntos de objetos y extensiones de límites, y aplica verificaciones deterministas.
Complejidad Visual Dinámica Consciente del Prompt (PADVC): Cuantifica la riqueza dinámica relevante para la entrada. Distingue entre salidas casi estáticas (sub-dinámicas) y movimiento decorativo excesivo (sobre-dinámico). Calcula una puntuación "centrada" ( $PADVC_c$ ) basada en la energía de evolución geométrica de objetos no textuales en relación con la densidad visual del prompt.
Densidad Temporal (TD): Mide la tasa de cambio visual a nivel de fotograma (actividad temporal). Al igual que PADVC, utiliza una puntuación centrada ( $TD_c$ ) para identificar videos que son demasiado estáticos o sufren de transiciones redundantes.

3. Resultados Clave

Los autores evaluaron siete LLM principales (cuatro de código cerrado: GPT-5.4, Gemini 3.1 Pro, Kimi K2, Claude Sonnet 4.6; tres de código abierto: Qwen3.5, GLM-5, DeepSeek-V3.2) en el punto de referencia.

La Brecha Ejecución-Espacial: Un hallazgo sorprendente es la caída promedio de ~41% desde la tasa de éxito de ejecución hasta la tasa de aprobación espacial. Por ejemplo, GPT-5.4 logró una tasa de ejecución del 94.5% en inglés, pero solo una tasa de aprobación espacial del 30.8%. Esto confirma que el código ejecutable no garantiza la coherencia espacial.
Rendimiento del Modelo:
- Los modelos de código cerrado generalmente lideraron en fiabilidad a nivel de código (éxito de ejecución), pero a menudo sufrieron altas tasas de fallo espacial debido a salidas "visualmente ambiciosas" que violaban las restricciones.
- Gemini 3.1 Pro Preview demostró la mejor alineación, logrando las puntuaciones espaciales más altas con una de las brechas Ejecución-Espacial más pequeñas.
- Los modelos de código abierto mostraron un rendimiento variado; GLM-5 fue el más equilibrado, mientras que otros lucharon con el mal uso de la API (Qwen3.5) o el control de límites (DeepSeek-V3.2).
Compensación Dinámica vs. Espacial: Una alta intensidad dinámica (alto PADVC o TD) se correlaciona con una menor calidad espacial. Los modelos que producen movimiento excesivo o expansión de texto a menudo desencadenaron violaciones de diseño.
Ablación del Modo de Pensamiento: Habilitar los modos de "pensamiento" no mejoró de manera fiable la organización espacial. En algunos casos (por ejemplo, Claude Sonnet 4.6), el pensamiento llevó a cambios de diseño más audaces que aumentaron los errores espaciales (superposición/OOB) sin mejorar la tasa de aprobación espacial final.

4. Significado y Afirmaciones

El artículo afirma que PRISM proporciona un punto de referencia principista para avanzar en la generación de código espacialmente coherente, superando las limitaciones de los métodos de evaluación actuales.

Más allá de la Ejecutabilidad: El trabajo establece que la evaluación de la generación programática de video debe ir más allá de la simple ejecución de código para incluir métricas rigurosas de razonamiento espacial y temporal.
Identificación de Cuellos de Botella: Los resultados destacan que el razonamiento espacial a largo plazo es el principal cuello de botella para los LLM actuales, en lugar de las capacidades básicas de generación de código.
Provisión de Recursos: Al publicar un conjunto de datos a gran escala y de alta calidad con un marco de evaluación determinista, PRISM ofrece un banco de pruebas estandarizado para futuras investigaciones sobre la generación programática de video fundamentada espacialmente.

Los autores concluyen que, aunque los LLM pueden generar código ejecutable, actualmente carecen de la robustez para mantener la consistencia geométrica sobre secuencias animadas extendidas, una brecha que PRISM está diseñado para medir y ayudar a cerrar.