Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm

Resumen Técnico: Thinking with Video

1. El Problema

Los paradigmas actuales de razonamiento en Inteligencia Artificial, como "Pensar con Texto" (Chain-of-Thought en LLMs) y "Pensar con Imágenes" (generación de imágenes dentro del proceso de razonamiento), presentan limitaciones inherentes:

• Restricciones Estáticas: Las imágenes capturan momentos únicos y no pueden representar procesos dinámicos, cambios temporales o transformaciones continuas.
• Separación de Modalidades: Los enfoques actuales tratan el texto y la visión como modalidades distintas, lo que dificulta una comprensión y generación multimodal unificada.
• Falta de unificación: No existe un marco unificado que integre naturalmente el razonamiento textual y visual dentro de una estructura temporal coherente.

El artículo propone superar estas limitaciones introduciendo el paradigma "Pensar con Video", donde los modelos de generación de video (como Sora-2) utilizan los fotogramas del video como medio unificado para el razonamiento multimodal.

2. Metodología

A. Benchmark: VideoThinkBench
Para evaluar este nuevo paradigma, los autores desarrollaron VideoThinkBench, un conjunto de pruebas exhaustivo diseñado para evaluar capacidades de razonamiento progresivas. Se divide en dos categorías principales:

1. Tareas Centradas en Visión (Vision-Centric): Resueltas mediante razonamiento sobre elementos visuales a través del dibujo y la imaginación. Incluyen:
   • Intuición Geométrica: Puzzles de "aproximación visual" (Eyeballing Puzzles) para puntos, líneas y formas.
   • Inducción de Patrones Visuales: Puzzles de simetría, gradiente y composicionalidad (adaptados de PuzzleVQA).
   • Inducción de Reglas Abstractas: ARC-AGI-2 (transformaciones de cuadrículas abstractas).
   • Planificación Espacial: Laberintos (Mazes).
2. Tareas Centradas en Texto (Text-Centric): Resueltas mediante procesos de razonamiento basados en texto, adaptados para ser generados en video. Incluyen:
   • Matemáticas y Conocimiento General: Subconjuntos de GSM8K, MATH, MMLU, GPQA.
   • Razonamiento Multimodal: MathVista y MMMU.
   • Formato de Entrada/Salida: El modelo recibe una imagen de referencia y un prompt de texto, y genera un video donde escribe el proceso de solución en una pizarra virtual y pronuncia la respuesta final en audio.

B. Evaluación
Se evaluó el modelo Sora-2 (un modelo de generación de video de última generación) y se comparó con modelos de visión-lingüística (VLM) de vanguardia como GPT-5, Claude Sonnet 4.5 y Gemini 2.5 Pro.

• Métricas de Evaluación: Para las tareas visuales, se evaluaron tres métodos: transcripción de audio, análisis del último fotograma y votación por mayoría de fotogramas clave ("Major Frame"). Para las tareas de texto, se evaluó la precisión del audio (transcrito) y del último fotograma (texto escrito).
• Análisis de Mecanismos: Se realizaron experimentos para analizar el origen de las capacidades de razonamiento, incluyendo pruebas de few-shot learning, consistencia auto-consistente (self-consistency) y análisis de fugas de datos (data leakage).

3. Contribuciones Clave

1. Propuesta del Paradigma "Pensar con Video": Demostración de que los modelos de generación de video pueden actuar como motores de razonamiento unificados, simulando procesos cognitivos humanos como el dibujo, la imaginación y la simulación mental en un formato temporal continuo.
2. VideoThinkBench: Creación del primer benchmark sistemático y verificable que abarca desde la intuición geométrica básica hasta el razonamiento lógico-matemático complejo, permitiendo la generación masiva de casos de prueba automatizados.
3. Análisis de Capacidades de Sora-2:
   • Identificación de que Sora-2 es un aprendiz few-shot efectivo, mejorando significativamente con más ejemplos (especialmente en ARC-AGI-2).
   • Descubrimiento de que la consistencia auto-consistente (generar múltiples videos y votar) mejora drásticamente el rendimiento en tareas verificables.
   • Hipótesis sobre el origen del razonamiento textual: Sugieren que la capacidad de razonamiento en texto de Sora-2 podría derivar de un modelo reescritor de prompts interno que transforma problemas complejos en instrucciones visuales paso a paso antes de la generación.

4. Resultados Principales

• Rendimiento en Tareas Visuales:
  • Sora-2 es comparable a los VLMs más avanzados en tareas de visión.
  • Superó a GPT-5 en un 10% en los puzzles de "aproximación visual" (Eyeballing Puzzles), demostrando una fuerte capacidad de razonamiento espacial e inductivo a través del dibujo.
  • En tareas de simetría visual, su rendimiento fue competitivo con Claude Sonnet 4.5.
• Rendimiento en Tareas de Texto:
  • Resultados sorprendentes en razonamiento matemático y lógico.
  • 98.9% de precisión en GSM8K (audio), 92.0% en MATH y 69.2% en MMMU.
  • Aunque la precisión en el texto escrito en el video (último fotograma) fue menor que en el audio, la capacidad de generar la respuesta correcta en el audio demuestra una comprensión profunda del problema.
• Análisis de Mecanismos:
  • Fugas de datos descartadas: Al probar con problemas matemáticos derivados (mismos valores, diferentes números), el rendimiento se mantuvo, indicando que el modelo no está memorizando respuestas.
  • Limitaciones en la generación de texto: El modelo a menudo genera procesos de razonamiento ilegibles o con errores de escritura en el video, aunque la lógica subyacente (y la respuesta final) suele ser correcta.
  • Efecto del reescritor: Experimentos con el modelo Wan 2.5 mostraron que al desactivar el reescritor de prompts, la precisión cae a casi cero, sugiriendo que la "inteligencia" reside en la transformación del prompt antes de la generación de video.

5. Significado e Impacto

Este trabajo establece un cambio de paradigma fundamental en la IA:

• Unificación Multimodal: Sugiere que los modelos de generación de video tienen el potencial de ser modelos fundacionales unificados para la comprensión y generación multimodal, superando la separación tradicional entre texto e imagen.
• Razonamiento Dinámico: "Pensar con Video" permite a la IA visualizar procesos dinámicos y transformaciones continuas, algo imposible con imágenes estáticas, alineándose mejor con la forma en que los humanos simulan mentalmente problemas físicos y lógicos.
• Escalabilidad: La demostración de que técnicas como la consistencia auto-consistente y el few-shot learning mejoran el rendimiento en tareas de generación de video abre nuevas direcciones para la investigación en la escalabilidad de pruebas (test-time scaling) en modelos generativos.

En conclusión, el artículo posiciona a los modelos de generación de video no solo como herramientas creativas, sino como motores de razonamiento potentes capaces de integrar lógica, visión y lenguaje en un flujo temporal coherente.