💻 computer science

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

El artículo presenta VideoReasonBench, un nuevo benchmark diseñado para evaluar el razonamiento complejo centrado en la visión en videos, revelando que la mayoría de los modelos multimodales actuales tienen un rendimiento deficiente en estas tareas mientras que los modelos con capacidades de pensamiento extendido, como Gemini-2.5-Pro, obtienen resultados significativamente superiores gracias a un mayor presupuesto de razonamiento.

Autores originales: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Publicado 2026-03-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que acabamos de descubrir un nuevo tipo de "examen de gimnasia mental" para las inteligencias artificiales, y el nombre de este examen es VIDEOREASONBENCH.

Aquí te explico de qué trata, usando analogías sencillas y divertidas:

1. El Problema: Las IAs son "Cerebros de Pájaro"

Hasta ahora, las Inteligencias Artificiales (IA) que ven videos (como los modelos que ves en tu teléfono) eran muy buenas para cosas simples. Si les mostrabas un video de un perro persiguiendo una pelota y les preguntabas "¿Qué pasó?", respondían rápido y bien.

Pero, si les pedías que hicieran cálculos mentales complejos basados en lo que veían, se quedaban en blanco. Era como si tuvieran una memoria de pez dorado: veían algo, lo olvidaban al instante y no podían conectar los puntos.

2. La Solución: El "Rompecabezas de la Caja Mágica"

Los creadores de este estudio (un equipo de investigadores y expertos en IA) decidieron crear un nuevo examen, VIDEOREASONBENCH, diseñado específicamente para romper a estas IAs.

Imagina un video de un rompecabezas deslizante (como el juego de los números del 1 al 15 con un espacio vacío):

El truco: Al principio, ves cómo están los números. Luego, una "manta azul" cubre todo el tablero.
La acción: A través de la manta, ves que las piezas se mueven (se deslizan hacia arriba, abajo, izquierda, derecha).
El reto: Al final, la manta se quita y te preguntan: "¿Dónde quedó el número 7?".

Para responder, la IA no puede solo "mirar". Tiene que:

Recordar dónde estaba el 7 al principio.
Seguir mentalmente cada movimiento que hizo el 7 mientras estaba cubierto.
Calcular su nueva posición final.

Si la IA pierde el hilo en cualquier paso, falla. Es como intentar recordar una receta de cocina mientras te tapas los ojos y alguien mueve los ingredientes en la mesa.

3. ¿Qué pasó cuando pusieron a las IAs a prueba?

Los investigadores probaron a 18 de las IAs más famosas y potentes del mundo (como GPT-4o, Qwen, etc.) con este examen.

El resultado de la mayoría: Fue desastroso. La mayoría obtuvo menos del 10% de aciertos. Básicamente, adivinaban. Era como si les preguntaras a un niño de 3 años que resuelva un problema de álgebra avanzada.
La excepción: Hubo un modelo llamado Gemini-2.5-Pro que sí logró entenderlo, obteniendo un 56% de aciertos.
- ¿Por qué? Porque este modelo tiene una capacidad especial llamada "pensamiento" (Chain-of-Thought). En lugar de saltar a la respuesta, se toma un momento para "pensar en voz alta", paso a paso, como un detective que revisa cada pista antes de acusar al culpable.

4. La Lección Importante: "Pensar" es necesario

El estudio descubrió algo fascinante:

En exámenes antiguos (preguntas simples sobre videos), si la IA "pensaba" más tiempo, no mejoraba mucho. Era como si ya supiera la respuesta y pensara de más.
Pero en VIDEOREASONBENCH, pensar es obligatorio. Sin ese "tiempo de reflexión" y sin seguir el hilo de los movimientos, la IA falla estrepitosamente.

5. Conclusión: ¿Qué significa esto para el futuro?

Este nuevo examen nos dice que, aunque las IAs son muy inteligentes para conversar o escribir poemas, todavía son muy torpes para seguir historias visuales complejas.

Es como si tuvieras un coche de carreras (la IA) que va a 300 km/h en una autopista recta (videos simples), pero si le pones un laberinto de obstáculos (razonamiento visual complejo), se estrella.

En resumen:
Los científicos crearon un "gimnasio de lógica visual" para obligar a las IAs a dejar de adivinar y empezar a razonar. Y aunque la mayoría todavía tropieza, el hecho de que un modelo haya empezado a entenderlo nos da esperanza de que pronto tendremos asistentes que no solo "vean" videos, sino que realmente los entiendan y puedan resolver problemas complejos basados en lo que ven.

Resumen Técnico: VIDEOREASONBENCH

1. El Problema

A pesar de los avances recientes en el razonamiento de Cadena de Pensamiento (Chain-of-Thought o CoT) de larga duración para Grandes Modelos de Lenguaje (LLMs) en tareas complejas como matemáticas y codificación, este beneficio no se ha demostrado claramente en el dominio de la comprensión de video.

Limitaciones de los benchmarks existentes: Las plataformas actuales (como Video-MME, TempCompass, MMVU) carecen de la profundidad de razonamiento necesaria para aprovechar cadenas de pensamiento extendidas. Sus tareas suelen ser impulsadas por conocimiento externo o se centran en habilidades de corto alcance (como la cuenta de acciones o la comprensión temporal básica), donde los modelos pueden responder correctamente sin un razonamiento visual profundo.
La brecha: No existe un estándar que evalúe específicamente el razonamiento de video centrado en la visión, donde el modelo debe rastrear estados latentes invisibles a través de secuencias densas de operaciones visuales.

2. Metodología: VIDEOREASONBENCH

Los autores introducen VIDEOREASONBENCH, un nuevo benchmark diseñado para evaluar la capacidad de los Modelos Multimodales de Lenguaje (MLLMs) para realizar razonamiento complejo centrado en la visión.

Diseño de los Videos:
- Se conceptualizan como secuencias de transiciones de estado: $\{S_t, o_t, S_{t+1}\}$ .
- Complejidad Visual: El video muestra una secuencia densa de operaciones ( $o_t$ ), pero el estado latente ( $S_t$ ) solo es visible parcialmente (al principio o al final del video).
- Tipos de Demostraciones: Se crearon 6 categorías de videos (synthéticos y reales) que involucran estados ocultos:
  1. Number: Tablero de deslizamiento de números (puzzle de 15).
  2. Circle: Rejilla con piezas negras/blancas que cambian de color al pasar un círculo rojo.
  3. Cup: Vasos que se intercambian ocultando monedas.
  4. File: Operaciones de archivos en línea de comandos (Linux).
  5. Card: Pilas de cartas con operaciones de añadir/quemar.
  6. Chip: Vasos con fichas que se suman o restan.
Niveles de Razonamiento:
Las preguntas se estructuran en tres niveles progresivos de dificultad, cada uno con dos habilidades específicas:
1. Nivel 1 (Recuperación): Recordar observaciones visuales secuenciales (Orden y Conteo de operaciones).
2. Nivel 2 (Inferencia): Inferir información latente no observable directamente (Estado final o Comparación de estados).
3. Nivel 3 (Predicción): Razonamiento contrafactual. Predecir un estado futuro dado un nuevo conjunto de operaciones o determinar la secuencia de operaciones para alcanzar un estado objetivo.
Construcción de Datos:
- Se generaron 240 videos y 1,440 preguntas (6 tipos de video $\times$ 6 habilidades).
- Se utilizó un marco semi-automático con un "Motor de Video" (genera transiciones de estado y videos) y un "Motor de Preguntas" (genera preguntas y respuestas basadas en reglas lógicas).

3. Contribuciones Clave

Nuevo Benchmark: Introducción de VIDEOREASONBENCH, que exige una percepción visual fina y razonamiento paso a paso, superando las limitaciones de los benchmarks actuales.
Evaluación Exhaustiva: Se evaluaron 18 MLLMs de última generación (incluyendo modelos propietarios como GPT-4o, Gemini-2.5-Pro y modelos open-source como Qwen2.5-VL, InternVL3).
Análisis del "Test-Time Scaling": Investigación sobre cómo el presupuesto de tokens de pensamiento (thinking budget) afecta el rendimiento, revelando que es crucial para este tipo de tareas pero inútil en benchmarks existentes.
Línea Base Humana: Se estableció un rendimiento humano (73.8% de precisión) para contextualizar la dificultad de la tarea.

4. Resultados Principales

Rendimiento General: La mayoría de los MLLMs actuales fallan estrepitosamente en razonamiento complejo centrado en la visión.
- Modelos eficientes (<10B parámetros): <2% de precisión.
- Modelos "Flagship" (72B+) y GPT-4o: <10% de precisión.
- Modelos con pensamiento mejorado (o4-mini, Seed1.5-VL): ~10-11% de precisión.
- Gemini-2.5-Pro: El único modelo que destaca significativamente con un 56.0% de precisión, aunque aún está lejos del rendimiento humano (73.8%).
Importancia del Pensamiento (CoT):
- En benchmarks existentes, aumentar el presupuesto de "pensamiento" apenas mejora la precisión (<2.5%).
- En VIDEOREASONBENCH, el pensamiento extendido es esencial. Gemini-2.5-Flash mejora del 18.8% al 27.4% al activar el modo de pensamiento, y el rendimiento humano y de modelos avanzados depende críticamente de cadenas de razonamiento largas.
Dependencia Visual:
- Al eliminar la información visual (usando solo texto descriptivo del video, "vid2txt"), el rendimiento de los modelos en benchmarks existentes cae moderadamente (ej. 25-36%).
- En VIDEOREASONBENCH, la caída es catastrófica: 98.2% de pérdida de precisión al usar solo un fotograma o texto. Esto confirma que la tarea es intrínsecamente dependiente de la percepción visual fina y temporal.
Dificultad Escalable: El rendimiento disminuye linealmente a medida que aumentan el tamaño del estado (ej. tablero 3x3 a 4x4) y el número de operaciones (5-9 a 10-14).

5. Significado e Implicaciones

Diagnóstico de Limitaciones: El estudio revela dos cuellos de botella principales en los MLLMs actuales:
1. Percepción Temporal Fina: Incapacidad para rastrear secuencias densas de operaciones visuales.
2. Razonamiento Multi-paso: Falta de capacidad para realizar inferencias profundas y encadenadas sobre estados latentes.
Valor del Benchmark: VIDEOREASONBENCH sirve como un "paradigma" (testbed) riguroso para evaluar la verdadera capacidad de razonamiento de video, separando la mera recuperación de información del razonamiento lógico complejo.
Futuro: Sugiere que los futuros avances en MLLMs para video no solo requerirán más datos, sino arquitecturas capaces de mantener estados latentes coherentes a lo largo de secuencias largas y mecanismos de razonamiento explícito (CoT) que sean verdaderamente efectivos en el dominio visual.

En conclusión, el paper demuestra que, aunque los modelos de IA han avanzado en razonamiento lógico abstracto, su capacidad para aplicar este razonamiento a secuencias visuales complejas y dinámicas sigue siendo una barrera significativa, la cual VIDEOREASONBENCH está diseñada para medir y superar.