PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

El artículo presenta PerceptionComp, un nuevo benchmark de 1.114 preguntas manualmente anotadas sobre 279 videos que evalúa la capacidad de razonamiento perceptivo complejo y de largo alcance en modelos de lenguaje multimodal, revelando que tanto los humanos como los modelos de última generación enfrentan dificultades significativas en esta tarea.

Lo esencial

Imagina que ves una película de acción muy larga y caótica. Hay cientos de personajes, coches que chocan, gente corriendo y cambios de escena constantes. Ahora, alguien te hace una pregunta muy específica: "¿De qué color era el chaleco del ciclista que pasó justo al lado del coche amarillo, en el momento exacto en que el hombre de la tienda de manzanas de cristal estaba hablando con su amigo?"

Para responder esto, no basta con ver la película una vez y recordar lo que pasó. Necesitas volver a ver esa escena, luego buscar la tienda, luego encontrar al hombre, luego rastrear el coche y finalmente fijarte en el ciclista. Si te pierdes en un solo paso, toda la respuesta se derrumba.

PerceptionComp es un nuevo "examen" creado por investigadores para poner a prueba a las inteligencias artificiales (IA) en esta habilidad exacta: entender videos complejos haciendo un trabajo de detective.

Aquí te explico los puntos clave de este papel usando analogías sencillas:

1. El Problema: Los exámenes anteriores eran "demasiado fáciles"

Antes, los exámenes para IAs de video eran como preguntas de un libro de texto escolar: "¿Qué color tenía el coche?" o "¿Quién ganó el partido?".

• La analogía: Era como si te mostraran una foto de una manzana y te preguntaran: "¿Es roja?". Cualquiera (incluso una IA) podía responder mirando la foto una sola vez.
• El problema: Las IAs actuales son muy buenas en eso, pero no saben "pensar" mientras ven un video largo. No saben volver atrás, buscar pistas en diferentes momentos y unir los puntos.

2. La Solución: El examen "PerceptionComp"

Los creadores diseñaron un examen donde ninguna sola escena tiene la respuesta completa.

• La analogía: Imagina que tienes que armar un rompecabezas de 1000 piezas, pero las piezas están escondidas en diferentes habitaciones de una casa gigante y en diferentes momentos del día. Para ganar, tienes que:
  1. Ir a la cocina (minuto 2) y buscar una llave.
  2. Ir al jardín (minuto 5) y ver quién tenía esa llave.
  3. Ir al sótano (minuto 8) y ver qué hizo esa persona con la llave.
  4. Unir todo para saber la respuesta final.
• La dificultad: Si la IA olvida la llave del minuto 2, no puede resolver el acertijo del minuto 8. Requiere "memoria de trabajo" y la capacidad de volver a mirar el video una y otra vez.

3. ¿Qué pasó con las IAs? (El resultado)

Los investigadores probaron a las IAs más inteligentes del mundo (como las versiones más nuevas de Google Gemini y OpenAI) en este examen.

• El resultado: ¡Fue un desastre!
  • Humanos: Si a una persona le das tiempo ilimitado y le permites volver a ver el video tantas veces como quiera, acierta el 100% de las veces.
  • IAs: La mejor IA solo acertó el 46%. La mayoría de las IAs de código abierto (gratuitas) acertaron menos del 40%.
• La lección: Las IAs son como estudiantes que memorizan la respuesta de memoria pero no entienden la lógica. Si les preguntas algo que requiere "pensar" y "volver a mirar", se confunden.

4. ¿Por qué fallan? (Los errores)

El estudio descubrió que las IAs fallan por dos razones principales:

1. Se pierden en el camino: Empiezan a razonar, pero en el segundo o tercer paso se equivocan en un detalle pequeño (como el color de una camisa) y luego todo lo que dicen después es incorrecto, aunque suene lógico.
2. Alucinaciones: A veces, la IA inventa cosas que no pasaron porque "suena bien" o porque recuerda algo similar de otra película, en lugar de mirar el video real.

5. ¿Por qué es importante esto?

Este examen es como un gimnasio para el cerebro de la IA.

• Si queremos que las IAs ayuden a los bomberos a entender videos de incendios, a los médicos a analizar cirugías o a los robots a navegar por una ciudad, necesitan ser capaces de hacer este tipo de "trabajo de detective".
• PerceptionComp nos dice: "Oye, las IAs son muy inteligentes, pero todavía no saben mirar bien los videos largos y complejos. Necesitamos entrenarlas para que no solo 'vean', sino que 'piensen' mientras miran".

En resumen:
PerceptionComp es un nuevo reto que demuestra que, aunque las IAs pueden escribir poemas y resolver matemáticas, todavía tienen dificultades para ser buenos detectives visuales en películas largas. Necesitan aprender a "volver a mirar" y conectar los puntos, algo que para los humanos es natural, pero para las máquinas sigue siendo un gran obstáculo.

Resumen técnico

Resumen Técnico: PerceptionComp

1. El Problema

La comprensión profunda de videos requiere un razonamiento centrado en la percepción a largo plazo (long-horizon), que implica revisar repetidamente el contenido visual para reunir evidencia distribuida temporalmente. Sin embargo, los benchmarks existentes presentan dos limitaciones principales:

• Demasiado fáciles: Muchos benchmarks centrados en la percepción (como VideoMME o Perception Test) permiten resolver las preguntas tras una sola visualización, sin requerir un pensamiento iterativo o una integración compleja de evidencia.
• Demasiado lógicos/simplificados: Otros benchmarks que exigen razonamiento complejo (como los de geometría o laberintos) suelen utilizar entradas visuales sintéticas o simplificadas, donde la dificultad proviene de la estructura lógica y no de la percepción del mundo real.

Existe una brecha crítica: no hay ningún benchmark que sea simultáneamente de largo alcance, centrado en la percepción y que obligue a la recolección repetida de información visual para resolver preguntas composicionales.

2. Metodología

Los autores presentan PerceptionComp, un benchmark completamente anotado a mano diseñado para llenar esta brecha.

• Selección de Videos: Se seleccionaron 279 videos de alta complejidad escénica de dominios diversos (paseos urbanos, tours de villas, videojuegos, deportes extremos, etc.). La selección se basó en métricas automáticas de complejidad:

  • Conteo de instancias detectadas por SAM2 (densidad de objetos).
  • Magnitud del flujo óptico (intensidad del movimiento y cambios de escena).
  • Los videos duran entre 2 y 10 minutos y presentan transiciones frecuentes y mucha desorden visual.

• Diseño de Preguntas: Se generaron 1,114 preguntas de opción múltiple (5 opciones). El diseño clave es la composición de subcondiciones:

  • Ningún momento único es suficiente para responder.
  • Las preguntas combinan múltiples subcondiciones perceptuales bajo dos lógicas: conjuntiva (todas las condiciones deben cumplirse para un mismo objetivo) y secuencial (las condiciones posteriores dependen de entidades o estados establecidos en pasos anteriores).
  • Las habilidades perceptuales requeridas incluyen: reconocimiento semántico, correspondencia (seguimiento de objetos), razonamiento temporal, razonamiento espacial y conocimiento del mundo.

• Proceso de Anotación:

  • Totalmente manual para garantizar la corrección.
  • Cada pregunta requiere de 10 a 20 minutos de trabajo (selección, diseño, verificación).
  • Protocolo de doble ciego: un anotador crea la pregunta y otro la verifica para asegurar que la respuesta sea única y que todas las subcondiciones sean necesarias.

3. Contribuciones Clave

1. Nuevo Benchmark de Referencia: PerceptionComp es el primer benchmark que fuerza explícitamente la revisión repetida del video y la integración de evidencia distribuida en el tiempo, midiendo la capacidad de "pensamiento en tiempo de prueba" (test-time thinking) multimodal.
2. Evaluación de la Dificultad Humana:
   • Los humanos tardan significativamente más en responder (más de 10x en comparación con VideoMME).
   • En un escenario de una sola vista (sin rewatch), la precisión humana cae al 18.97% (cerca del azar), demostrando que la memoria a corto plazo o los priores lingüísticos no son suficientes.
   • Con rewatching ilimitado y tiempo suficiente, los expertos alcanzan el 100% de precisión.
3. Diagnóstico de Modelos MLLM: Proporciona un testbed para identificar cuellos de botella específicos en el razonamiento visual a largo plazo, más allá de la simple capacidad de reconocimiento.

4. Resultados

Se evaluaron modelos de última generación (MLLMs), incluyendo modelos propietarios (Gemini 3, GPT-o3, GPT-5) y de código abierto (Qwen, InternVL, Video-R1).

• Rendimiento General: Los modelos actuales tienen un rendimiento notablemente bajo.
  • El mejor modelo evaluado, Gemini-3-Flash, alcanza solo un 45.96% de precisión.
  • Los modelos de código abierto permanecen por debajo del 40%.
  • Existe una brecha masiva entre el rendimiento humano (100% con rewatch) y el de la IA.
• Efecto del Razonamiento (Thinking):
  • Los modelos con capacidades de razonamiento ("thinking models") superan a sus contrapartes estándar (ej. GPT-o3 supera a GPT-4o en 11.04 puntos).
  • Sin embargo, incluso con razonamiento, la precisión se estanca en el rango medio del 40%, sugiriendo un cuello de botella en la percepción misma.
• Análisis de Recursos:
  • Presupuesto de Percepción (Frames): Aumentar el número de frames de entrada mejora el rendimiento (ej. Qwen3-VL mejora 7.8 puntos al pasar de 16 a 64 frames), confirmando que se necesita evidencia visual densa.
  • Presupuesto de Razonamiento (Tokens): Aumentar los tokens de pensamiento también mejora la precisión, indicando que el proceso de deliberación ayuda a mantener hipótesis intermedias.
• Patrones de Error:
  • Los errores suelen ocurrir en pasos intermedios de la cadena de razonamiento (pico en el paso 3).
  • La causa principal de fallo es la mala comprensión espacial (60% de los fallos en modelos avanzados), lo que lleva a que la cadena de razonamiento se desvíe irreversiblemente.
  • Los modelos tienden a alucinar conexiones lógicas o ignorar condiciones espaciales críticas.

5. Significado e Impacto

PerceptionComp revela que el progreso actual en MLLMs para video está estancado en tareas que requieren raciocinio perceptivo a largo plazo.

• Diagnóstico: Demuestra que simplemente escalar el tamaño del modelo o aumentar el tiempo de razonamiento no resuelve automáticamente la incapacidad de integrar evidencia visual distribuida en el tiempo bajo condiciones de complejidad escénica.
• Dirección Futura: El benchmark sirve como una herramienta de diagnóstico crítica para guiar el desarrollo de modelos que puedan realizar un "pensamiento visual" robusto, manteniendo la coherencia espacial y temporal a través de múltiples saltos de inferencia.
• Relevancia: Es fundamental para aplicaciones del mundo real como robots autónomos, gafas de IA y sistemas de vigilancia, donde la comprensión profunda y no superficial del video es indispensable.

En conclusión, PerceptionComp establece un nuevo estándar de dificultad que expone las limitaciones actuales de la IA multimodal en la integración de percepción y razonamiento a largo plazo, invitando a la comunidad a desarrollar modelos que no solo "vean" frames, sino que "piensen" a través de la evidencia visual distribuida.