Perception Test 2025: Challenge Summary and a Unified VQA Extension

A continuación se presenta un resumen técnico detallado del artículo "Perception Test 2025: Challenge Summary and a Unified VQA Extension".

1. Planteamiento del Problema

El artículo aborda la rápida evolución de los Modelos Multimodales Grandes (LMM) y la necesidad de evaluar sus capacidades más allá de los modelos especializados de una sola tarea. Mientras que las iteraciones anteriores del Perception Test evaluaban modelos en tareas distintas (por ejemplo, pistas separadas para seguimiento de objetos, seguimiento de puntos y localización de acciones), el campo ha evolucionado hacia la Percepción Unificada.

El problema central consiste en determinar si los modelos actuales del Estado del Arte (SOTA) pueden manejar diversas tareas complejas de percepción espacio-temporal a través de una interfaz única y unificada (específicamente, una interfaz basada en lenguaje) en lugar de depender de pipelines diseñados con modelos específicos para cada tarea. El desafío de 2025 tuvo como objetivo probar si los modelos podían generalizar entre tareas como seguimiento, localización y razonamiento sin ajustes finos específicos para la tarea ni cambios arquitectónicos.

2. Metodología y Configuración del Desafío

El desafío se organizó como un taller junto con ICCV 2025, utilizando la plataforma eval.ai. Presentó cinco pistas consolidadas, alejándose de tareas desarticuladas para adoptar enfoques unificados:

A. Pistas de Tareas Unificadas (Sin Interfaz de Lenguaje)

Estas pistas requirieron que un solo modelo resolviera dos tareas distintas simultáneamente:

1. Segimiento Unificado de Objetos y Puntos: Los modelos debían rastrear tanto cajas delimitadoras (objetos) como puntos 2D específicos (puntos) a través de los cuadros del video, manejando oclusiones.
   • Métrica: Jaccard Promedio (AJ), promediando el AJ de Puntos (TAP-Vid) y el AJ de Objetos (IoU).
2. Localización Temporal Unificada de Acciones y Sonido: Los modelos debían identificar y localizar tanto acciones visuales como eventos auditivos dentro de un video.
   • Métrica: Precisión Media Promedio (mAP) a través de las clases de acción y sonido.

B. Pistas Unificadas de VQA (Interfaz de Lenguaje)

Estas pistas utilizaron consultas en lenguaje natural para probar la percepción, incluyendo una extensión novedosa:
3. VQA de Video de Opción Múltiple Unificada (mc-VQA): La innovación central de este año.
* Novedad: Las tareas tradicionales sin lenguaje (seguimiento de puntos, localización temporal de acciones) se reformularon como preguntas de opción múltiple.
* Técnica: Los autores utilizaron inpainting visual (por ejemplo, barras de colores, indicadores intermitentes) y marcadores temporales para fundamentar consultas espaciales/temporales directamente en el flujo de video. Esto permite que los VLM "vean" los requisitos de la tarea sin decodificadores complejos.
* Nuevos Tipos de Preguntas:
* Seguimiento de Puntos: Identificar un punto de superficie específico entre distractores después de un "Flash Verde".
* Ordenamiento de Acciones: Identificar la secuencia correcta de acciones.
* Interacción Objeto-Acción: Identificar objetos involucrados en un segmento temporal específico.
* Acción Fingida: Identificar segmentos donde una acción es "falsa" o incorrecta.
* Conjunto de Datos: Expandido desde 11,528 preguntas originales de 3 opciones para incluir 1,842 nuevas preguntas de 5 opciones para mitigar el aprendizaje de atajos.
4. VQA de Video Fundamentada: Los modelos responden a una pregunta rastreando el objeto(s) específico(s) que representa(n) la respuesta a lo largo del video.
* Métrica: HOTA (Precisión de Seguimiento de Orden Superior).
5. VQA de Video de Una Hora: Los modelos responden preguntas sobre videos muy largos (1+ horas) para probar la memoria a largo plazo y el razonamiento.
* Métrica: Precisión Top-1.

Protocolo de Evaluación:

• Fases: Validación (envíos ilimitados) y Prueba (limitado a 30 envíos).
• Restricciones: Para las pistas conjuntas, los modelos debían resolver ambas tareas simultáneamente. El ajuste fino secuencial (por ejemplo, entrenar en seguimiento de objetos y luego en seguimiento de puntos) estaba prohibido.
• Modos: Los participantes especificaron si utilizaban ajuste fino, pocos ejemplos (few-shot) o evaluación cero-shot.

3. Contribuciones Clave

• Evaluación Unificada: Fusionó exitosamente tareas previamente separadas (seguimiento, localización) en pistas unificadas, obligando a la comunidad a desarrollar modelos generalistas en lugar de pipelines de conjuntos.
• Extensión Unificada de mc-VQA: Introdujo un marco novedoso que reinterpreta tareas espacio-temporales complejas (seguimiento, localización) como preguntas de VQA de opción múltiple utilizando inpainting visual. Esto cierra la brecha entre la percepción visual y el razonamiento lingüístico.
• Evaluación Exhaustiva: Evaluó 450 envíos de más de 100 equipos, proporcionando una comparación robusta de modelos SOTA (incluyendo Gemini, GPT-4V, Qwen, Llama 3-V) frente a líneas base humanas.
• Análisis de Contexto Largo: Incluyó una pista dedicada para videos de una hora, empujando los límites de las ventanas de contexto actuales y el razonamiento temporal.

4. Resultados

Los resultados destacan una divergencia en el rendimiento basada en la presencia de una interfaz de lenguaje:

• Pistas con Interfaz de Lenguaje (Progreso Significativo):

  • VQA de Video Fundamentada: El rendimiento se duplicó casi en comparación con 2024. El modelo superior (SGVR@KAIST) logró 0.499 HOTA, frente a una línea base de 0.057. Esto indica que los modelos ahora están fundamentando efectivamente el lenguaje en flujos visuales.
  • VQA de Video de Una Hora: Los modelos superiores lograron una precisión de 0.780 (frente a una línea base aleatoria de 0.203), mostrando capacidades sólidas en el procesamiento de contenido de formato largo.
  • mc-VQA Unificada: El modelo cero-shot superior logró una precisión del 81.2% en el conjunto original y 65.4% en el nuevo conjunto más difícil de 5 opciones.
  • Observación: Los modelos se están acercando rápidamente a las líneas base humanas en tareas fundamentadas en lenguaje.

• Pistas sin Interfaz de Lenguaje (Estancamiento/Ganancias Modestas):

  • Seguimiento Unificado de Objetos y Puntos: El modelo unificado superior logró 0.62 AJ, lo cual no superó el promedio de los mejores modelos especializados de 2024 (0.47 para puntos, 0.81 para objetos).
  • Localización Unificada de Acciones y Sonido: El modelo superior logró 0.52 mAP, similar a los ganadores especializados anteriores.
  • Observación: Aunque los modelos multitarea son capaces, luchan para superar las pipelines especializadas de una sola tarea cuando falta una interfaz de lenguaje.

• Rendimiento del Modelo:

  • Cero-Shot vs. Ajuste Fino: Los mejores resultados fueron logrados tanto por conjuntos ajustados finamente (por ejemplo, Qwen-2.5VL + GLM-4.5V) como por enfoques cero-shot sofisticados (por ejemplo, Seed 1.6 Vision + Qwen-VL-Max).
  • Línea Base Humana: Los humanos obtuvieron 91.4% en la tarea mc-VQA, mientras que los mejores modelos alcanzaron ~82%, indicando una brecha restante en el razonamiento.

5. Significado

El Perception Test 2025 sirve como un hito crítico en el desarrollo de modelos de percepción general:

1. Validación de Interfaces Unificadas: El desafío demuestra que las interfaces de lenguaje impulsan significativamente el rendimiento en tareas complejas de percepción, sugiriendo que los VLM se están convirtiendo en la arquitectura preferida para la percepción general.
2. Identificación de Cuellos de Botella: El estancamiento en las pistas unificadas sin lenguaje (seguimiento/localización) revela que los modelos actuales aún luchan por integrar diversas tareas visuales sin el andamiaje del lenguaje natural.
3. Dirección Futura: Los resultados sugieren que la próxima frontera para los modelos multimodales no es solo escalar, sino mejorar el razonamiento espacio-temporal y la comprensión de contexto largo para igualar el rendimiento humano en tareas que no dependen de indicaciones lingüísticas explícitas.
4. Evolución del Benchmark: Al introducir el subconjunto "mc-VQA Unificada", los autores proporcionan un método escalable para evaluar capacidades de seguimiento y localización utilizando métricas estándar de VQA, simplificando el pipeline de evaluación para futuras investigaciones.

En conclusión, aunque los LMM han dado pasos impresionantes en la percepción fundamentada en lenguaje (duplicando el rendimiento en QA fundamentada), el desafío destaca que la verdadera "percepción general" capaz de manejar diversas tareas visuales de manera unificada y no lingüística sigue siendo un problema abierto y difícil.