A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding

1. El Problema: Limitaciones en la Comprensión de Múltiples Videos

Aunque los Modelos de Lenguaje Multimodal (MLLM) han logrado avances significativos en la comprensión de videos individuales, su capacidad para razonar a través de múltiples videos simultáneamente sigue siendo limitada. El estado actual enfrenta tres desafíos principales:

• Ineficacia de la Concatenación Directa: Los enfoques existentes suelen concatenar múltiples videos en una sola secuencia de entrada para realizar inferencia directa. Esto genera una desincronización entre el entrenamiento y la inferencia (los modelos se entrenan principalmente con un solo video), provoca pérdida de información debido a la compresión agresiva de cuadros para ajustar el presupuesto de contexto, y carece de mecanismos explícitos para coordinar el razonamiento entre diferentes flujos de video.
• Brechas en los Benchmarks: Los benchmarks actuales (como CrossVid o MVU-Eval) se centran principalmente en la comparación a nivel de eventos. Sin embargo, dejan sin explorar tareas críticas como el emparejamiento a nivel de identidad, la discriminación forense (detección de manipulaciones), la abstracción de estilo y el razonamiento estructurado de múltiples pasos (como inferencias contrafácticas o entimemas refutables).
• Falta de Coordinación Explícita: Los agentes de video actuales no están diseñados para orquestar herramientas visuales diversas ni para resolver inconsistencias que surgen al analizar múltiples fuentes de información.

2. Metodología

Los autores proponen una solución dual compuesta por un nuevo benchmark y un nuevo marco de trabajo de agentes.

A. MVX-Bench: Un Benchmark Multidimensional

Se introduce MVX-Bench (Multi-Video Cross-Dimension Benchmark), diseñado para evaluar sistemáticamente las capacidades de los MLLM en escenarios de múltiples videos.

• Estructura: Reformula 11 tareas clásicas de visión por computadora en un formato unificado de preguntas y respuestas múltiples (QA).
• Datos: Contiene 1,442 preguntas sobre 4,255 videos extraídos de conjuntos de datos reales y diversos (escenarios domésticos, urbanos y naturales).
• Categorías de Tareas:
  1. Percepción de Bajo Nivel: Conteo, detección forense, similitud de video.
  2. Emparejamiento de Nivel Medio: Re-identificación, coincidencia de acciones, relación espacial.
  3. Razonamiento de Alto Nivel: Razonamiento contrafáctico, entimema refutable, secuenciación, razonamiento multivista y estilo artístico.
• Innovación: A diferencia de benchmarks anteriores, MVX-Bench exige que el modelo disuelva propiedades invariantes (identidad, estilo) frente a cambios superficiales y realice inferencias lógicas complejas que requieren revisión de creencias.

B. SAMA: Marco Agente Aumentado por Habilidades

Para abordar las limitaciones de los modelos directos, se propone SAMA (Skill-Augmented Agentic Framework), el primer marco de agente explícitamente diseñado para escenarios de múltiples videos.

• Arquitectura:
  • Núcleo del Agente (Agent Core):
    • Planificador (Planner): Un LLM de solo texto (GPT-5.2 en los experimentos) que analiza la tarea, decide qué herramientas usar y cuándo detenerse.
    • Herramientas Visuales (Tools): Un conjunto de 8 herramientas divididas en tres grupos:
      • Percepción: Video Reader (LVLM), Anclaje Temporal.
      • Detección: Grafo de Escena (Scene Graph), Rastreador de Objetos.
      • Otras: Similitud Visual (CLIP), Extracción de Subtítulos.
    • Habilidades (Skills): Guías conductuales estructuradas que envuelven las herramientas. No solo describen la función, sino que definen condiciones de activación, secuencias de invocación y criterios de parada. Ejemplos: "Multi-video Comparison" (prioriza similitud visual para preguntas de estilo) o "Temporal Grounding" (verifica marcas de tiempo con un lector de video).
  • Capa de Verificación Externa:
    • Detección de Conflictos: Compara las salidas estructuradas de diferentes herramientas. Si hay inconsistencias (ej. el lector de video dice "2 bolsas" y el grafo de escena dice "1"), se activa un mecanismo de alerta.
    • Lectura Adaptativa (Adaptive Reading): Ante un conflicto, el planificador re-evalúa el video con una ventana temporal más estrecha o invoca herramientas adicionales para resolver la discrepancia antes de tomar una decisión final.
    • Agregación de Evidencia: Mantiene un diccionario de memoria estructurado por identificador de video para evitar la pérdida de información en contextos largos.

3. Contribuciones Clave

1. Construcción de MVX-Bench: Un benchmark exhaustivo que extiende la evaluación de comprensión de video más allá de la coincidencia de eventos, abarcando identidad, estilo, forense y razonamiento lógico complejo.
2. Desarrollo de SAMA: El primer marco de agente que integra herramientas visuales diversas, habilidades específicas para tareas y un mecanismo de resolución de conflictos para el razonamiento estructurado entre múltiples videos.
3. Validación Empírica: Demostración de que la orquestación estructurada de herramientas supera significativamente a los enfoques de inferencia directa, incluso utilizando modelos base más pequeños.

4. Resultados Experimentales

Los experimentos se realizaron en MVX-Bench comparando SAMA con 20 modelos de código abierto (desde 4B hasta 38B parámetros) y modelos propietarios (GPT-4o, GPT-5.2).

• Rendimiento General: SAMA logró la mayor precisión general (52.7%), superando a GPT-5.2 (50.9%) y a GPT-4o (47.7%).
• Eficiencia del Modelo Base: SAMA utiliza Qwen2.5-VL-7B como su motor de percepción visual. Aunque este modelo por sí solo alcanza solo un 32.6% de precisión en tareas de extremo a extremo, con el marco SAMA mejora hasta un 52.7% (un aumento de 20.1 puntos porcentuales). Esto demuestra que la orquestación de herramientas desbloquea capacidades latentes.
• Análisis por Tarea:
  • SAMA sobresale en tareas que requieren percepción fina y razonamiento complejo, como Conteo (41.2% vs 32.0% de GPT-5.2), Razonamiento Contrafáctico (32.0% vs 24.0%) y Entimema Refutable (56.7% vs 52.7%).
  • Se observó que el escalado de modelos (modelos más grandes) ayuda en tareas de asociación (como coincidencia de acciones), pero no mejora significativamente el razonamiento complejo (contrafáctico), sugiriendo que estas habilidades no son emergentes solo por el tamaño.
• Estudios de Ablación:
  • Sin Habilidades: Eliminar las guías de habilidades reduce la precisión de 60.0% a 51.7%, demostrando que la planificación estructurada es crucial.
  • Sin Detección de Conflictos: Eliminar la capa de verificación reduce la precisión a 55.9%, confirmando que resolver inconsistencias entre herramientas es vital para la fiabilidad.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la comprensión de video multimodal al:

1. Cuestionar la Inferencia Directa: Demuestra que concatenar videos y procesarlos en un solo paso es insuficiente para tareas complejas, abogando por enfoques iterativos y basados en agentes.
2. Elevar el Estándar de Evaluación: MVX-Bench establece un nuevo paradigma de evaluación que obliga a los modelos a demostrar razonamiento lógico, discriminación forense y consistencia de identidad, áreas previamente ignoradas.
3. Validar la Arquitectura de Agentes: SAMA prueba que integrar herramientas especializadas con mecanismos de verificación de conflictos permite a modelos de tamaño moderado (7B) igualar o superar a modelos propietarios masivos en tareas de razonamiento complejo, ofreciendo una ruta más eficiente y escalable para el desarrollo de IA multimodal.

En conclusión, el artículo propone que el futuro de la comprensión de múltiples videos no reside en modelos más grandes, sino en arquitecturas de agentes más inteligentes capaces de coordinar herramientas, verificar evidencias y razonar de forma estructurada.