Resumen Técnico: VideoSEAL

Problema: Desalineación de Evidencia en la Comprensión de Videos Largos por Agentes

La comprensión de videos largos (LVU) presenta un desafío único: la evidencia visual relevante suele ser escasa y dispersa temporalmente dentro de contenido altamente redundante. Aunque los Modelos de Lenguaje Multimodal (MLLM) actuales sobresalen en el razonamiento con videos cortos, extenderlos a videos largos requiere una interacción iterativa y agéntica para navegar las líneas temporales y recuperar evidencia.

Los autores identifican un modo de fallo crítico en los sistemas agénticos de LVU existentes, denominado desalineación de evidencia. En este régimen, los agentes producen respuestas correctas que en realidad no están respaldadas por la evidencia recuperada o inspeccionada. El artículo formaliza esto como el estado "correcto pero sin fundamento", donde un agente logra la corrección del resultado ($C=1$) pero carece de fundamentación trazable ($G=0$). Este fenómeno está impulsado por dos presiones sistémicas:

1. Presión de Prompt (en tiempo de inferencia): A medida que los trazos de interacción se vuelven más largos y ruidosos, se incentiva al planificador a ser decisivo sin localizar la evidencia de manera fiable. Esto desplaza el comportamiento de la "búsqueda de evidencia" hacia la "adaptación de evidencia", donde el agente se basa en priores paramétricos o plantillas plausibles para resolver la incertidumbre, lo que conduce a alucinaciones semánticas.
2. Presión de Recompensa (en tiempo de entrenamiento): El aprendizaje por refuerzo (RL) estándar para LVU a menudo emplea recompensas basadas únicamente en el resultado (corrección de la respuesta final) debido a la escasez de etiquetas de fundamentación temporal granular. Esto incentiva a los agentes a maximizar las recompensas mediante completado especulativo o comportamientos de atajo en lugar de una verificación rigurosa de la evidencia, ampliando la brecha entre la precisión y la fundamentación.

Los autores argumentan que la causa raíz de estas presiones es el paradigma de agente acoplado, donde un único modelo monolítico es responsable tanto de la planificación a largo plazo (búsqueda) como de la generación de respuestas (autoridad) dentro del mismo contexto compartido.

Metodología: El Marco Desacoplado Planificador–Inspector

Para abordar la desalineación de evidencia, VideoSEAL propone un remedio estructural: desacoplar la planificación a largo plazo de la autoridad de respuesta. El marco introduce dos entidades distintas:

1. El Planificador: Una política de modelo de lenguaje responsable únicamente de la búsqueda de evidencia. Navega por la línea temporal del video, formula consultas y recupera intervalos temporales candidatos utilizando herramientas (indexación offline, recuperación e inspección visual). Crucialmente, el planificador no genera la respuesta final; mantiene una memoria de búsqueda estructurada y dispersa para evitar la saturación del contexto.
2. El Inspector: Un MLLM congelado que posee la autoridad de respuesta exclusiva. Recibe la evidencia de video candidata presentada por el planificador y realiza una verificación a nivel de píxel. El inspector emite un veredicto binario de suficiencia ($z_t \in \{0, 1\}$):
   • Si $z_t=1$, la evidencia se considera suficiente y el inspector genera la respuesta final.
   • Si $z_t=0$, el inspector devuelve una señal de "BUSCAR MÁS" con retroalimentación sobre la evidencia faltante, obligando al planificador a continuar buscando.

Componentes Técnicos Clave:

• Interfaces de Herramientas: El sistema utiliza VisualRetrieve (búsqueda semántica sobre subtítulos/incrustaciones precalculados) y VisualInspect (verificación a nivel de píxel de intervalos específicos).
• Entrenamiento: El planificador se optimiza mediante Optimización de Políticas Relativas de Grupo (GRPO) mientras el inspector permanece congelado. El diseño de recompensas incluye una recompensa terminal con puerta de evidencia que escala con la superposición temporal entre los intervalos accedidos y la evidencia de verdad fundamental, fomentando la alineación sin requerir el reentrenamiento completo del backbone visual.
• Modularidad: La arquitectura admite actualizaciones de "enchufar y usar". El inspector puede intercambiarse por un MLLM más potente en tiempo de inferencia para mejorar la fidelidad de la verificación sin reentrenar al planificador.

Contribuciones Clave

1. Diagnósticos de Desalineación de Evidencia: El artículo introduce dos diagnósticos complementarios para cuantificar la desalineación:
   • Fundamentación Temporal ($G_t$): Mide si el agente accede a regiones temporales relevantes (utilizando IoU temporal).
   • Fundamentación Semántica ($G_s$): Utiliza un juez LLM para verificar si la respuesta final está lógicamente respaldada por las salidas de las herramientas en el trazo.
     Estos diagnósticos revelan el régimen "correcto pero sin fundamento" y cuantifican la "tasa de alucinación temporal" ($H_t$) y la "tasa de alucinación semántica" ($H_s$).
2. Marco Desacoplado Planificador–Inspector: Una arquitectura novedosa que separa la búsqueda de evidencia de la generación de respuestas. Al condicionar la respuesta final en una verificación a nivel de píxel, el marco previene respuestas sin respaldo impulsadas por salidas de herramientas no verificadas.
3. Ganancias Empíricas y Escalabilidad: El marco demuestra mejoras consistentes en cuatro benchmarks de videos largos (MLVU, LongVideoBench, LVBench, VideoMME). Cabe destacar que escala de manera monótona con presupuestos de búsqueda más grandes y modelos inspectores más potentes, mientras que las líneas base acopladas a menudo se estancan o degradan debido a la saturación del contexto.

Resultados

Los autores evalúan VideoSEAL frente a modelos propietarios, MLLM de código abierto y marcos agénticos existentes (tanto acoplados como desacoplados).

• Precisión: VideoSEAL logra un 55.1% en LVBench y un 62.0% en LongVideoBench, superando a las líneas base acopladas por márgenes significativos (por ejemplo, +20.5% en LVBench sobre la versión acoplada del mismo backbone).
• Fundamentación: El marco reduce significativamente las alucinaciones. En LVBench, logra una fundamentación semántica ($G_s$) de 0.808 (en comparación con ~0.25–0.47 para las líneas base) y reduce la alucinación semántica ($H_s$) a 0.113.
• Propiedades de Escalabilidad:
  • Escalabilidad de Búsqueda: Aumentar el presupuesto de búsqueda ($K$) mejora el rendimiento de VideoSEAL, mientras que los agentes acoplados retroceden después de cierto punto debido a la saturación del contexto.
  • Escalabilidad Perceptiva: Actualizar el inspector de un modelo de 7B a uno de 72B produce ganancias sustanciales de precisión sin reentrenar al planificador, demostrando la modularidad del enfoque.
• Capacidad de Rechazo: El inspector distingue eficazmente entre evidencia suficiente e insuficiente, negándose a responder (emitiendo $z=0$) en clips no objetivo con mucha más frecuencia que en clips de verdad fundamental, reduciendo así las conjeturas.

Significado y Afirmaciones

El artículo afirma que el principal motor del rendimiento en la QA de videos largos por agentes no son simplemente modelos más grandes o mejores funciones de recompensa, sino la separación arquitectónica de la planificación y la autoridad de respuesta. Al desacoplar estos roles, VideoSEAL mitiga la "presión de prompt" y la "presión de recompensa" que conducen a la desalineación de evidencia.

Los autores posicionan este trabajo como un cambio de paradigma: alejarse del entrenamiento de un único agente acoplado para buscar y decidir, hacia un sistema verificable y modular donde la generación de respuestas está estrictamente condicionada por la evidencia visual. Este enfoque mejora la interpretabilidad (a través de trayectorias de búsqueda) y la verificabilidad, ofreciendo una solución estructural al problema "correcto pero sin fundamento" que aqueja a los agentes actuales de videos largos. El trabajo sugiere que las mejoras futuras en LVU podrían depender más de la fidelidad de la inspección a nivel de píxel (percepción) que de la sofisticación de la planificación lingüística (razonamiento), siempre que la lógica de planificación sea sólida.