Incentivizing Vision Language Models to Search for Long Video Question Answering

... etiquetas.
2. Búsquedas: Ejecuta consultas de búsqueda en lenguaje natural a través de herramientas <search> o <search subtitle> para recuperar clips candidatos.
3. Observa: Recibe un presupuesto limitado de fotogramas (16 fotogramas por turno) de los clips recuperados.
4. Refina: Actualiza su contexto basándose en la evidencia recuperada antes de formular la respuesta final.

El sistema utiliza una infraestructura de indexación dual:

• Índice Visual Semántico: Los videos se segmentan en clips de 8 segundos y se codifican mediante el codificador ViCLIP.
• Índice de Subtítulos: Las transcripciones de texto se mapean a ventanas de fotogramas exactas, lo que permite al agente buscar diálogos específicos o entidades con nombre que las incrustaciones visuales podrían omitir.

2.2 VETL: Evidencia Visual mediante Lógica Temporal

Para resolver el problema de la escasez de recompensas, los autores proponen VETL, un pipeline neuro-simbólico que une el lenguaje natural abierto con la verificación visual discreta.

• Generación de Especificaciones: Las consultas complejas del usuario se compilan en especificaciones formales de Lógica Temporal (TL). Un generador de LLM propone una fórmula TL $\phi$ sobre un conjunto de primitivas visuales atómicas (por ejemplo, "mujer", "vierte agua", "añade fresa"). Un modelo juez verifica esta especificación para asegurar la cobertura de entidades y la fidelidad temporal.
• Desacoplamiento de Semántica y Tiempo: La especificación TL desacopla los eventos de fundamentación visual (primitivas) de sus dependencias temporales. Esto transforma la pregunta de largo alcance en una lista de verificación exacta de los elementos visuales requeridos.
• Señal de Recompensa Densa: Durante el post-entrenamiento por RL, el contexto de video recuperado por el agente se evalúa frente a la especificación TL. Un verificador visual determinista (usando ViCLIP) detecta si las primitivas específicas están presentes en los fotogramas recuperados. La recompensa $R_{VETL}$ se calcula como la fracción de primitivas requeridas observadas exitosamente a lo largo de toda la trayectoria. Esto proporciona una retroalimentación densa y paso a paso, incentivando al agente a recolectar evidencia específica en lugar de simplemente adivinar la respuesta final.

2.3 Aprendizaje por Refuerzo

El marco emplea Optimización de Política Relativa de Grupo (GRPO) para el post-entrenamiento. La recompensa total es una combinación ponderada de la precisión de la respuesta final (Coincidencia Exacta, $R_{EM}$) y la recompensa de evidencia de VETL ($R_{VETL}$):
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
donde $\lambda_1=0.7$ y $\lambda_2=0.3$. Este objetivo motiva al modelo a aprender una política de búsqueda que verifique rigurosamente el contexto antes de responder.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

1. Marco VSeek: Un sistema agéntico que convierte la LVQA en un proceso de descubrimiento activo y de múltiples turnos utilizando el lenguaje natural como la interfaz de búsqueda principal, evitando la necesidad de predicciones rígidas de marcas de tiempo.
2. Pipeline VETL: Un método neuro-simbólico que convierte preguntas abiertas en especificaciones de lógica temporal verificables, creando efectivamente "pruebas unitarias visuales" para la construcción del contexto.
3. Recompensas de RL Verificadas: Un novedoso mecanismo de modelado de recompensa que califica la trayectoria de recolección de evidencia de un agente frente a las primitivas visuales extraídas, permitiendo una retroalimentación comprobable y paso a paso más allá de la supervisión basada solo en el resultado.
4. Validación Empírica: Demostración de que la optimización para la construcción de contexto verificado mejora significamente el rendimiento del razonamiento agéntico de largo alcance.

4. Resultados Experimentales

Los autores evaluaron VSeek en múltiples benchmarks in-domain (LongVideoBench, MLVU, Video-MME) y out-of-domain (LVBench, CGBench-mini).

• Ganancias de Rendimiento: Comparado con los modelos base (Qwen3-VL-4B-Thinking), las variantes de VSeek mostraron mejoras significativas. Específicamente, VSeek-VETL mejoró las puntuaciones Pass@1 hasta en un 8% y las puntuaciones Pass@4 en un 15% en benchmarks de comprensión de video largo.
• Efectividad de la Recompensa: La introducción de las recompensas VETL proporcionó una ventaja distintiva sobre los modelos entrenados solo con recompensas de Coincidencia Exacta (VSeek-EM), particularmente en conjuntos de datos in-domain donde la cobertura de evidencia es crítica.
• Robustez en Video Largo: A medida que la duración del video aumentaba (por ejemplo, >10 minutos), las variantes de VSeek mantuvieron una mayor estabilidad de razonamiento en comparación con baselines como VideoTree y Naive RAG. VSeek-VETL aprendió específicamente a producir palabras clave de búsqueda altamente específicas, evitando las consultas genéricas que a menudo conducen a clips irrelevantes.
• Eficiencia: Las variantes de VSeek lograron un rendimiento de vanguardia procesando significativamente menos fotogramas en promedio (aproximadamente 30–32 fotogramas) en comparación con el presupuesto fijo de 64 fotogramas de los VLMs estándar y los baselines de RAG.
• Robustez Algorítmica: Los beneficios de las recompensas verificadas fueron consistentes a través de los algoritmos GRPO y RLOO, aunque se observó degradación con GSPO.

5. Significado y Reivindicaciones

El artículo sostiene que el camino a seguir para la QA agéntica de video largo debe reflejar los avances en el razonamiento de LLM para matemáticas y programación, donde el progreso es catalizado por recompensas verificables.

• Cambio de Pasivo a Activo: VSeek aleja al campo del muestreo pasivo y uniforme hacia la búsqueda de evidencia activa e iterativa, reconociendo que los humanos no dependen del muestreo aleatorio de fotogramas para documentos largos.
• Cerrando la Brecha de Verificación: Al introducir VETL, los autores afirman haber resuelto el cuello de botella crítico de aplicar RL al video: la falta de una señal para verificar la construcción del contexto. Esto permite entrenar agentes que sean incentivados a encontrar la evidencia visual "correcta", no solo la respuesta final "correcta".
• Base para Futuros Agentes: Los autores posicionan a VSeek y VETL como un paso fundacional para agentes de video más fuertes, sugiriando que la optimización explícita para el comportamiento de búsqueda de evidencia verificable es esencial para escalar la comprensión de video de largo alcance.

El artículo concluye que, si bien persisten desafíos (como las limitaciones de búsqueda secuencial y los cuellos de botella del recuperador), la combinación de búsqueda agéntica y verificación neuro-simbólica ofrece un camino robusto hacia la resolución de tareas complejas de razonamiento de video de largo alcance.