Resumen Técnico: VideoSearcher

Definición del Problema

La comprensión de video ha operado tradicionalmente bajo un paradigma de evidencia cerrada, donde los modelos asumen que toda la información necesaria reside dentro de los fotogramas del video de entrada. Si bien esto es efectivo para la percepción espacio-temporal, este enfoque es insuficiente para escenarios del mundo real donde los videos suelen proporcionar solo anclajes visuales (por ejemplo, un logotipo, una persona o un punto de referencia) mientras que la respuesta final requiere la recuperación de conocimiento externo de fuentes de la web abierta.

Esta brecha define la tarea emergente de Investigación Profunda de Video (VDR, por sus siglas en inglés). La VDR requiere que los agentes:

1. Localicen momentos relevantes y detalles visuales finos a través de dinámicas temporales evolutivas.
2. Fundamenten estas pistas visuales para construir consultas multimodales.
3. Recuperen evidencia de fuentes de la web abierta (texto, imágenes, noticias).
4. Sinteticen respuestas integrando la evidencia fundamentada en el video con el conocimiento externo.

Los agentes de búsqueda multimodal existentes están diseñados principalmente para imágenes estáticas o dependen de una recuperación centrada en el texto que descarta información visual crucial durante el proceso de búsqueda. Además, los benchmarks actuales de VDR carecen de una evaluación rigurosa de la fundamentación de información de video en el mundo abierto y del razonamiento basado en la búsqueda multimodal.

Metodología: VideoSearcher

Para abordar estas limitaciones, los autores proponen VideoSearcher, un marco de agente de bucle cerrado que dota a los Modelos de Lenguaje de Visión (VLMs) de un razonamiento con múltiples herramientas para VDR.

1. Marco de Agente y Conjunto de Herramientas

VideoSearcher unifica la localización temporal, el enfoque espacial y la búsqueda multimodal dentro de una única trayectoria de razonamiento. El agente opera con cinco herramientas específicas:

• choose_frames: Selecciona un intervalo temporal grueso.
• find_frame: Localiza un fotograma clave específico.
• zoom_in: Inspecciona una región específica (cuadro delimitador) dentro de un fotograma.
• web_search: Recupera evidencia textual de la web.
• image_search: Realiza una recuperación visual utilizando un fotograma o una región recortada.

El agente estrecha iterativamente la línea de tiempo del video, se enfoca en regiones informativas, recupera evidencia multimodal y sintetiza la respuesta final.

2. Pipeline de Construcción de Datos

Los autores construyeron un pipeline de síntesis de datos centrado en video para generar datos de entrenamiento de alta calidad:

• Adquisición impulsada por entidades: Las entidades visuales centrales se extraen de conjuntos de datos de QA imagen-texto con alta densidad de conocimiento (por ejemplo, FVQA, DeepEyes) y se validan cruzadamente mediante modelos grandes (Qwen3.5, Kimi-K2.5) para asegurar su fiabilidad. Estas entidades sirven como objetivos para recuperar videos relevantes.
• Normalización y Alineación: Los videos se remuestrean a 1 FPS con marcadores de fotogramas. Los pares de QA originales se reescriben para alinearse con el contexto del video.
  la mayoría de los modelos base fallan consistentemente en resolver, se mantienen para enfatizar la localización temporal y la adquisición de evidencia externa.
• Síntesis de Trayectorias: Las trayectorias de razonamiento de múltiples herramientas se sintetizan mediante un enfoque jerárquico, seguido de un filtrado riguroso para eliminar alucinaciones, cadenas de razonamiento rotas o invocaciones de herramientas inválidas.

3. Optimización de Política de Secuencia de Doble Rama (BiSPO)

Para optimizar las trayectorias de razonamiento de largo alcance, los autores introducen BiSPO, un algoritmo de aprendizaje por refuerzo (RL) construido sobre GSPO.

• Optimización Desacoplada: BiSPO separa la optimización de la precisión de la respuesta de la conducta de invocación de herramientas. Esto evita que el modelo aprenda a adivinar respuestas correctamente mientras usa las herramientas de manera ineficiente, o viceversa.
• Ramas de Recompensa Duales:
  • Rama de Precisión: Evalúa la corrección de la respuesta, el cumplimiento del formato y las restricciones de dependencia de herramientas.
  • Rama de Conducta de Herramientas: Solo activa para trayectorias con respuestas correctas. Emplea una recompensa de puerta en forma de campana que fomenta la observación suficiente del video y la recuperación externa, penalizando al mismo vez las llamadas a herramientas excesivas o redundantes.
• Recorte a Nivel de Secuencia: Para manejar la inestabilidad del recorte a nivel de token en trayectorias largas, BiSPO aplica muestreo de importancia y recorte a nivel de secuencia.

4. Benchmark: VideoSearch-QA (VSQA)

Los autores presentan VideoSearch-QA, el primer benchmark diseñado específicamente para evaluar la fundamentación de información de video en el mundo abierto y el razonamiento basado en la búsqueda multimodal. Cubre diversos dominios (puntos de referencia, geografía, cultura, deportes) y requiere que los agentes capturen información visual en videos dinámicos para realizar búsquedas en la web abierta y un razonamiento basado en evidencia.

Contribuciones Clave

1. Marco VideoSearcher: El primer agente de bucle cerrado que integra localización temporal, enfoque espacial y búsqueda multimodal para videos dinámicos.
2. Algoritmo BiSPO: Un algoritmo de RL de doble rama que desacopla la precisión de la respuesta de la invocación de herramientas, proporcionando señales de aprendizaje estables para el razonamiento con alta densidad de conocimiento.
3. Benchmark VideoSearch-QA: Un benchmark anotado manualmente (278 muestras) para evaluar agentes de VDR en escenarios de mundo abierto.
4. Pipeline de Datos: Un pipeline riguroso para sintetizar trayectorias de razonamiento de múltiples herramientas de alta calidad a partir de conjuntos de datos de QA imagen-texto existentes.

Resultados Experimentales

Se realizaron experimentos extensos en VideoDR, VideoSearch-QA y varios benchmarks de búsqueda multimodal y comprensión de video.

• Benchmarks Orientados a la Búsqueda: VideoSearcher supera significativamente a los entornos de agentes de código abierto previos (incluyendo Qwen3-VL, Webwatcher, MMSearch-R1) y se acerca al rendimiento de los modelos propietarios (GPT-4o, Gemini-3-Pro) en VideoDR y VSQA. Notablemente, se generaliza bien a benchmarks de búsqueda multimodal general (MMSearch, HR-MMSearch) a pesar de haber sido entrenado principalmente con datos basados en video.
• Comprensión de Video General: En benchmarks como MMVU, TempCompass y VideoMMMU, VideoSearcher mantiene capacidades de razonamiento competitivas, demostrando que el entrenamiento agéntico no degrada las capacidades generales de comprensión de video.
• Estudios de Ablación:
  • Diseño de RL: BiSPO con la recompensa completa de herramienta en forma de campana supera a las variantes de una sola rama (GRPO, GSPO) y a las recompensas de herramienta monotónicas, confirmando la necesidad de la optimización desacoplada y el diseño de la recompensa en forma de campana.
  • Necesidad de Herramientas: Eliminar tanto las herramientas de localización como las de búsqueda provoca caídas significativas en el rendimiento, lo que demuestra que la fundamentación visual y la recuperación externa son complementarias y esenciales para VDR.

Significado y Reivindicaciones

El artículo afirma que VideoSearcher representa un cambio de paradigma de la percepción de contexto cerrado a la exploración de evidencia en el mundo abierto en la comprensión de video. Al formalizar la VDR y proporcionar el primer benchmark y marco agéntico dedicado, este trabajo aborda el cuello de botella crítico de desplegar VLMs en aplicaciones del mundo real donde los videos sirven como puntos de entrada para recuperar y verificar información en entornos web expansivos.

Los autores posicionan a VideoSearcher como un paso hacia una comprensión de video robusta que requiere tanto el modelado de contexto global como la percepción espacio-temporal fina, permitiendo que los agentes fundamenten progresivamente las pistas visuales, recuperen evidencia relevante y sinteticen respuestas en escenarios complejos de mundo abierto.

Limitaciones

Los autores reconocen varias limitaciones:

• Dependencia de Herramientas Externas: La calidad de la respuesta depende de la latencia, la cobertura y la estabilidad de las API de búsqueda de imágenes/web.
• Costo Computacional: El RL en línea con uso de herramientas de múltiples turnos es computacionalmente costoso debido a los contextos largos y las ejecuciones repetidas.
• Alcance: El enfoque actual es en la comprensión de video/QA orientada a la búsqueda. Puede no cubrir totalmente tareas que requieren localización temporal densa, comprensión de audio, interacción encarnada o conocimiento especializado, particularmente dado el uso de la representación de fotogramas a 1 fps en el entrenamiento.
• Evaluación: La evaluación de código abierto depende de jueces de LLM, lo que puede introducir ruido para respuestas ambiguas.