Resumen Técnico: LongVT

Enunciado del Problema

Los Modelos Multimodales Grandes (LMM) han demostrado potencial para el razonamiento en video utilizando la Cadena de Pensamiento (CoT) textual. Sin embargo, siguen siendo vulnerables a alucinaciones, particularmente al procesar videos de larga duración (>15 minutos) donde la evidencia es escasa y dispersa temporalmente. Los enfoques existentes, que a menudo dependen de paradigmas estilo R1 (Ajuste Fino Supervisado con CoT textual seguido de Optimización de Política Relativa Grupal), son en gran medida centrados en el lenguaje. No logran capturar adaptativamente la evidencia visual clave, omitiendo frecuentemente momentos finos o decisivos críticos para el razonamiento. Además, las evaluaciones actuales sufren con frecuencia de contaminación de datos y sesgo de opciones, fallando en probar rigurosamente las capacidades de "Segmento de Video en un Heno", donde la respuesta yace dentro de una ventana estrecha y específica de horas de metraje.

Metodología

El artículo introduce LongVT, un marco agente de extremo a extremo diseñado para habilitar "Pensar con Videos Largos" mediante Cadena Multimodal Intercalada de Pensamiento-Herramienta (iMCoTT).

Mecanismo Central: iMCoTT

Inspirado en los hábitos de visualización humana (revisión global seguida de inspección detallada), LongVT permite a los LMM entrelazar nativamente el razonamiento con la recuperación temporal bajo demanda. En lugar de parafrasear ciegamente el texto, el modelo:

1. Revisión Global: Realiza una vista previa gruesa del video para formular una hipótesis sobre las ventanas temporales relevantes.
2. Llamada a Herramienta: Invoca una herramienta nativa crop_video(start_time, end_time) para re-muestrear frames de mayor granularidad desde el segmento hipotetizado.
3. Verificación y Autocorrección: Analiza el clip recuperado. Si la evidencia es insuficiente o la localización es incorrecta, el modelo se involucra en autorreflexión, refina la ventana de tiempo y llama a la herramienta nuevamente. Este bucle continúa hasta que la respuesta se fundamenta en evidencia visual recuperada.

Suite de Datos: VideoSIAH

Para abordar la escasez de datos de preguntas y respuestas (QA) de granularidad fina para el razonamiento en videos largos, los autores curaron VideoSIAH, un conjunto de datos a gran escala que comprende:

• Datos de Entrenamiento: 247.9K muestras para un Ajuste Fino Supervisado (SFT) de arranque en frío (incluyendo trazas aumentadas con herramientas), 1.6K muestras para Aprendizaje por Refuerzo Agente (RL) y 15.4K muestras para Ajuste Fino por Refuerzo Agente (RFT).
• Evaluación (VideoSIAH-Eval): 652 pares de preguntas y respuestas abiertas cuidadosamente curados con validación humana en el bucle, diseñados específicamente para probar el razonamiento con evidencia escasa en videos que promedian ~1,688 segundos.

Estrategia de Entrenamiento en Tres Etapas

1. SFT de Arranque en Frío: Enseña al LMM base (Qwen2.5-VL-7B) a proponer ventanas temporales, invocar la herramienta de recorte y componer evidencia multimodal. Esta etapa es crítica para prevenir el colapso del RL debido a la incapacidad inicial del modelo para localizar ventanas o integrar las salidas de las herramientas.
2. RL Agente: Optimiza el modelo utilizando una recompensa conjunta de anclaje temporal y respuesta. A diferencia de trabajos anteriores que recompensan la corrección de la respuesta o el alineamiento temporal por separado, esta función de recompensa acopla ambos, fomentando explícitamente despliegues exploratorios que mejoran la localización temporal mientras preservan la corrección de la respuesta.
3. RFT Agente: Destila trayectorias de alta calidad de la etapa de RL de vuelta a datos supervisados. Esto estabiliza los comportamientos agentes aprendidos durante el RL y consolida la localización temporal de granularidad fina y el razonamiento de múltiples pasos.

Contribuciones Clave

1. Paradigma Agente de Extremo a Extremo: LongVT es el primer marco que entrelaza nativamente la CoT aumentada con herramientas multimodales con la inspección de clips bajo demanda para videos de horas de duración, permitiendo a los LMM realizar un razonamiento activo y buscador de evidencia en lugar de un consumo pasivo de frames.
2. Conjunto de Datos y Evaluación VideoSIAH: La construcción de una tubería de datos escalable que produce trazas de razonamiento diversas, de alta calidad e integradas con herramientas, y una evaluación dedicada que mitiga la contaminación de datos y el sesgo de opciones encontrados en evaluaciones existentes.
3. Validación de Estrategia de Entrenamiento: El artículo valida sistemáticamente que una tubería de tres etapas (SFT + RL + RFT) con una función de recompensa conjunta produce ganancias consistentes sobre SFT o RL por separado, estableciendo una nueva línea base de vanguardia para el razonamiento en videos largos.

Resultados Experimentales

Evaluado en cuatro evaluaciones (VideoMME, VideoMMMU, LVBench y VideoSIAH-Eval) bajo regímenes de muestreo tanto disperso (64 frames) como denso (512/768 frames):

• Rendimiento: LongVT-7B-RFT logra un rendimiento de vanguardia entre los LMM centrados en video de código abierto. En el desafiante VideoSIAH-Eval, alcanza una puntuación de 42.0, superando al segundo mejor modelo de código abierto por 6 puntos.
• Reducción de la Brecha: El mejor checkpoint de LongVT reduce la brecha con modelos propietarios (por ejemplo, GPT-4o) a aproximadamente 4 puntos de promedio.
• Eficiencia: A pesar de las interacciones de herramientas de múltiples vueltas, LongVT no incurre en latencia de inferencia adicional en comparación con las líneas base de una sola vuelta; en algunos casos, es más rápido al evitar la generación verbosa impulsada por alucinaciones.
• Estudios de Ablación: Los resultados confirman que los datos iMCoTT auto-curados son cruciales para el SFT, la función de recompensa conjunta supera a las recompensas separadas, y la tubería completa de tres etapas es necesaria para un rendimiento óptimo.

Significado y Afirmaciones

El artículo afirma que LongVT transforma exitosamente la comprensión de videos largos de una tarea pasiva a un proceso activo y buscador de evidencia. Al fundamentar cada paso del razonamiento en evidencia visual recuperada mediante llamadas nativas a herramientas, el marco mitiga significativamente las alucinaciones y mejora la localización temporal. Los autores postulan que este paradigma de "Pensar con Videos Largos", que refleja estrategias cognitivas humanas, es una evolución necesaria para un razonamiento confiable en videos de larga duración. El trabajo establece que los modelos de código abierto pueden lograr capacidades de razonamiento robustas y alineadas con humanos a través de un entrenamiento estructurado aumentado con herramientas y datos de alta calidad y granularidad fina, sin depender de recuperadores externos o modelos expertos auxiliares.