Resumen Técnico: ACT2SEE – Percepción Visual Activa Emergente para el Razonamiento en Video

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM) actuales que realizan razonamiento en video suelen depender de frames iniciales estáticos o de muestreo fijo por segundo (fps). Este paradigma de entrada estática limita la capacidad del modelo para incorporar información dinámica esencial a medida que evoluciona el proceso de razonamiento. Aunque los métodos recientes intentan augmentar el razonamiento de Cadena de Pensamiento (CoT) con información de frames adicional (por ejemplo, frames clave predeterminados o llamadas a herramientas visuales), enfrentan dos limitaciones principales:

1. Calidad Subóptima del CoT: Los métodos existentes a menudo derivan CoTs aumentados con frames a partir de verdades terrenales generadas automáticamente por VLM sin una verificación humana rigurosa, lo que conduce a trazas de razonamiento ruidosas o inconsistentes.
2. Incapacidad para Sintetizar Escenarios Hipotéticos: Los enfoques actuales no pueden generar nuevos frames visuales dentro del CoT para abordar preguntas contrafactuales o hipotéticas (por ejemplo: "¿Qué pasaría si el orden temporal se invirtiera?"). Se limitan a recuperar evidencia visual existente, lo que les impide "imaginar" escenarios que no están presentes en el video original.

Metodología

Los autores introducen Act-to-See (ACT2SEE), un marco diseñado para dotar a los VLM de percepción visual activa. Esta capacidad permite a los modelos decidir dinámicamente cuándo y cómo recopilar nueva información visual, ya sea recuperando frames existentes o generando hipotéticos, durante el proceso de razonamiento.

1. Construcción del Dataset mediante Ajuste Fino Supervisado (SFT)

El núcleo de ACT2SEE es un dataset de alta calidad para SFT que presenta CoTs de video-texto intercalados. El pipeline de construcción implica:

• Prompting de Modelos de Vanguardia: Se solicita a un VLM de vanguardia (Gemini 2.5 Pro) que realice razonamiento en video. Crucialmente, se instruye al modelo para que genere tokens de llamada a herramientas especializados (<retrieve> o <generate>) con consultas específicas cada vez que determine que la información visual existente es insuficiente.
• Ejecución de Herramientas:
  • Recuperación: Utiliza TFVTG (Grounding Temporal de Video Libre de Entrenamiento) para buscar en el video completo a una tasa de muestreo superior (3 fps) y encontrar frames relevantes que coincidan con la consulta.
  • Generación: Utiliza Stable Diffusion 3.5 Large para sintetizar nuevos frames basados en la consulta, condicionados a un frame recuperado para garantizar la consistencia visual.
• Completado en Dos Rondas: El proceso se divide en dos rondas. En la Ronda 1, el modelo genera el razonamiento hasta la llamada a la herramienta. La herramienta se ejecuta y se inserta el nuevo frame. En la Ronda 2, el modelo completa la traza de razonamiento utilizando la nueva evidencia visual.
• Control de Calidad: Para asegurar datos de entrenamiento de alta calidad, los CoTs generados se filtran frente a CoTs de verdad terrenal anotados por humanos de benchmarks como MINERVA, CausalVQA y Social Genome. Las trazas se retienen solo si su similitud de incrustación de texto (BGE M3) con la verdad terrenal humana supera el 80%. Los CoT que conducen a respuestas incorrectas se regeneran.

2. Entrenamiento e Inferencia

• Entrenamiento: Un modelo base (Qwen3-VL-8B-Thinking) se ajusta fino utilizando el dataset intercalado construido. La función de pérdida calcula pérdidas a nivel de token sobre toda la ejecución, incluyendo el razonamiento en texto y las consultas de llamada a herramientas, pero excluyendo los tokens de imagen recuperados o generados reales.
• Inferencia: El modelo entrenado sigue el mismo flujo algorítmico. Genera una respuesta; si se detecta un token <retrieve> o <generate>, se ejecuta la herramienta offline correspondiente, se inyecta el nuevo frame en el contexto y el modelo continúa razonando para producir la respuesta final.

Contribuciones Clave

1. Percepción Activa Emergente: ACT2SEE permite a los VLM intercalar activamente frames de video dentro de CoTs de texto en tiempo de inferencia, permitiéndoles buscar dinámicamente evidencia factual faltante o sintetizar escenarios contrafactuales.
2. Dataset Intercalado de Alta Calidad: Los autores curan un dataset de 3.373 trazas de razonamiento donde el 47,67% contiene frames recuperados o generados. Este dataset se filtra rigurosamente frente a anotaciones humanas para garantizar la calidad del razonamiento, abordando los problemas de ruido en la generación automática de CoT anterior.
3. Capacidad Dual (Recuperación + Generación): A diferencia de trabajos anteriores que se centran únicamente en la recuperación o en frames clave estáticos, ACT2SEE integra tanto la recuperación de contenido de video existente como la síntesis generativa de evidencia visual hipotética dentro del bucle de razonamiento.

Resultados Experimentales

ACT2SEE se evaluó en cinco benchmarks diversos de razonamiento en video: Video-MME, VideoEspresso, EgoNormia, VCR-Bench y ViTIB.

• Mejoras de Rendimiento: ACT2SEE establece nuevos resultados de vanguardia en VideoEspresso y ViTIB. Supera a modelos de código abierto comparables o más grandes (por ejemplo, InternVL2.5-8B, Video-LLaMA3-7B, Qwen3-VL-8B-Thinking) e incluso supera al modelo de código cerrado GPT-4o en VideoEspresso, a pesar de utilizar menos frames.
• Comparación con Métodos CoT de Vanguardia: El modelo supera a otros métodos de CoT intercalados video-texto como Chain-of-Shot, FrameMind y ReWatch-R1.
• Estudios de Ablación:
  • Fuente de Datos: Utilizar verdades terrenales anotadas por humanos para el filtrado (en lugar de CoTs generados por VLM) mejora significativamente el rendimiento.
  • Uso de Herramientas: Combinar tanto la recuperación como la generación produce mejores resultados que usar cualquiera de las dos herramientas de forma aislada.
  • Verdad Terrenal en el Prompting: Excluir los CoTs de verdad terrenal de la fase inicial de prompting aumenta la tasa de llamadas a herramientas, lo que conduce a un mejor rendimiento aguas abajo.
• Eficiencia: ACT2SEE logra una mayor precisión con menor latencia y menos FLOPs en comparación con la línea base al utilizar la mitad de los frames de entrada, demostrando dominancia de Pareto.

Significado y Afirmaciones

El artículo afirma que ACT2SEE representa un avance significativo en la habilitación de VLM con percepción visual activa para el razonamiento complejo en video. Al empoderar a los modelos para determinar activamente cuándo buscar o sintetizar evidencia visual, el marco supera las limitaciones de las entradas estáticas y las trazas de razonamiento subóptimas.

Los autores destacan una capacidad emergente: en tiempo de inferencia, el modelo decide espontáneamente recuperar o generar frames para resolver ambigüedades o responder preguntas contrafactuales, un comportamiento no programado explícitamente sino aprendido a través del proceso de SFT. Este enfoque acerca el razonamiento en video a una comprensión causalmente fundamentada y más dinámica, cerrando la brecha entre la percepción estática y las dinámicas espacio-temporales matizadas requeridas para escenarios complejos del mundo real. El trabajo sugiere que los datos intercalados de alta calidad y verificados por humanos son críticos para desbloquear estas capacidades, en lugar de depender exclusivamente de la síntesis automatizada de datos.