Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

Resumen Técnico: Razonamiento Espaciotemporal Aumentado por Herramientas para Optimizar la Respuesta a Preguntas en Vídeos

Declaración del Problema
La Respuesta a Preguntas en Vídeo (VideoQA) sirve como un banco de pruebas crítico para evaluar si los modelos fundacionales pueden percibir, comprender y razonar sobre escenarios dinámicos del mundo real. Sin embargo, los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) actuales enfrentan desafíos significativos para modelar simultáneamente las relaciones espaciales dentro de los fotogramas de vídeo y comprender la dinámica causal de la evolución temporal. Los enfoques actuales generalmente se dividen en dos categorías, ambas con limitaciones:

1. LLMs centrados en vídeo (Video-LLMs): Modelos como Qwen-VL a menudo requieren el procesamiento de un gran número de fotogramas de vídeo, lo que genera procesos redundantes e ineficientes.
2. LLMs aumentados por herramientas: Aunque las herramientas pueden mejorar el razonamiento, las implementaciones existentes sufren tres problemas fundamentales:
   • Utilización unidimensional: Se centran típicamente en las dimensiones espaciales o temporales, fallando al no poder modelar ambas simultáneamente.
   • Diversidad de herramientas desequilibrada: El simple hecho de aumentar el número de herramientas introduce problemas de ejecución debido a la incertidumbre inherente de los LLM.
   • Programación insuficiente: La falta de mecanismos de programación efectivos conduce a una invocación desordenada de herramientas, causando "Atajos de Cadena de Herramientas" (Toolchain Shortcuts) donde el modelo omite el razonamiento profundo para responder directamente, reduciendo la precisión y la eficiencia.

Metodología
Los autores proponen una solución integral que consiste en un Kit de Herramientas de Vídeo y un Marco de Razonamiento Espaciotemporal (STAR).

• Construcción del Kit de Herramientas de Vídeo:
  El kit está diseñado con tres principios básicos: descomponer las tareas en dimensiones temporales y espaciales, integrar resultados de visión computacional mediante lenguaje natural y soportar tanto el procesamiento a nivel de segmento como a nivel de fotograma. Consta de aproximadamente 22 herramientas plug-and-play categorizadas en:

  • Herramientas Espaciales: Incluyendo detección de objetos (YOLO, Grounding DINO), utilización de cuadros delimitadores (conversión de texto, zoom de parches, marcadores visuales) y segmentación semántica.
  • Herramientas Temporales: Incluyendo selección de fotogramas (basada en el razonamiento del LLM o búsqueda A*), localización temporal y recorte de vídeo.
  • Herramientas Generales: Incluyendo OCR, resumen y modelos de lenguaje-vídeo.
    Estas herramientas están encapsuladas mediante tarjetas de herramientas estandarizadas para asegurar la extensibilidad.

• Marco de Razonamiento Espaciotemporal (STAR):
  STAR es un marco agéntico libre de entrenamiento, diseñado para prevenir los Atajos de Cadena de Herramientas y asegurar la localización progresiva de la Región de Interés 3D (3D RoI) —el subconjunto específico del vídeo relevante para la pregunta a través del tiempo y el espacio—.

  • Intercalado Espaciotemporal: A diferencia de los enfoques "desentrelazados" que procesan el tiempo y luego el espacio (o viceversa) sin retroalimentación, STAR impone una estrategia de invocación alternante. Si se utiliza una herramienta temporal, la siguiente debe ser espacial, y viceversa. Las herramientas generales se reservan como último recurso.
  • Diccionario de Fotogramas Visibles: El marco mantiene un diccionario ($V$) que rastrea los índices de los fotogramas visibles y la información recopilada para cada uno. Las herramientas temporales actualizan el diccionario seleccionando fotogramas o segmentos; las herramientas espaciales procesan estos fotogramas y actualizan los datos correspondientes.
  • Proceso Iterativo: El Planificador LLM observa los resultados, razona sobre el siguiente paso y selecciona la herramienta adecuada del conjunto restringido (temporal o espacial) hasta que se recopile suficiente información para responder a la pregunta.

Contribuciones Clave

1. Kit de Herramientas de Vídeo Integral: Un conjunto diverso de 22 herramientas plug-and-play que cubren funcionalidades espaciales, temporales y generales, diseñadas para mejorar las capacidades de razonamiento de los MLLM mientras se equilibra la cantidad y diversidad de las herramientas.
2. Marco STAR: Un novedoso marco de razonamiento que emplea el intercalado espaciotemporal para invocar herramientas de forma alternante. Esta estrategia reduce progresivamente el espacio de búsqueda hacia la 3D RoI, imitando el pensamiento visual deliberado y evitando comportamientos de atajo.
3. Rendimiento y Eficiencia: El marco demuestra que aumentar GPT-4o con herramientas ligeras (utilizando modelos de menos de 3B de parámetros) supera significativamente a las líneas base existentes tanto en precisión como en eficiencia computacional.

Resultados Experimentales
Los autores evaluaron STAR en cuatro importantes bancos de pruebas de VideoQA: VideoMME, LongVideoBench, NExT-QA y EgoSchema.

• VideoMME: STAR logró una mejora del 8.2% sobre GPT-4o (usando 32 fotogramas) y superó al mejor Video-LLM de código abierto de 7B (InternVL3-8B) por un 3.7%. Se acercó al rendimiento de modelos de escala 72B mientras reducía el tiempo de ejecución de 6–8 minutos a 15.8 segundos.
• LongVideoBench: STAR mejoró a GPT-4o en un 4.6%, mostrando una fuerza particular en segmentos de vídeo largos (180–600s) y extralargos (900–3600s).
• NExT-QA: STAR alcanzó la mayor precisión (82.1%) utilizando la menor cantidad de fotogramas (7.2), superando tanto a los Video-LLMs de 7B como a otros métodos de selección de fotogramas. En el conjunto de validación, la variante ligera (STAR-MINI) superó a DoraemonGPT por un 6.3%.
• Estudios de Ablación: Las comparaciones contra estrategias como "Sin Restricciones", "Prompting" y "Desentrelazamiento Espaciotemporal" confirmaron que el enfoque intercalado espaciotemporal ofrece el mejor equilibrio entre precisión y eficiencia de fotogramas, utilizando cadenas de herramientas más largas y diversas.

Significancia y Reivindicaciones
El artículo afirma que el Kit de Herramientas de Vídeo y el marco STAR propuestos representan un paso importante hacia la construcción de asistentes de análisis de vídeo autónomos e inteligentes. Al equipar a los MLLM con un kit de herramientas estructurado y extensible, y un marco de razonamiento que impone la localización progresiva de las Regiones de Interés 3D, este trabajo aborda las limitaciones de los modelos actuales para manejar el razonamiento espaciotemporal complejo. Los autores enfatizan que su enfoque logra un alto rendimiento utilizando herramientas ligeras de código abierto, lo que lo hace escalable y eficiente en comparación con los modelos masivos de gran cantidad de parámetros.

Limitaciones señaladas por los autores: La implementación actual depende de los modelos de OpenAI (GPT-4o/GPT-3.5) para el planificador, lo que incurre en costos de API. El trabajo futuro apunta a reemplazar el planificador con modelos más ligeros y a integrar mejor el uso de herramientas en el proceso de razonamiento. Además, el sistema actual se centra en el contenido visual, dejando la integración de subtítulos y audio para exploraciones futuras.