Resumen Técnico: TLG (Temporal-Logic Grounding) para Video Question Answering

Definición del Problema

El artículo aborda el TimeLogic Challenge, un benchmark para el razonamiento de lógica temporal sobre video. La tarea requiere que los modelos determinen relaciones entre eventos (por ejemplo, precedencia, coocurrencia, duración) utilizando 16 operadores temporales formales (por ejemplo, BEFORE, AFTER, UNTIL, ALWAYS, CO-OCCUR) en formatos booleanos (Sí/No) y de opción múltiple de 4 vías.

Los autores identifican una brecha de fundamentación (grounding gap) crítica en lugar de una brecha de conocimiento. Los modelos de Video-Lenguaje (VLM) de extremo a extremo existentes operan cerca del nivel del azar (~50%) porque tratan el video como una "bolsa de fotogramas", exhibiendo un sesgo de fotograma único que les impide localizar acciones en una línea de tiempo de manera fiable. El desafío central no es la comprensión del lenguaje o el reconocimiento de objetos, sino mapear con precisión las acciones a intervalos temporales.

Metodología: El Pipeline TLG

La solución propuesta, TLG (Temporal-Logic Grounding), es un sistema de tres niveles diseñado para priorizar la lógica determinista sobre la percepción neural. Opera bajo la observación de que las preguntas de TimeLogic son funciones deterministas de las anotaciones temporales públicas de los conjuntos de datos de origen.

Nivel 1: Reconstrucción Simbólica y Ejecución

• Reconstrucción de Anotaciones: Para cada video, TLG reconstruye una línea de tiempo de acciones $T_v = \{(a_i, s_i, e_i)\}$ mapeando el ID del video a las anotaciones públicas del conjunto de datos de origen.
  • CrossTask: Utiliza anotaciones de límites de pasos (cobertura del 100%).
  • Breakfast: Utiliza segmentación fina de 178 clases (por ejemplo, "alcanzar cuchillo") en lugar de etiquetas gruesas de 48 clases.
  • STAR/AGQA: Fusiona segmentos de acción de Charades con relaciones de estado de Action Genome y deriva códigos de grafos de situación.
• Fundamentación Difusa (Fuzzy Grounding): Un módulo de emparejamiento gestiona las discrepancias entre la formulación de la pregunta (por ejemplo, gerundios) y las etiquetas de anotación (por ejemplo, imperativos) utilizando similitud Jaccard de tokens y penalizaciones conscientes de verbos. Las etiquetas compuestas se dividen basándose en camel-case y dígitos.
• Ejecución Simbólica: Las preguntas se analizan en programas de lógica temporal. El sistema ejecuta estos programas de forma determinista utilizando aritmética de intervalos. Si las acciones nombradas no se encuentran en las anotaciones, el Nivel 1 se abstiene.

Nivel 2: Fallback de VLM Abierto

Para las preguntas donde el Nivel 1 se abstiene (debido a la falta de anotaciones), el sistema recurre a un VLM de código abierto robusto (Qwen2.5-VL-32B). Este modelo utiliza un muestreo de fotogramas estilo FPS y prompts de razonamiento temporal. Sirve como el motor de trabajo para el ~43% de las preguntas no cubiertas por las anotaciones.

Nivel 3: Razonamiento de Frontera Dirigido por Categorías

Los autores midieron empíricamente el rendimiento del VLM por categoría y encontraron que es débil en preguntas de opción múltiple (MC) (19–57% de precisión) pero fuerte en preguntas booleanas (73–79% de precisión).

• Estrategia de Enrutamiento: En lugar de enviar todas las preguntas de fallback a un modelo más grande, TLG enruta solo las preguntas de opción múltiple en las que el Nivel 1 se abstuvo (y categorías booleanas/UNTIL débiles) a un modelo de razonamiento de frontera (Gemini-3.1-Pro).
• Control de Costos: Este nivel utiliza una baja resolución de medios (256 tokens/imagen) y un bajo presupuesto de pensamiento, costando aproximadamente $10 para todo el conjunto de prueba.

Contribuciones Clave

1. Sistema TLG: Una arquitectura de tres niveles que mapea videos a anotaciones de origen para la resolución simbólica exacta, utilizando modelos neurales solo como un fallback dirigido.
2. Enrutamiento Dirigido por Categorías: Una estrategia que aisla las debilidades del VLM (preguntas MC) y las transfiere a un modelo de frontera, mientras mantiene las categorías fuertes (booleanas) en el VLM local más económico.
3. Ablación sobre Fundamentación vs. Escala: Experimentos extensos que demuestran que las anotaciones reales son el principal motor de la precisión, mientras que aumentar la escala del modelo o intentar la reconstrucción de la línea de tiempo basada en modelos produce rendimientos decrecientes o fallos.
4. Rendimiento: Logrando una precisión de prueba del 71.37%, un aumento absoluto de +24.5 sobre la línea base del VLM, situando al sistema dentro de los 3 puntos del tope de la tabla de clasificación (leaderboard).

Resultados Experimentales

• Línea Base vs. TLG: Una línea base de VLM holística (Qwen3-VL-8B) logra un 46.9%. El sistema completo de TLG alcanza el 71.37%.
• Análisis de Componentes:
  • Reconstrucción Simbólica: Añadir lógica simbólica de CrossTask, Action Genome y las anotaciones finas de Breakfast mejora la precisión de forma incremental. Las anotaciones finas de Breakfast por sí solas proporcionaron un salto de +6.2 puntos, mientras que las etiquetas gruesas contribuyeron con ~0.
  • Escala del Modelo: Actualizar el VLM base de 8B a 32B solo mejoró el sistema híbrido en +2.6 puntos. Los modelos más grandes (72B/78B) sufrieron problemas de memoria o salidas degeneradas.
  • Fallo de la Reconstrucción Basada en Modelos: Los intentos de que un VLM reconstruyera la línea de tiempo para las preguntas en las que se abstuvo (en lugar de buscar las anotaciones) resultaron en una precisión menor (67.10%) que simplemente dejar que el VLM respondiera de forma holística (67.37%). Esto confirma que la fundamentación temporal es un cuello de botella irreducible que requiere anotaciones, no solo modelos más grandes.
  • Frontera Dirigida: El enrutamiento de solo las categorías MC débiles a Gemini-3.1-Pro añadió un +4.0 final de puntos.

Significado y Reivindicaciones

El artículo afirma que el VideoQA de lógica temporal debe replantearse de un problema de percepción a un problema de reconstrucción de anotaciones.

• La Fundamentación es Irreducible: Los autores concluyen que la fundamentación temporal no puede aprenderse escalando modelos o reconstruyendo líneas de tiempo mediante redes neuronales; depende fundamentalmente de la disponibilidad de anotaciones temporales de verdad fundamental (ground-truth).
• Dominancia de la Anotación: Los resultados muestran que "las anotaciones reales — no los modelos más grandes — impulsan la precisión". Las mayores ganancias de rendimiento provinieron del acceso a anotaciones finas de origen (Breakfast) y del enrutamiento preciso de categorías, no del tamaño del modelo.
• Eficiencia: El sistema logra un rendimiento cercano al estado del arte con un costo mínimo (~$10 para llamadas de API), demostrando que un enfoque híbrido simbólico-neural es más efectivo que el aprendizaje de extremo a extremo puro para esta tarea de razonamiento específica.

La brecha restante hacia el tope de la tabla de clasificación (74.47%) se atribuye a una brecha de acceso a anotaciones, donde aproximadamente 220 preguntas hacen referencia a acciones no presentes en ningún conjunto de datos de origen público, obligando al sistema a depender de modelos que no pueden fundamentar el tiempo de manera fiable.