How Should Video LLMs Output Time? An Analysis of Efficient Temporal Grounding Paradigms

Resumen Técnico: Paradigmas de Anclaje Temporal Eficientes en Video LLMs

1. El Problema

El Anclaje Temporal de Video (VTG) es la tarea de localizar segmentos temporales específicos en un video que coinciden con una consulta en lenguaje natural. Aunque los Modelos de Lenguaje Multimodal (MLLM) han avanzado en esta tarea, la investigación actual presenta dos limitaciones críticas:

• Falta de Comparabilidad Controlada: Los métodos existentes utilizan diferentes arquitecturas base (backbones), conjuntos de datos y protocolos de entrenamiento. Esto hace imposible aislar el impacto específico del diseño de la salida (cómo el modelo formula la predicción temporal) sobre el rendimiento.
• Ineficiencia para Despliegue: A medida que los sistemas VTG se orientan hacia dispositivos con recursos limitados (edge computing, móviles), existe una necesidad urgente de entender la compensación entre la formulación de la salida y la eficiencia del sistema (latencia, uso de memoria, throughput), especialmente en modelos compactos.

2. Metodología

Los autores presentan un estudio empírico controlado diseñado para aislar la variable de la "formulación de salida" manteniendo constantes todos los demás factores.

• Paradigmas Comparados: Se evalúan tres enfoques dominantes para la salida temporal:

  1. Generación de Números en Texto (Text Numeral): El modelo genera los tiempos como cadenas de texto estándar (ej. "de 5.0 a 10.0 segundos") utilizando el vocabulario nativo del LLM.
  2. Generación de Tokens Temporales (Temporal Token): Se introducen tokens temporales dedicados en el vocabulario y se utiliza una cabeza de decodificación específica para generar secuencias estructuradas de eventos.
  3. Decodificación Temporal Continua (Continuous Temporal Decoding): En lugar de generar tokens discretos, el modelo mapea los estados ocultos a distribuciones de probabilidad continuas sobre intervalos de tiempo, prediciendo coordenadas temporales directamente mediante regresión o estimación de densidad.

• Configuración Experimental Controlada:

  • Backbones: Se utilizan cinco modelos VLM compactos (de 0.5B a 8B parámetros), incluyendo SmolVLM2, FastVLM y Molmo2.
  • Entrenamiento: Todos los paradigmas se ajustan (fine-tuning) con LoRA sobre los mismos datos (aprox. 1.2M muestras de 11 fuentes), mismos encoders visuales y protocolos de optimización.
  • Métricas: Se evalúa precisión de localización (mIoU, R1@IoU) y eficiencia del sistema (latencia de inferencia, throughput de entrenamiento, sobrecarga de parámetros y uso de memoria GPU).

3. Contribuciones Clave

1. Comparación Unificada: La primera evaluación rigurosa que compara estos tres paradigmas bajo condiciones idénticas, eliminando el ruido de las diferencias arquitectónicas o de datos.
2. Análisis Consciente de la Eficiencia: Va más allá de la precisión para analizar el costo computacional real, identificando cuellos de botella en la inferencia y el entrenamiento.
3. Insights a Escala Compacta: Demuestra cómo el rendimiento varía al escalar modelos de 0.5B a 8B, proporcionando guías para el despliegue en entornos con recursos limitados.

4. Resultados Principales

• Dominio del Decodificado Continuo:

  • El paradigma de Decodificación Temporal Continua logra consistentemente la mayor precisión de localización en todas las tareas y escalas de modelos.
  • En el modelo Molmo2-8B, el enfoque continuo alcanza un mIoU de 57.1% en Charades-STA, mientras que el enfoque de "Texto Numeral" se estanca en 27.5%.
  • Dividendo del Paradigma: Un modelo continuo de solo 1.5B parámetros supera a múltiples modelos SOTA de 7B que utilizan otros paradigmas (ej. supera a TRACE y Grounded-VidLLM). Esto demuestra que optimizar la formulación de salida es más efectivo que simplemente escalar el número de parámetros.

• Eficiencia y Compensación (Pareto Frontier):

  • Latencia: La generación de texto y tokens es autoregresiva, lo que genera una latencia alta (ej. >1300 ms/query para tokens) debido a la necesidad de generar secuencias largas paso a paso.
  • Decodificación Continua: Utiliza un decodificador MLP ligero no autoregresivo, permitiendo predecir distribuciones en una sola pasada. Esto reduce drásticamente la latencia (ej. ~794 ms/query) y ofrece el mejor equilibrio precisión-eficiencia.
  • Escalabilidad de Parámetros: Aunque el decodificador continuo tiene un crecimiento cuadrático en parámetros ($O(D^2)$) comparado con el lineal ($O(D)$) de los tokens, su diseño no autoregresivo evita los cuellos de botella computacionales de la generación secuencial.

• Robustez y Errores:

  • Alucinación Temporal: Los paradigmas discretos (Texto y Tokens) sufren frecuentemente de "alucinaciones temporales" (predicción de ventanas de tiempo completamente desconectadas de la realidad). El enfoque continuo reduce drásticamente este error al modelar la incertidumbre como una distribución de probabilidad.
  • Escalado de Datos: El enfoque continuo es más eficiente en datos; logra un rendimiento superior entrenando solo con el 25% de los datos en comparación con el 100% de los datos para los otros paradigmas.

5. Significado e Impacto

Este trabajo establece que la formulación de la salida es un eje de diseño crítico a menudo subestimado en los Video LLMs.

• Guía para el Despliegue: Para aplicaciones en el borde (edge) y tiempo real, el Decodificado Temporal Continuo es la opción superior, ofreciendo alta precisión con menor latencia y menor dependencia de datos masivos.
• Cambio de Paradigma: Sugiere que la comunidad debe alejarse de tratar el tiempo como un lenguaje natural (tokens discretos) y adoptar representaciones continuas para tareas de localización precisa.
• Limitaciones Futuras: Aunque el enfoque continuo es superior en precisión y eficiencia, actualmente carece de mecanismos nativos para puntuación de saliencia (highlight detection), lo que sugiere una dirección futura para integrar ramas de saliencia ligeras en el decodificador continuo.

En conclusión, el artículo demuestra que optimizar la formulación de salida ofrece un camino más eficiente hacia el rendimiento superior que el simple escalado de modelos, proporcionando una hoja de ruta clara para sistemas VTG listos para el despliegue.