Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

Resumen Técnico: Localización Espacio-Temporal Eficiente con Grandes Modelos Multimodales mediante Seguimiento de Segundo Nivel y Verificación por RL

1. Definición del Problema

La localización espacio-temporal en video (STVG, por sus siglas en inglés) requiere que un modelo localice una consulta de lenguaje natural tanto en el tiempo (identificando el intervalo del evento) como en el espacio (rastreando el objetivo referido a lo largo de ese intervalo). Aunque los Modelos de Lenguaje Multimodales Grandes (MLLM) poseen capacidades de razonamiento sólidas, la aplicación directa de estos a videos largos mediante inferencia fotograma a fotograma es computacionalmente prohibitiva e inestable.

Los desafíos centrales identificados son:

• Costo Computacional: El muestreo denso a nivel de fotograma crea una explosión de tokens visuales, lo que hace que el procesamiento de videos largos sea costoso.
• Inestabilidad: La generación directa de coordenadas densas a menudo conduce al "deriva" (drift), donde el modelo pierde el rastro de la identidad del objetivo o produce trayectorias erráticas debido a pequeños errores numéricos en las cajas generadas mediante texto.
• Desajuste de Supervisión: El ajuste fino supervisado (SFT) estándar optimiza la verosimilitud de los tokens en lugar de métricas específicas de la tarea, como el solapamiento temporal o la consistencia de la trayectoria espacial.

2. Metodología

Los autores proponen un flujo de trabajo práctico que desplaza la unidad de razonamiento del fotograma al segundo, junto con una estrategia de entrenamiento de tres etapas y verificación por aprendizaje por refuerzo (RL).

A. Formulación a Nivel de Segundo
En lugar de procesar $T$ fotogramas, el video se convierte en $K$ unidades de nivel de segundo ($K = \lceil T/F \rceil$).

• Entrada: El modelo procesa unidades de video agregadas por segundo.
• Salida: El modelo predice un intervalo temporal $[\hat{t}_s, \hat{t}_e]$ y una trayectoria compacta $\hat{B}$ que consiste en una caja delimitadora por segundo.
• Suavizado: Durante la inferencia, se aplica un paso de suavizado ligero entre segundos para restaurar la continuidad y reducir la erraticidad, preservando al mismo tiempo los límites temporales predichos.

B. Flujo de Entrenamiento de Tres Etapas
El método utiliza una arquitectura de estilo GLM-V entrenada a través de tres etapas distintas:

1. Pre-entrenamiento Continuo (CPT):

   • Objetivo: Construir capacidades amplias de localización espacio-temporal.
   • Datos: Una mezcla de datos de STVG, seguimiento de objetos múltiples (MOT), seguimiento de un solo objeto (SOT) y datos de segmentación.
   • Estrategia: Los videos se muestrean a 1 FPS para coincidir con la formulación de nivel de segundo. Se incluyen datos generales de descripción de video y preguntas/respuestas (QA) para evitar que el modelo colapse en una tarea estrecha de predicción de coordenadas, preservando las capacidades generales de conversación y razonamiento.

2. Ajuste Fino Supervisado (SFT) con Razonamiento Corregido:

   • Objetivo: Enseñar la selección estructurada de objetivos y el razonamiento temporal.
   • Datos: 20K ejemplos de VidSTG y HC-STEG.
   • Mecanismo: MLLMs avanzados (por ejemplo, Gemini) generan trazas de Cadena de Pensamiento (CoT) centradas en qué rastrear y cuándo ocurre el evento.
   • Corrección: Crucialmente, las coordenadas espaciales y los intervalos temporales generados en la salida final se reemplazan con anotaciones de verdad de terreno (ground-truth). Esto separa el razonamiento semántico útil de la geometría generada no fiable, asegurando que el modelo aprenda el proceso de razonamiento correcto sin ser penalizado por el ruido geométrico en los datos de entrenamiento.

3. Aprendizaje por Refuerzo (RL) con Verificador:

   • Objetivo: Optimizar directamente para las métricas de calidad de localización.
   • Función de Recompensa: Un verificador califica las predicciones utilizando una suma ponderada de:
     • tIoU: Intersección sobre Unión Temporal (solapamiento entre las ventanas de tiempo predichas y la verdad de terreno).
     • mvIoU: IoU espacial consciente del movimiento (promedio de IoU de las cajas sobre la intersección temporal coincidente).
   • Optimación: La política se optimiza utilizando un objetivo de tipo GRPO con recorte asimétrico. La recompensa combinada ($tIoU + mvIoU$) proporciona una señal de aprendizaje más densa que el uso de recompensas conscientes del movimiento por sí solas, ayudando al modelo a localizar primero la ventana de evento correcta antes de refinar la trayectoria.

C. Inferencia
El modelo genera una respuesta estructurada que contiene el intervalo temporal y la trayectoria de nivel de segundo. Los estados inválidos se descartan y se aplica un suavizado entre segundos. La salida puede permanecer a granularidad de nivel de segundo o interpolarse de nuevo a cajas de nivel de fotograma si el benchmark lo requiere.

3. Contribuciones Clave

• Formulación de Seguimiento a Nivel de Segundo: Un cambio de fotogramas a unidades de nivel de segundo que reduce significativamente la longitud de la secuencia y los costos de tokens visuales, manteniendo la estructura del evento y la continuidad del rastro mediante suavizado.
• Supervisión de Razonamiento Corregido: Una estrategia de entrenamiento que utiliza trazas de CoT generadas para el razonamiento semántico, pero reemplaza las coordenadas generadas con la verdad de terreno, evitando que el modelo aprenda de una supervisión geométrica ruidosa.
• RL Impulsado por Verificador: Una etapa de optimización que utiliza un verificador basado en $tIoU + mvIoU$ para alinear la salida del modelo directamente con las métricas de evaluación de STVG, en lugar de depender únicamente de la verosimilitud de los tokens.
• Modelo de Alto Rendimiento y Eficiente: Demostración de que un modelo de 9B parámetros alineado a la tarea puede superar a modelos de propósito general significativamente más grandes (por ejemplo, Qwen3.5 de 397B) en tareas de STVG.

4. Resultados Experimentales

El método fue evaluado en los benchmarks VidSTG y HC-STVG, así como en Video-MME-v2 para evaluar la comprensión general de video.

• Rendimiento en STVG:

  • En VidSTG, el modelo final de RL logró un mtIoU de 31.35 y un mvIoU de 23.79, superando a todos los modelos de referencia, incluyendo modelos de 397B y 1T de parámetros.
  • En HC-STVG, el modelo logró un mtIoU de 60.04 y un mvIoU de 40.99, superando nuevamente a los modelos generalistas más grandes.
  • La progresión de SFT a RL mostró que, mientras el SFT adapta el formato, el RL mejora significativamente la alineación de las métricas. La recompensa combinada de $tIoU + mvIoU$ convergió más rápido y produjo mejores resultados que el uso de $mvIoU$ por sí solo.

• Comprensión General de Video:

  • La evaluación en Video-MME-v2 mostró que el modelo mejoró respecto a la base GLM-4.1V-Thinking tanto en razonamiento no lineal (12.6 vs. 9.4) como en precisión simple (28.0 vs. 23.7), indicando que el flujo de entrenamiento no se sobreajustó a la localización a expensas del razonamiento general.

• Estudios de Ablación:

  • Sensibilidad de FPS: El entrenamiento a 1 FPS arrojó los mejores resultados, equilibrando el costo y la evidencia temporal.
  • Diseño de Recompensa: La combinación de recompensas temporales y conscientes del movimiento fue crítica; el uso de solo recompensas conscientes del movimiento resultó en señales de aprendizaje inicial más débiles.

5. Significado y Reivindicaciones

El artículo sostiene que el cuello de botella en los MLLM basados en STVG no es simplemente la escala del modelo, sino la formulación de la tarea y el diseño de la señal de supervisión. Al desacoplar el razonamiento semántico de la generación geométrica y optimizar directamente para las métricas de la tarea mediante RL, los autores demuestran que un modelo más pequeño y especializado puede lograr un rendimiento superior en la localización de videos largos en comparación con los modelos masivos de propósito general.

Los autores posicionan este trabajo como una solución práctica para la "pieza faltante" en el STVG basado en MLLM: manejar videos largos de manera eficiente produciendo una localización temporal y espacial utilizable y estable. Señalan que, aunque el método es efectivo, el trabajo futuro podría extender estas capacidades de razonamiento a tareas más amplias como el análisis de eventos y agentes de video interactivos, o adaptar el enfoque para entornos de mundo abierto en tiempo real y con mayor ruido.