STORM: End-to-End Referring Multi-Object Tracking in Videos

Resumen Técnico: STORM

1. El Problema: Rastreo de Múltiples Objetos de Referencia (RMOT)

El objetivo central de este trabajo es abordar el Rastreo de Múltiples Objetos de Referencia (RMOT). A diferencia del rastreo tradicional (donde se sigue un objeto específico sin guía semántica) o la localización de objetos de referencia en imágenes estáticas, el RMOT requiere que un modelo:

1. Localice (Grounding): Identifique y delimite con cajas delimitadoras todos los objetos en un video que coincidan semánticamente con una expresión de referencia textual compleja (ej. "el niño con la camiseta roja y el perro que corre detrás de él").
2. Rastre (Tracking): Mantenga la identidad y la trayectoria de esos objetos a lo largo de todas las frames del video.

Limitaciones de los enfoques existentes:

• Módulos separados: Las soluciones actuales suelen descomponer la tarea en módulos independientes (un detector de objetos + un rastreador + un codificador de texto), lo que impide un razonamiento unificado.
• Falta de datos: Existe una escasez crítica de videos anotados para RMOT, lo que dificulta el entrenamiento de modelos grandes.
• Anotaciones ambiguas: Los conjuntos de datos existentes a menudo tienen expresiones de referencia poco claras o cubren dominios limitados (principalmente escenas urbanas).
• Incapacidad de razonamiento: Los modelos basados en LLMs (Modelos de Lenguaje Grandes Multimodales) actuales a menudo operan en imágenes estáticas o requieren detectores externos, perdiendo la capacidad de razonar sobre la consistencia temporal y las relaciones causales entre objetos.

2. Metodología: STORM

Los autores proponen STORM (Spatial-Temporal Object Referential Model), el primer marco de trabajo end-to-end basado en un Modelo de Lenguaje Grande Multimodal (MLLM) diseñado específicamente para RMOT.

Arquitectura:

• Base: Utiliza una arquitectura estilo LLaVA, combinando un codificador visual basado en ViT (Vision Transformer) y un LLM (basado en LLaMA).
• Procesamiento: El modelo extrae tokens visuales de cada frame y los proyecta al espacio de texto. El LLM recibe estos tokens junto con la consulta de texto y genera las coordenadas de las cajas delimitadoras en formato de texto estructurado.
• Salida: El modelo genera directamente las coordenadas $(x1, y1, x2, y2)$ para cada objeto identificado en cada frame, permitiendo un razonamiento coherente sobre apariencia, movimiento y lenguaje sin módulos externos.

Estrategia Clave: Aprendizaje por Composición de Tareas (TCL)
Dado que los datos de RMOT son escasos, los autores introducen TCL (Task-Composition Learning), una estrategia de entrenamiento en dos etapas que descompone la tarea compleja en subtareas con abundantes datos:

1. Etapa 1 (Pre-entrenamiento en subtareas):
   • Se entrena el modelo en grandes conjuntos de datos de anclaje de imágenes (image grounding) para aprender la alineación visual-lenguaje.
   • Se incorpora Rastreo de Objeto Único (SOT) para aprender consistencia temporal y representaciones de movimiento.
   • Se utiliza Rastreo de Objeto Único de Referencia (RSOT) para integrar la alineación visual-lenguaje con el seguimiento temporal.
2. Etapa 2 (Ajuste fino específico):
   • Se realiza un ajuste fino (fine-tuning) en el nuevo conjunto de datos STORM-Bench.
   • Se emplea una estrategia de Cadena de Pensamiento (Chain-of-Thought, CoT), guiando al modelo a generar trazas de razonamiento intermedias: primero localizar los objetos en la primera frame y luego rastrearlos secuencialmente.

3. Contribuciones Clave

1. STORM (Modelo): El primer MLLM de extremo a extremo para RMOT que elimina la necesidad de detectores o rastreadores externos, unificando la localización y el seguimiento en un solo marco de razonamiento.
2. TCL (Estrategia de Entrenamiento): Un marco simple pero efectivo que reduce drásticamente la dependencia de datos específicos de RMOT. Permite transferir conocimiento de tareas subyacentes (grounding y SOT) para generalizar a tareas complejas de múltiples objetos.
3. STORM-Bench (Nuevo Dataset):
   • Un nuevo conjunto de datos de alta calidad con 15,093 videos de entrenamiento y 714 de evaluación.
   • Contiene 200,000 expresiones de referencia diversas y 73,700 objetos rastreados.
   • Pipeline de anotación "Bottom-up": A diferencia de los enfoques anteriores que generan cajas y luego descripciones, este pipeline primero localiza objetos, genera descripciones detalladas mediante LLMs y luego las verifica rigurosamente para eliminar ambigüedades.
   • Cubre una amplia gama de dominios (personas, animales, muebles, electrónica) y no se limita a escenas de tráfico.

4. Resultados Experimentales

Los experimentos demuestran que STORM establece el estado del arte (SOTA) en múltiples benchmarks:

• Anclaje de Imágenes (Image Grounding): Supera a modelos como Shikra, M-GPT2 y Ferret en los benchmarks RefCOCO, RefCOCO+ y RefCOCOg, demostrando que el entrenamiento en video no degrada la capacidad de localización estática.
• Rastreo de Objeto Único de Referencia (RSOT): En el conjunto de datos Elysium, STORM supera a Elysium (el modelo base anterior), especialmente cuando se utilizan prompts más largos y complejos, validando la transferencia de conocimiento desde el grounding.
• Rastreo de Múltiples Objetos de Referencia (RMOT):
  • En STORM-Bench, STORM supera a los métodos basales (Grounding DINO, Qwen2.5-VL, VisionLLMv2, LaMOT) con una ventaja significativa.
  • Métricas: Logra un HOTA de 66.7 (frente a 46.7 de LaMOT) y un IDF1 de 78.3 (frente a 48.8 de LaMOT).
  • Análisis de Ablación: La estrategia TCL mejora el HOTA en +31.9 puntos y el IDF1 en +41.9 puntos en comparación con un modelo entrenado solo con datos de RMOT, demostrando la eficiencia en el uso de datos.

5. Significado e Impacto

• Paradigma Unificado: STORM demuestra que los MLLMs pueden aprender representaciones espacio-temporales unificadas sin depender de módulos de detección tradicionales, permitiendo un razonamiento más profundo sobre las relaciones entre objetos y el lenguaje.
• Eficiencia de Datos: La estrategia TCL ofrece una solución viable al problema de la escasez de datos en tareas de visión complejas, permitiendo que los modelos aprendan tareas nuevas a partir de datos de subtareas abundantes.
• Calidad de Datos: STORM-Bench establece un nuevo estándar para la evaluación de RMOT, corrigiendo la ambigüedad y la falta de diversidad en los conjuntos de datos anteriores, lo que es crucial para el desarrollo de sistemas de visión robustos en el mundo real.
• Aplicaciones: Este avance es fundamental para aplicaciones como la comprensión de video, la interacción humano-robot, la percepción en vehículos autónomos y la búsqueda semántica en grandes bases de datos de video.

En conclusión, STORM representa un salto cualitativo hacia sistemas de visión artificial capaces de entender y seguir instrucciones lingüísticas complejas en entornos dinámicos y multiojeto, superando las limitaciones de las arquitecturas modulares anteriores.