InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

Resumen Técnico: InstAP

1. El Problema

Los paradigmas actuales de Pre-entrenamiento Visión-Lenguaje (VLP) han demostrado un gran éxito en la comprensión global de escenas (ej. CLIP), pero presentan deficiencias críticas en el razonamiento a nivel de instancia.

• Limitación principal: La mayoría de los modelos se entrenan con supervisión global (un video completo alineado con un texto completo), lo que obliga al modelo a aprender correspondencias "promedio" o holísticas.
• Consecuencia: Los modelos fallan al identificar, distinguir y localizar objetos o entidades específicas mencionadas en el texto dentro de un video. Por ejemplo, si el texto dice "un niño lanza una pelota roja mientras un perro salta", un modelo global puede entender el evento general pero no puede localizar qué región visual corresponde a la "pelota" o al "perro".
• Barreras existentes:
  • Falta de datos a gran escala con anotaciones de instancias (trayectorias espaciotemporales) y descripciones libres.
  • Las soluciones actuales suelen "injertar" capacidades de instancias post-hoc usando detectores de objetos pre-entrenados, lo que introduce errores de detección y no integra la comprensión de instancias en el núcleo del aprendizaje de representaciones.

2. Metodología

Los autores proponen InstAP, un marco de pre-entrenamiento que aprende representaciones que capturan tanto el contexto global como información detallada a nivel de instancia, integrando ambas en un solo proceso de alineación.

A. El Dataset: InstVL
Para soportar este entrenamiento, se introduce InstVL, un dataset a gran escala con 2 millones de imágenes y 50,000 videos. Su característica clave es la anotación de doble granularidad:

1. Descripción Global (Holística): Un subtítulo de escena completo para el contexto general.
2. Descripciones de Instancia (Grounded): Descripciones densas y libres (frases completas) ancladas a regiones visuales específicas (cajas 2D en imágenes) o trayectorias espaciotemporales en videos.

• Pipeline de creación: Se utilizó GroundingDINO para detección y SAM2 para seguimiento de instancias, alimentando un modelo de lenguaje visual grande (LLM) para generar las descripciones textuales.

B. Arquitectura y Objetivos de Entrenamiento
InstAP utiliza un enfoque de dos etapas y una arquitectura basada en Transformers:

1. Modelado de Video enmascarado Auto-supervisado (Teacher-Student):

   • Se entrena un "estudiante" (ViT) para reconstruir características semánticas de alto nivel de un "profesor" (CLIP-ViT congelado) a partir de tokens visibles, utilizando un enmascaramiento guiado por atención. Esto fortalece la representación espaciotemporal antes de la alineación con el texto.

2. Alineación Global-Local Consciente de Instancias:

   • Alineación Global: Pérdidas estándar de contraste (VTC), emparejamiento (VTM) y modelado de lenguaje enmascarado (MLM) entre el video completo y el texto.
   • Alineación de Instancia (Novedad):
     • Se extraen características de recortes (crops) o trayectorias específicas de instancias.
     • Se utiliza un mecanismo de Atención Cruzada Global-Local para fusionar las características de la instancia con el contexto global del video.
     • Pérdida de Contraste de Instancia ($L_{inst}^{VTC}$): Se fuerza al modelo a alinear la descripción de una instancia específica con su región visual correspondiente. Un truco crucial es el enmascaramiento de falsos negativos: si una instancia $A$ en un video coincide con el texto $A$, pero hay otra instancia $B$ en el mismo video con texto $B$, el modelo no debe penalizarse por emparejar $A$ con $B$ (ya que están en el mismo video), evitando así el ruido en el aprendizaje.
   • Pérdida Total: Combina la reconstrucción enmascarada, la alineación global y las tres pérdidas específicas de instancia (Contraste, Emparejamiento y MLM).

3. Contribuciones Clave

1. InstVL Dataset: El primer recurso a gran escala y de dominio general que proporciona anotaciones de oraciones libres tanto para regiones estáticas como para trayectorias espaciotemporales completas de instancias.
2. Marco InstAP: Un nuevo paradigma de pre-entrenamiento que integra la alineación de instancias directamente en el núcleo del modelo, en lugar de tratarla como una tarea auxiliar o post-procesamiento.
3. Hallazgo de Generalización: Demostración de que el pre-entrenamiento centrado en instancias mejora la comprensión global. Los modelos entrenados con InstAP superan a los baselines globales en tareas de recuperación cero-shot (zero-shot), indicando que la alineación fina refuerza la representación holística.

4. Resultados

Los experimentos validan la superioridad de InstAP en múltiples frentes:

• Rendimiento en InstVL (Benchmarks de Recuperación):

  • InstAP supera significativamente a modelos SOTA (como VideoPrism, CLIP4Clip, UMT-L) en recuperación de instancias (T2V y V2T).
  • En la tarea de recuperación de instancias en video (InstVL-1K video), alcanza un 60.63% de R@1, superando ampliamente a trabajos anteriores.
  • Aislamiento de beneficios: Al compararse con un baseline fuerte (UMT-L) entrenado en el mismo corpus de datos (InstVL), InstAP supera al baseline (44.05% vs 34.83% en instancias). Esto prueba que la mejora proviene de la arquitectura y el objetivo de alineación, no solo de la cantidad de datos.

• Generalización Zero-Shot:

  • InstAP establece nuevos récords en benchmarks estándar como MSR-VTT (41.1 R@1) y DiDeMo (54.0 R@1), superando incluso a la versión original de UMT-L.
  • Esto confirma que la comprensión fina no degrada, sino que potencia la comprensión global.

• Alineación Espacial-Temporal (Grounding):

  • En tareas de localización de cajas (IoU), InstAP mejora drásticamente el rendimiento, especialmente en video (mejora de IoU@90 de 14.44 a 25.13).
  • Las visualizaciones muestran que InstAP localiza frases textuales en regiones visuales precisas, mientras que los modelos globales muestran atención difusa y desalineada.

• Estudios de Ablación:

  • La adición de la pérdida de alineación de instancias ($L_{inst}$) aporta la mayor ganancia (+17.61 puntos en recuperación de instancias en video).
  • El uso de trayectorias temporales explícitas es crítico para el entendimiento espaciotemporal.

5. Significado e Impacto

El trabajo InstAP representa un avance fundamental en la visión por computadora y el procesamiento del lenguaje natural:

• Cambio de Paradigma: Demuestra que la comprensión de instancias no debe ser una tarea secundaria, sino un componente central del pre-entrenamiento de modelos multimodales.
• Robustez: Al aprender a anclar el lenguaje a objetos específicos en el tiempo y el espacio, los modelos se vuelven más robustos ante escenas complejas, oclusiones y distracciones semánticas.
• Aplicabilidad: Este enfoque es crucial para aplicaciones avanzadas como la búsqueda de video basada en consultas complejas, la respuesta a preguntas centradas en objetos (Object-Centric QA) y la interacción robótica que requiere entender acciones específicas de entidades en movimiento.

En resumen, InstAP cierra la brecha entre la comprensión holística de escenas y el razonamiento granular de objetos, estableciendo un nuevo estándar para la comprensión espaciotemporal en modelos visión-lenguaje.