SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding

Resumen Técnico: SlotVTG

1. El Problema: Falta de Generalización en MLLMs para VTG

El Grounding Temporal de Video (VTG) consiste en localizar momentos específicos en videos no recortados basándose en consultas en lenguaje natural. Aunque los Modelos de Lenguaje Multimodal Grandes (MLLMs) han mostrado un rendimiento prometedor, su aplicación directa a VTG presenta dos problemas críticos:

• Comprensión Temporal Coarse: Los MLLMs generales carecen de la comprensión temporal fina necesaria para esta tarea, lo que hace indispensable el ajuste fino (fine-tuning).
• Sobreajuste a "Atajos" del Dataset: Cuando se ajustan finamente en conjuntos de datos limitados (como Charades-STA o QVHighlights), los modelos tienden a memorizar atajos específicos del conjunto de datos (sesgos temporales, textuales o de apariencia) en lugar de anclarse genuinamente al contenido visual.
• Degradación Fuera de Dominio (OOD): Como resultado, estos modelos sufren una caída drástica de rendimiento al evaluar en datos fuera de dominio (OOD) que difieren visualmente de los datos de entrenamiento. Los experimentos del paper muestran que, en escenarios OOD, el modelo ignora el contenido visual real y se basa en patrones superficiales aprendidos, fallando incluso cuando se perturba el segmento de verdad fundamental (ground-truth) de manera similar a segmentos aleatorios.

2. Metodología: SlotVTG

Los autores proponen SlotVTG, un marco de trabajo eficiente en parámetros que introduce aprendizaje centrado en objetos dentro de MLLMs preentrenados sin necesidad de reentrenar toda la tubería de visión-lenguaje.

Componentes Clave:

• Adaptador de Ranuras (Slot Adapter):

  • Se inserta en las capas tempranas del decodificador del MLLM (donde ocurren las interacciones entre frames).
  • Descomposición: Utiliza un mecanismo de atención competitiva (slot attention) para descomponer los tokens visuales originales en un conjunto compacto de ranuras abstractas (slots). Cada ranura tiende a especializarse en una entidad semántica distinta (persona, objeto, fondo).
  • Reconstrucción: Reconstruye la secuencia original de tokens a partir de estas ranuras mediante atención cruzada, permitiendo que la información visual fluya a través de representaciones de nivel de entidad antes de llegar a las capas profundas del modelo.
  • Eficiencia: Es un módulo ligero que se añade a un MLLM existente (como Qwen2.5-VL) sin modificar su arquitectura base masiva.

• Pérdida de Alineación de Ranuras (Slot Alignment Loss - SA Loss):

  • Para asegurar que las ranuras formen agrupaciones semánticamente coherentes y no arbitrarias, se introduce una pérdida de regularización.
  • Esta pérdida alinea los mapas de atención de las ranuras con priors de "objetidad" extraídos de un modelo de visión auto-supervisado preentrenado (DINOv2).
  • Esto fuerza al modelo a agrupar tokens visualmente similares (que pertenecen al mismo objeto) en la misma ranura, fomentando una representación invariante al dominio.

• Entrenamiento:

  • El codificador de visión se mantiene congelado.
  • Se ajustan conjuntamente los parámetros del Adaptador de Ranuras y las capas LoRA (Low-Rank Adaptation) en las capas profundas del decodificador.
  • La función de pérdida total combina la entropía cruzada estándar con la pérdida de alineación de ranuras ($L_{total} = L_{CE} + \lambda L_{SA}$).

3. Contribuciones Clave

1. Diagnóstico del Problema: Identifican y demuestran empíricamente que el ajuste fino ingenuo de MLLMs en VTG lleva a memorizar atajos del dataset en lugar de anclarse al contenido visual, causando fallos severos en generalización OOD.
2. SlotVTG: Proponen un marco eficiente que integra representaciones centradas en objetos en MLLMs existentes mediante un adaptador ligero y una pérdida de alineación basada en DINOv2.
3. Rendimiento Superior en OOD: Demuestran que este enfoque mejora significativamente la robustez fuera de dominio manteniendo un rendimiento competitivo en el dominio de entrenamiento (ID), con una sobrecarga mínima de parámetros (aprox. 0.25% - 0.33% de parámetros entrenables adicionales).

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks estándar (Charades-STA, QVHighlights, ActivityNet Captions) con configuraciones de entrenamiento y prueba cruzada (ID vs. OOD).

• Mejora en Generalización OOD: SlotVTG supera consistentemente a los modelos base (como Chrono-Qwen) y a métodos especializados basados en DETR en escenarios OOD.
  • Ejemplo: Entrenado en Charades-STA y probado en QVHighlights (OOD), SlotVTG (7B) logra un 57.6 R1@0.5 frente a 53.5 del modelo base, una mejora significativa.
  • En la dirección inversa (QVH $\to$ Charades), también muestra mejoras consistentes.
• Comparación con Zero-Shot: Un modelo SlotVTG de 3B ajustado en un solo dataset supera a varios modelos zero-shot de 7B en escenarios OOD.
• Análisis de Visualización: Las visualizaciones de las ranuras muestran que el modelo aprende a separar escenas en entidades semánticas (personas, objetos) de manera coherente tanto en datos de entrenamiento como en datos no vistos, sin supervisión específica de dominio.
• Estudios de Ablación: Confirman que:
  • La inserción en capas tempranas es crucial.
  • La pérdida SA es necesaria para la generalización (su eliminación reduce el rendimiento OOD).
  • El mecanismo de reconstrucción por atención cruzada es superior a la repetición simple de tokens.

5. Significado e Impacto

El trabajo de SlotVTG es significativo porque aborda la raíz del problema de la generalización en VTG: la dependencia de patrones superficiales del dataset.

• Paradigma de Eficiencia: En lugar de reentrenar costosos modelos de visión-lenguaje desde cero (como requieren otros enfoques centrados en objetos), SlotVTG ofrece una solución "plug-and-play" que puede adaptarse a MLLMs existentes con un coste computacional y de parámetros mínimo.
• Robustez Real: Al forzar al modelo a anclarse en entidades visuales (objetos) en lugar de en correlaciones espurias del dataset, SlotVTG permite que los sistemas de VTG funcionen de manera fiable en entornos del mundo real, donde la distribución de datos cambia constantemente.
• Dirección Futura: Establece que la descomposición centrada en objetos es una vía prometedora para mejorar la comprensión visual profunda en modelos de lenguaje grandes, más allá de la simple generación de texto.