Resumen Técnico: TACO – Hacia una Adaptación de Vocabulario Abierto y Consistente con la Tarea en el Reconocimiento de Vídeo

1. Planteamiento del Problema

El artículo aborda el desafío de adaptar los Modelos de Visión-Lenguaje (VLM) a gran escala, específicamente CLIP, para el reconocimiento de vídeo de vocabulario abierto. Aunque CLIP ofrece una fuerte generalización a conceptos visuales no vistos mediante el preentrenamiento de imagen-texto, la adaptación al dominio del vídeo requiere inyectar conocimiento temporal específico de vídeo sin destruir sus capacidades de generalización preentrenadas.

Los autores identifican una inconsistencia crítica en los paradigmas de ajuste fino (fine-tuning) existentes:

• Objetivo de Entrenamiento: La optimización se restringe estrictamente al espacio de la Distribución Intra (ID) (las categorías específicas en el conjunto de datos de ajuste fino).
• Objetivo de Evaluación: El modelo se evalúa en el espacio de la Distribución Extra (OOD) (categorías no vistas).

Los métodos existentes intentan equilibrar la generalización y la especialización utilizando regularizaciones, pero pasan por alto la desviación de las representaciones que ocurre más allá de la distribución de entrenamiento. El artículo argumenta que el ajuste fino estándar provoca que las incrustaciones (embeddings) visuales y textuales se desvíen en diferentes direcciones en el espacio OOD, interrumpiendo la alineación transmodal establecida por el modelo CLIP preentrenado. Este "desplazamiento de alineación" (alignment shift) socava directamente la capacidad del modelo para generalizar a categorías de vídeo no vistas.

2. Metodología: Marco de Trabajo TACO

Para mitigar los efectos negativos de la desviación de la representación, los autores proponen TACO, un marco construido sobre dos componentes principales:

A. Destilación de Estructura Relativa (RSD)

En lugar de modelar explícitamente la semántica OOD (lo que requiere una recolección de datos costosa), TACO regulariza todo el espacio de representación para preservar su estructura geométrica relativa.

• Mecanismo: El método introduce Anclajes Geométricos Aleatorios ($Z$) muestreados de la hiperesfera unitaria del espacio de incrustaciones de CLIP. Estos anclajes actúan como puntos de referencia geométricos que son semánticamente neutros pero están distribuidos uniformemente por todo el espacio.
• Objetivo de Destilación: Se aplica una pérdida de divergencia de Kullback-Leibler (KL) para alinear las relaciones relativas entre las incrustaciones del estudiante (visual y textual) y los anclajes con las del modelo profesor (una Media Móvil Exponencial del estudiante).
  • La función de pérdida ($L_{RSD}$) asegura que la estructura geométrica definida por $vZ^\top$ y $ZW^\top$ permanezca constante entre el estudiante y el profesor.
• Efecto: Esto evita que las incrustaciones se desvíen arbitrariamente en el espacio OOD durante el ajuste fino, suprimiendo eficazmente los desplazamientos de alineación perjudiciales sin requerir datos de supervisión OOD explícitos.

B. Proyección de Especialización

Los autores observan que el ajuste fino estándar expone el espacio de representación compartido directamente a la pérdida de Entropía Cruzada (CE) específica de la tarea, lo que conduce a una sobreespecialización.

• Mecanismo: Se inserta una capa de proyección lineal residual ligera ($h(\cdot)$) entre el codificador visual y el espacio de optimización.
  • El Espacio de Representación (salida del codificador) se mantiene distinto del Espacio de Optimización (entrada a la pérdida CE).
  • El cabezal de proyección se entrena con una tasa de aprendizaje más alta y se descarta durante la inferencia.
• Efecto: Esto desacopla el espacio de representación de la presión directa del objetivo CE. La adaptación específica de la tarea ocurre en la rama de proyección "desechable", preservando la capacidad del espacio de representación subyacente para generalizar a categorías no vistas.

La función de pérdida total combina la pérdida de Entropía Cruzada estándar ($L_{CE}$) y la pérdida de Destilación de Estructura Relativa ($L_{RSD}$):
$$L = L_{CE} + \lambda L_{RSD}$$

3. Contribuciones Clave

1. Reencuadre del Problema: El artículo identifica y analiza la inconsistencia de objetivos entre el ajuste fino basado en ID y la evaluación basada en OOD en el reconocimiento de vídeo, demostrando que el ajuste fino estándar induce deriva de representación y desplazamientos de alineación en el espacio OOD.
2. Destilación de Estructura Relativa: Una técnica de regularización novedosa que preserva la estructura geométrica global del espacio de incrustaciones utilizando anclajes geométricos aleatorios, mitigando eficazmente la desviación OOD sin necesidad de datos OOD explícitos.
3. Desacoplamiento de Representación-Optimización: Una estrategia arquitectónica genérica que utiliza una Proyección de Especialización para evitar que el espacio de representación compartido sea directamente sobreespecializado por el objetivo de entrenamiento.
4. Rendimiento de Vanguardia (SOTA): El marco se valida en múltiples entornos de prueba, demostrando mejoras consistentes sobre los métodos existentes.

4. Resultados Experimentales

Los autores evalúan TACO en configuraciones de Transferencia entre Conjuntos de Datos (Cross-Dataset) y de Base-a-Novedad (Base-to-Novel) utilizando backbones ViT-B/16 y ViT-L/14.

• Rendimiento de Transferencia entre Conjuntos de Datos: TACO supera a los métodos de vanguardia (por ejemplo, Open-VCLIP, FROSTER, MoTE) en UCF-101, HMDB-51 y Kinetics-600. Por ejemplo, con un backbone ViT-L/14, TACO alcanza un 91.4% en UCF-101 y un 64.2% en HMDB-51, superando significativamente al mejor anterior (MoTE).
• Rendimiento Base-a-Novedad: TACO logra la Media Armónica (HM) más alta en K400, HMDB, UCF y Something-Something v2, lo que indica un equilibrio superior entre el ajuste a las categorías de entrenamiento y la generalización a las nuevas.
• Estudios de Ablación:
  • Anclajes: Los anclajes geométricos aleatorios muestreados de una distribución Gaussiana ($N(0, I)$) superan a los anclajes semánticos derivados de LLMs o corpus de texto, confirmando que la ganancia proviene de la cobertura geométrica y no del contenido semántico.
  • Desacoplamiento: Se demuestra que la Proyección de Especialización es efectiva en diferentes tipos de adaptación (basada en Adapters, basada en Prompts, LoRA y Ajuste Fino Completo), probando que el método es ortogonal al mecanismo de adaptación subyacente.
  • Desplazamiento de Alineación: Los experimentos confirman que TACO reduce la divergencia KL (desplazamiento de alineación) en el espacio OOD en comparación con el ajuste fino estándar, lo que se correlaciona con una mejor generalización.

5. Significado y Reivindicaciones

El artículo afirma que TACO ofrece una solución simple pero efectiva al compromiso entre generalización y especialización en el reconocimiento de vídeo de vocabulario abierto. Su principal importancia radica en desplazar el enfoque de simplemente añadir restricciones dentro de la distribución de entrenamiento hacia la preservación de la consistencia del espacio de representación más allá de la distribución de entrenamiento.

Al abordar explícitamente la desviación en el espacio OOD mediante la regularización geométrica y el desacoplamiento arquitectónico, TACO permite que los modelos adquieran conocimiento específico de vídeo manteniendo la alineación robusta y transferible heredada de CLIP. Los autores enfatizan que su enfoque es escalable, se integra fácilmente en varios procesos de adaptación y logra resultados de vanguardia sin depender de módulos de modelado temporal complejos o de la recolección costosa de datos OOD.