Resumen Técnico: CEZSAR

Definición del Problema

El artículo aborda el Reconocimiento de Acciones en Cero Disparos (ZSAR) en videos, una tarea dirigida a clasificar instancias de acciones pertenecientes a clases que no estuvieron presentes durante la fase de entrenamiento del modelo. Los autores identifican dos desafíos persistentes en los enfoques existentes de ZSAR:

1. La Brecha Semántica: Una desalineación entre el dominio visual (representado por CNNs o Transformers) y el dominio textual (representado por modelos de lenguaje). Incluso en espacios de incrustación conjuntos, la distribución de las características visuales a menudo diverge de sus contrapartes semánticas. Por ejemplo, acciones como "Caballo con Arco" y "Barra de Equilibrio" comparten estructuras de escena similares (gimnasios) pero difieren en movimientos y equipamiento específicos, lo que genera confusión en los espacios de incrustación.
2. Cambio de Dominio: La discrepancia en las distribuciones de probabilidad entre el conjunto de entrenamiento y el conjunto de prueba no visto. Dado que el conjunto de prueba es desconocido durante el entrenamiento, los modelos luchan por generalizar a nuevas distribuciones de datos.

Los métodos existentes a menudo dependen de atributos definidos por humanos o incrustaciones de palabras simples (por ejemplo, Word2Vec, GloVe), que no logran capturar diferencias semánticas finas o requieren un esfuerzo manual extenso. Además, aunque modelos preentrenados a gran escala como CLIP muestran promesa, requieren recursos computacionales masivos y datos (cientos de millones de pares) que a menudo son inaccesibles.

Metodología: CEZSAR

Los autores proponen CEZSAR (Método de Incrustación Contrastiva para Reconocimiento de Acciones en Cero Disparos), un modelo diseñado para aprender un espacio de incrustación conjunto para videos y descripciones en lenguaje natural utilizando aprendizaje contrastivo.

Arquitectura

El modelo consta de dos módulos principales:

• Módulo de Incrustación Visual (VEM):
  • Los videos se muestrean a 1 cuadro por segundo (FPS).
  • Los cuadros se codifican utilizando una Red Neuronal Convolucional (CNN) preentrenada, específicamente ResNet-152, produciendo una pila de características.
  • Una capa totalmente conectada reduce la dimensionalidad, seguida de un Codificador Transformer con atención auto-referencial de múltiples cabezas para modelar la información temporal.
  • La salida se proyecta en un espacio semántico conjunto (128 dimensiones).
• Módulo de Incrustación de Oraciones (SEM):
  • Las descripciones en lenguaje natural se procesan utilizando Sentence-BERT (SBERT) para generar incrustaciones de 768 dimensiones.
  • Estas se proyectan mediante una capa totalmente conectada en el mismo espacio semántico conjunto.

Estrategia de Entrenamiento: Muestreo de Negativos Difíciles

Una innovación central es el procedimiento de muestreo automático de negativos difíciles, que elimina la necesidad de pares negativos anotados por humanos:

1. Filtrado Semántico: El modelo utiliza un modelo SBERT preentrenado para evaluar la similitud entre oraciones. Las oraciones con alta similitud coseno (por encima de un umbral $\tau$) se consideran semánticamente similares.
2. Aumento Basado en Objetos: El sistema detecta objetos en el video y genera descripciones para ellos. Luego selecciona descripciones negativas que son suficientemente diferentes tanto de la descripción anotada por humanos como de las descripciones generadas por objetos.
3. Generación de Tripletes: Este proceso genera tripletes compuestos por (video, descripción positiva, descripción negativa). Los autores reportan la generación de aproximadamente tres millones de tripletes a partir del conjunto de datos ActivityNet Captions.
4. Función de Pérdida: El modelo se entrena utilizando una función de Pérdida de Triplete, que minimiza la distancia entre un video y su descripción positiva mientras maximiza la distancia a su descripción negativa.

Clasificación

Durante la inferencia, el modelo mapea tanto el video de entrada como los prototipos de clase (definidos por descripciones de oraciones) en el espacio de incrustación conjunto. La clasificación se realiza utilizando una regla del vecino más cercano basada en la similitud coseno. La incrustación final del video ($VidE$) puede incorporar opcionalmente información semántica a nivel de objeto ($O(v)$) junto con las características visuales crudas ($VE(v)$), controlada por los parámetros de ponderación $\alpha$ y $\beta$.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Un Método Contrastivo Transmodal Novel: CEZSAR asocia efectivamente las características visuales con descripciones de oraciones, reduciendo significativamente la brecha semántica entre modalidades.
2. Proyección Modular: La arquitectura permite que los videos y las descripciones se proyecten a través de subredes distintas, facilitando la inclusión de modalidades adicionales (texto, imágenes u otros videos) sin reentrenar todo el modelo contrastivo.
3. Eficiencia y Robustez: El método logra resultados de vanguardia en benchmarks estándar utilizando una sola GPU y una fracción de los datos y el tiempo de entrenamiento requeridos por modelos a gran escala como CLIP.

Resultados Experimentales

El método fue evaluado en los conjuntos de datos UCF-101 y Kinetics-400 bajo diversas configuraciones de división en cero disparos (por ejemplo, 0% de clases vistas, 100% de clases no vistas).

• UCF-101: Bajo la configuración 0/101 (todas las clases no vistas), CEZSAR logró una precisión del 95.2% (visualizada en la Fig. 1b), una mejora significativa sobre la línea base ZSARCAP (67.2%) y otros métodos de vanguardia. La inclusión de semántica a nivel de objeto proporcionó mejoras marginales pero consistentes.
• Kinetics-400: El modelo superó a todos los métodos anteriores de vanguardia en todas las configuraciones de prueba (25, 100 y 400 clases no vistas). Para la división de 400 clases, logró una precisión del 23.8%, superando el mejor resultado anterior de 20.4%.
• Muestras Difíciles: En un subconjunto de 15 clases difíciles y altamente similares (por ejemplo, distinguir entre "montar a caballo" y "carrera de caballos"), CEZSAR logró una precisión del 63.3% en comparación con el 47.4% de ZSARCAP. Las matrices de confusión indican una reducción sustancial en errores de clasificación, particularmente para grupos que involucran equipamiento o escenarios similares.

Significado y Afirmaciones

Los autores afirman que CEZSAR demuestra que el aprendizaje contrastivo es un enfoque sencillo pero efectivo para cerrar la brecha semántica en ZSAR. Al condicionar el aprendizaje de características visuales sobre descripciones textuales —una modalidad menos susceptible al cambio de dominio—, el modelo mitiga naturalmente el problema del cambio de dominio.

El artículo enfatiza que un alto rendimiento en el reconocimiento en cero disparos no requiere necesariamente infraestructura de preentrenamiento a escala masiva (por ejemplo, miles de GPUs y cientos de millones de pares de datos). En cambio, un marco contrastivo cuidadosamente diseñado con muestreo automático de negativos puede lograr resultados superiores en conjuntos de datos estándar utilizando significativamente menos recursos (1000 veces menos representaciones visuales y 100 veces menos pares de datos que los modelos a escala CLIP, entrenados en unas pocas horas en una sola GPU). El trabajo sugiere que el principal impulsor de las ganancias de rendimiento es la reducción efectiva de la brecha semántica en lugar de meramente el volumen de información semántica.