Resumen Técnico: CAE-AV

Planteamiento del Problema

El aprendizaje audiovisual (AVL, por sus siglas en inglés) busca modelar conjuntamente el contenido visible y las fuentes acústicas. Sin embargo, un desafío crítico en los escenarios de video de mundo abierto es la desalineación audio-visual. Esta desalineación surge de fuentes de sonido fuera de pantalla, desorden de fondo, cortes de cámara (por ejemplo, cambiar a una vista distante mientras el audio continúa) y bandas sonoras de postproducción (por ejemplo, un visual de violín con audio de piano).

Los métodos existentes de eficiencia de parámetros que operan sobre backbones preentrenados congelados suelen asumir una alineación estricta cuadro por cuadro. Cuando ocurre la desalineación, estos métodos tienden a:

1. Amplificar regiones o momentos irrelevantes al forzar la fusión cross-modal en cuadros desajustados.
2. Introducir ruido en el proceso de razonamiento, lo que conduce a un entrenamiento inestable y a una degradación de la calidad de la representación.
3. No lograr distinguir entre escenarios que requieren un fuerte enfoque espacial (alineados) frente a aquellos que requieren agregación temporal (desalineados).

Metodología

Los autores proponen CAE-AV (Mejora guiada por acuerdo y alineación de subtítulos), un marco construido sobre backbones preentrenados congelados (Swin Transformer para lo visual y HTS-AT para lo audio). CAE-AV introduce dos módulos complementarios para aliviar la desalineación sin descongelar los pesados parámetros del backbone:

1. Enriquecimiento Espacio-Temporal guiado por Acuerdo Cross-modal (CASTE)

CASTE opera dentro de cada capa del backbone para equilibrar dinámicamente las relaciones espaciales y temporales basadas en el acuerdo a nivel de cuadro.

• Puerta de Acuerdo (Agreement Gate): Calcula prototipos a nivel de cuadro para los tokens visuales y de audio y los proyecta en un espacio semántico compartido. Calcula una puntuación de similitud de coseno ($g$) para medir el acuerdo.
• Mecanismo de Sesgo (Bias Mechanism): Un vector de fusión agrega evidencia unimodal, discrepancias cross-modales y características co-ocurrentes. Un MLP genera preferencias para el enriquecimiento espacial frente al temporal. Crucialmente, la puntuación de acuerdo $g$ sesga esta decisión: los cuadros con alto acuerdo favorecen el modelado espacial, mientras que los cuadros con bajo acuerdo (desalineación) favorecen el modelado temporal para agregar evidencia a través del tiempo.
• Módulos de Enriquecimiento:
  • Enriquecimiento Espacial: Utiliza atención separable (inspirada en MobileViT) para recalibrar los tokens dentro de un cuadro con complejidad lineal, evitando costos cuadráticos.
  • Enriquecimiento Temporal: Aplica convoluciones 1D depthwise a lo largo del eje temporal para suavizar la dinámica y capturar información de vecindad local.
• Inyección Selectiva: Una máscara de saliencia Top-K selecciona los tokens más discriminativos para el enriquecimiento, evitando la inyección uniforme de ruido. Los resultados se combinan mediante una combinación convexa ponderada por la puerta de acuerdo.

2. Enriquecimiento guiado por Saliencia y Alineación de Subtítulos (CASE)

CASE aprovecha prioridades semánticas de alto nivel para guiar la alineación después del procesamiento del backbone.

• Generación de Subtítulos (Captions): Un Modelo de Lenguaje de Gran Escala Multimodal (MLLM) congelado genera subtítulos para los cuadros visuales brutos y las formas de onda de audio. Estos subtítulos son luego codificados por un codificador de texto CLIP congelado.
• Anclaje Semántico: Las características de los subtítulos se proyectan para coincidir con las dimensiones de canal del backbone.
• Refinamiento Guiado: El módulo utiliza atención cruzada para inyectar la semántica de los subtítulos en las características visuales y de audio. Calcula el acuerdo entre las características enriquecidas y las características de los subtítulos para determinar la fuerza de la inyección.
• Consolidación Temporal: Convoluciones temporales depthwise separable suavizan las características, asegurando un enfoque estable en las regiones sonoras incluso bajo oclusión o cambios de punto de vista.

3. Objetivos de Entrenamiento

Para guiar la selección de tokens y fortalecer la alineación, CAE-AV emplea funciones de pérdida ligeras:

• Información InfoNCE de Subtítulo-a-Modalidad: Una pérdida contrastiva alinea las características visuales/de audio con sus subtítulos correspondientes, excluyendo negativos dentro del mismo video para evitar negativos fáciles.
• Consistencia Visual-Audio: Minimiza la distancia de coseno entre las representaciones específicas de la modalidad dentro del mismo cuadro.
• Regularización de Entropía: Fomenta probabilidades de selección Top-K más nítidas para evitar una selección de tokens difusa.

Contribuciones Clave

1. Marco Novedoso: La introducción de CAE-AV, que aborda la desalineación audio-visual a través de dos vías complementarias: el equilibrio espacio-temporal guiado por acuerdo (CASTE) y la inyección semántica alineada con subtítulos (CASE).
2. Adaptación Dinámica: La capacidad del módulo CASTE para cambiar dinámicamente entre el enfoque espacial y temporal basándose en el acuerdo cross-modal estimado, permitiendo al modelo manejar eficazmente tanto escenarios alineados como desalineados.
3. Guía Semántica: La utilización de subtítulos generados por MLLM como anclajes semánticos explícitos e interpretables para corregir la deriva de la atención cross-modal, en lugar de depender únicamente de las interacciones de características latentes.
4. Eficiencia de Parámetros: El método logra un rendimiento de vanguardia manteniendo los backbones preentrenados pesados congelados, añadiendo solo adaptadores y módulos de enriquecimiento ligeros.

Resultados Experimentales

CAE-AV fue evaluado en cuatro tareas descendentes utilizando backbones congelados Swin-V2-L y HTS-AT:

• Localización de Eventos Audio-Visuales (AVE): Alcanzó un 82.6% de precisión en el conjunto de prueba AVE, igualando al método actual de estado del arte (SOTA) de backbone congelado (AVMoE) con la misma configuración de backbone.
• Análisis de Video Audio-Visual (AVVP): Superó a AVMoE por un 1.7% en tipo de audio y un 0.6% en métricas de nivel de evento en el conjunto de datos LLP.
• Preguntas y Respuestas Audio-Visuales (AVQA): Logró una precisión promedio del 76.7% en MUSIC-AVQA, superando a AVMoE (75.7%) y otros métodos SOTA.
• Segmentación Audio-Visual (AVS): En AVSBench, CAE-AV mejoró el índice de Jaccard (MJ) en +0.8 (configuración S4) y +0.6 (configuración MS3) en comparación con AVMoE.

Los Estudios de Ablación confirmaron que CASTE mejora significativamente el razonamiento temporal y la localización en escenarios desalineados, mientras que CASE mejora el enfoque semántico y la alineación. La combinación de ambos módulos produce los mejores resultados en todas las tareas.

El Análisis Cualitativo demostró que CAE-AV maneja con éxito escenarios complejos como:

• Segmentación de objetos cuando el ángulo de la cámara cambia (por ejemplo, segar el césped).
• Distinción entre múltiples fuentes de sonido (por ejemplo, piano vs. violín).
• Mantenimiento de la consistencia de segmentación cuando la fuente de sonido está temporalmente ocluida o fuera de pantalla.

Significancia

El artículo afirma que CAE-AV proporciona una solución robusta al problema persistente de la desalineación audio-visual en videos de mundo abierto. Al desacoplar el backbone pesado del proceso de adaptación e introducir mecanismos explícitos para detectar y manejar la desalineación (mediante puertas de acuerdo y subtítulos semánticos), el marco logra un rendimiento de vanguardia con una eficiencia de parámetros notable. Los autores enfatizan que su enfoque estabiliza el entrenamiento y la inferencia sin el costo computacional de descongelar grandes modelos preentrenados, lo que lo convierte en una solución práctica para aplicaciones audiovisuales multitarea.