Resumen Técnico: AVReCAP para la Adaptación Continua de Pruebas Audio-Visuales sin Olvido

1. Definición del Problema

El artículo aborda la Adaptación Continua de Pruebas Audio-Visuales (AV-CTTA) bajo condiciones estrictas de ausencia de fuente (source-free). En despliegues del mundo real (por ejemplo, vehículos autónomos, robots), los modelos audio-visuales se enfrentan a dominios objetivo evolutivos y no etiquetados donde ocurren cambios de distribución en la modalidad de audio, en la modalidad visual, o en ambas simultáneamente (cambios bimodales).

Los desafíos centrales identificados son:

• Olvido Catastrófico: Los métodos de Adaptación de Tiempo de Prueba (TTA) existentes, cuando se aplican continuamente a través de múltiples dominios, sufren una degradación severa del rendimiento. La precisión del modelo a menudo cae significativamente por debajo del modelo fuente original debido a las actualizaciones continuas de parámetros que sobrescriben el conocimiento previamente aprendido.
• Acumulación de Errores y Desequilibrio de Modalidades: En configuraciones bimodales, los cambios afectan a los flujos de audio y visual de manera diferente, creando una "brecha de modalidad". Las actualizaciones continuas basadas en etiquetas pseudo-etiquetadas (pseudo-labels) agravan los errores, lo que conduce a una fusión trans-modal desalineada y a un declive progresivo del rendimiento.
• Restricciones de Ausencia de Fuente: La adaptación debe ocurrir sin acceso a los datos de entrenamiento de la fuente ni a límites de tareas explícitos, cumpliendo con las restricciones de privacidad y de tiempo real.

2. Metodología: AVReCAP

Los autores proponen AVReCAP (Audio-Visual Retrieval-based Continual Adaptation with Parameters), un marco que aprovecha la transferibilidad de parámetros específicos del modelo para mitigar el olvido.

2.1 Percepción Central: Transferibilidad de la Capa de Fusión

A través de un análisis empírico (Sección 4.1), los autores observan que adaptar únicamente la capa de fusión de atención (específicamente las matrices de proyección de Consulta, Clave y Valor $W_Q, W_K, W_V$ del codificador conjunto) en un único dominio objetivo produce parámetros que se generalizan bien a otros dominios no vistos dentro de la misma categoría de corrupción e incluso a través de diferentes categorías. Esto sugiere que estos parámetros capturan correlaciones invariantes al dominio en lugar de sobreajustarse a un dominio específico.

2.2 Recuperación Selectiva de Parámetros

En lugar de sobrescribir continuamente los parámetros del modelo, AVReCAP emplea un buffer compartido para almacenar "instantáneas" (snapshots) de los parámetros de fusión adaptados y sus estadísticas de entrada correspondientes.

• Estadísticas de Entrada: Para cada lote entrante, el método calcula la media ($\mu$) y la covarianza diagonal ($\Sigma$) específica de la modalidad para las entradas de audio y visual, modelándolas como distribuciones gaussianas.
• Mecanismo de Recuperación: En cada paso de tiempo $t$, el método calcula la divergencia de Kullback-Leibler (KL) entre las estadísticas de entrada actuales y todos los elementos almacenados en el buffer.
  • Si se encuentra un elemento en el buffer $n$ donde la distancia $g^*(t, n) < \tau$ (un umbral), los parámetros correspondientes ($W_Q, W_K, W_V$) son recuperados e insertados en el modelo.
  • El modelo realiza entonces un único paso de adaptación sobre estos parámetros recuperados utilizando el lote actual.
  • El elemento recuperado y sus estadísticas se actualizan mediante una Media Móvil Exponencial (EMA) para suavizar la transición.

2.3 Expansión del Buffer y Gestión de Memoria

Si no se encuentra una coincidencia adecuada ($g^*(t, n) \ge \tau$ para todo $n$), los parámetros y estadísticas actualmente adaptados se añaden al buffer como un nuevo elemento.

• Fusión (Merging): Para evitar un crecimiento ilimitado de la memoria, el buffer tiene un presupuesto de tamaño fijo $\eta$. Cuando el buffer está lleno, se identifican y fusionan los dos elementos estadísticamente más similares (menor divergencia KL) promediando sus estadísticas y parámetros. Esto consolida el conocimiento y mantiene una huella de memoria fija.

2.4 Función de Pérdida

La adaptación sigue el enfoque de READ [51], optimizando únicamente los pesos de la capa de fusión ($W_Q, W_K, W_V$) utilizando una combinación de:

1. Pérdida basada en confianza ($\mathcal{L}_{conf}$): Fomenta predicciones de alta confianza.
2. Pérdida de Entropía Negativa ($\mathcal{L}_{ne}$): Minimiza la entropía de la predicción.
   Los codificadores (audio y visual) permanecen congelados durante todo el proceso.

3. Contribuciones Clave

1. Estudio Exhaustivo: El artículo proporciona el primer estudio extenso de AV-CTTA sin fuente bajo corrupciones unimodales y los desafiantes escenarios bimodales.
2. Descubrimiento de la Transferibilidad: Demuestra que la capa de fusión de atención exhibe una fuerte transferibilidad intra y trans-tarea, permitiendo la recuperación selectiva de parámetros de pasos de tiempo pasados en lugar de la sobrescritura continua.
3. Marco AVReCAP: Un método novedoso que utiliza un buffer compartido y un mecanismo de recuperación selectiva que mitiga significativamente el olvido catastrófico. En el difícil benchmark VGGSound-2C (15 corrupciones bimodales), AVReCAP reduce la caída de rendimiento al 2.9% en comparación con el modelo fuente, mientras que el método base READ sufre una caída del 27.9%.
4. Rendimiento de Vanguardia (SOTA): AVReCAP supera a las líneas base existentes de TTA (TENT, EATA, SAR) y AV-TTA (READ, SuMi, PTA, BriMPR*) en múltiples conjuntos de datos (Kinetics50, VGGSound) y tipos de corrupción.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos Kinetics50 y VGGSound con corrupciones de nivel de severidad 5.

• Corrupciones Unimodales: AVReCAP logra una precisión media superior comparada con las líneas base. Por ejemplo, en VGGSound-C con corrupciones de audio, muestra una mejora relativa del 4.95% sobre el siguiente mejor método (PTA).
• Corrupciones Bimodales: En el escenario más desafiante (Kinetics50-2C y VGGSound-2C), la mayoría de las líneas base fallan en mantener el rendimiento del nivel de la fuente. AVReCAP logra una mejora del 1.25% sobre READ en Kinetics50-2C y una mejora sustancial del 6.28% sobre el modelo fuente en VGSSound-2C.
• Mitigación del Olvido: La Figura 7 ilustra cómo AVReCAP minimiza el olvido catastrófico, manteniendo la precisión cercana al modelo fuente incluso después de 15 cambios de dominio secuenciales, mientras que otros métodos se degradan significativamente.
• Robustez: El método permanece estable bajo órdenes de tareas variables (orden inverso, mezcla aleatoria) y tamaños de lote pequeños (hasta $B=8$).

5. Significado y Reivindicaciones

El artículo afirma que AVReCAP representa un gran paso adelante en el despliegue en tiempo real de modelos audio-visuales en entornos que cambian continuamente. Al cambiar el paradigma de la "sobrescritura continua" a la "recuperación selectiva de parámetros de fusión generalizables", el método equilibra eficazmente la adaptación a nuevos dominios con la preservación del conocimiento de la fuente.

Los autores enfatizan que su enfoque cumple con estrictas restricciones de privacidad (sin acceso a datos de la fuente) y eficiencia de memoria (tamaño de buffer fijo mediante fusión), lo que lo hace adecuado para el despliegue en el borde (edge deployment). Reconocen limitaciones, incluyendo la sobrecarga de búsqueda lineal ($O(N)$) para la recuperación a medida que el buffer crece y la suposición de que los modelos siguen una arquitectura de fusión tardía específica (codificadores específicos de la modalidad + codificador conjunto). Sin embargo, este trabajo establece nuevos estándares SOTA para la adaptación continua audio-visual robusta.