🤖 machine learning

Audio-Visual Continual Test-Time Adaptation without Forgetting

Ce document propose AVReCAP, une nouvelle méthode d'adaptation continue à l'instant T audio-visuelle qui atténue l'oubli catastrophique en récupérant et en adaptant dynamiquement les paramètres optimaux de la couche de fusion de modalités à partir d'un tampon en utilisant uniquement des données de test, améliorant ainsi considérablement les performances à travers des domaines non stationnaires sans accès aux données sources.

Auteurs originaux : Sarthak Kumar Maharana, Akshay Mehra, Bhavya Ramakrishna, Yunhui Guo, Guan-Ming Su

Publié 2026-07-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sarthak Kumar Maharana, Akshay Mehra, Bhavya Ramakrishna, Yunhui Guo, Guan-Ming Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robotique super intelligent capable de voir et d'entendre le monde, conçu pour reconnaître tout, d'un chien qui aboie à une sirène. Vous avez entraîné ce robot dans un studio calme et ensoleillé, et il est parfait là-bas. Mais le monde réel est désordonné. Soudain, votre robot est déployé dans une rue pluvieuse, puis sur une montagne brumeuse, puis dans un concert bondé. La luminosité change, les sons se déforment, et le robot commence à s'embrouiller. C'est le problème du « décalage de distribution » (distribution shift) : le monde change, mais le cerveau du robot reste figé dans le passé.

Pour corriger cela, les scientifiques utilisent ce qu'on appelle l'« adaptation au moment du test » (Test-Time Adaptation ou TTA). Considérez cela comme l'attribution d'une mise à jour rapide du cerveau du robot pendant qu'il travaille. Au lieu de s'arrêter pour tout réentraîner, le robot ajuste ses propres paramètres à la volée pour gérer la pluie ou le bruit. Mais il y a un pièat : si le robot continue de se modifier trop intensément, il risque d'oublier les choses simples qu'il savait faire auparavant. C'est ce qu'on appelle l'« oubli catastrophique ». C'est comme un étudiant qui étudie tellement dur pour un nouveau test de mathématiques qu'il en oublie comment faire des additions de base. Le grand défi pour les robots audio-visuels est qu'ils doivent apprendre à partir de deux sens à la fois (la vue et l'ouïe), et quand les deux sont perturbés en même temps, le robot peut vraiment s'y perdre.

Cet article présente une nouvelle méthode appelée AVReCAP pour aider ces robots à s'adapter sans oublier. Les chercheurs ont découvert une astuce ingénieuse : au lieu d'essayer de se souvenir de chaque nouvelle situation rencontrée par le robot, le robot ne devrait ajuster qu'une partie très spécifique de son cerveau — la « couche de fusion » qui combine la vue et le son. Ils ont découvert qu'une fois que cette couche apprend à gérer un type de désordre (comme la neige), elle est en réalité très efficace pour gérer d'autres désordres similaires (comme le brouillard) sans avoir besoin d'être réentraînée de zéro.

Ainsi, AVReCAP fonctionne comme un bibliothécaire intelligent. À mesure que le robot rencontre de nouveaux environnements, il prend un « instantané » rapide des réglages cérébraux qui ont le mieux fonctionné à ce moment-là et les stocke dans un tampon de mémoire spécial. Lorsque le robot fait face à un nouveau défi, il ne se contente pas de deviner ; il consulte sa bibliothèque. Si la nouvelle situation est statistiquement similaire à une situation passée (comme « pluvieux » ressemblant à « brumeux »), il extrait les anciens réglages éprouvés et les utilise comme point de départ. Si la situation est totalement nouvelle, il apprend un peu et sauvegarde un nouvel instantané. De cette façon, le robot peut s'adapter instantanément aux nouvelles conditions sans écraser ses anciennes connaissances ou être confondu par des instructions contradictoires.

Les chercheurs ont testé cela sur des jeux de données où les données étaient artificiellement corrompues par des éléments tels que la neige, le vent, le bruit statique et le brouhaha de la foule. Ils ont constaté qu'AVReCAP surpassait de manière significative les méthodes existantes. Alors que d'autres approches voyaient souvent leur précision chuter drastiquement (parfois bien en dessous de la performance originale du robot) en essayant de s'adapter à une longue séquence de nouveaux environnements, AVReCAP restait robuste. En fait, lors d'un test difficile comprenant 15 types de corruptions audio-visuelles différents, la nouvelle méthode n'a perdu qu'environ 2,9 % de sa performance par rapport à l'original, tandis que les autres méthodes en ont perdu près de 28 %. Cela suggère qu'en récupérant sélectivement les bons « réglages cérébraux » depuis une banque de mémoire plutôt qu'en les réécrivant constamment, nous pouvons garder nos robots audio-visuels intelligents, adaptables et prêts pour tout ce que le monde réel leur lancera.

Résumé Technique : AVReCAP pour l'Adaptation Continue de Test Audio-Visuelle sans Oubli

1. Définition du Problème

L'article traite de l'Adaptation Continue de Test Audio-Visuelle (AV-CTTA) sous des conditions strictes de non-accès aux données sources (source-free). Dans les déploiements réels (ex. : véhicules autonomes, robots), les modèles audio-visuels sont confrontés à des domaines cibles évolutifs et non étiquetés où des décalages de distribution se produisent dans la modalité audio, la modalité visuelle, ou les deux simultanément (décalages bimodaux).

Les défis fondamentaux identifiés sont :

Oubli Catastrophique : Les méthodes d'Adaptation de Test (TTA) existantes, lorsqu'elles sont appliquées de manière continue sur plusieurs domaines, souffrent d'une dégradation sévère des performances. La précision du modèle chute souvent de manière significative en dessous du modèle source original en raison des mises à jour continues des paramètres qui écrasent les connaissances précédemment apprises.
Accumulation d'Erreurs et Déséquilibre des Modalités : Dans les contextes bimodaux, les décalages affectent les flux audio et visuel différemment, créant un « écart de modalité ». Les mises à jour continues basées sur des étiquettes pseudo-générées (pseudo-labels) amplifient les erreurs, entraînant un mauvais alignement de la fusion cross-modale et un déclin progressif des performances.
Contraintes de Non-Accès aux Sources : L'adaptation doit se produire sans accès aux données d'entraînement de la source ni à des frontières de tâches explicites, respectant ainsi les contraintes de confidentialité et de temps réel.

2. Méthodologie : AVReCAP

Les auteurs proposent AVReCAP (Audio-Visual Retrieval-based Continual Adaptation with Parameters), un cadre qui exploite la transférabilité de paramètres spécifiques du modèle pour atténuer l'oubli.

2.1 Intuition Fondamentale : Transférabilité de la Couche de Fusion

Par une analyse empirique (Section 4.1), les auteurs observent que l'adaptation uniquement de la couche de fusion d'attention (spécifiquement les matrices de projection Query, Key et Value $W_Q, W_K, W_V$ de l'encodeur conjoint) sur un seul domaine cible produit des paramètres qui se généralisent bien à d'autres domaines non vus au sein de la même catégorie de corruption, et même à travers différentes catégories. Cela suggère que ces paramètres capturent des corrélations invariantes au domaine plutôt que de faire du surapprentissage (overfitting) sur un domaine spécifique.

2.2 Mécanisme de Récupération Sélective de Paramètres

Au lieu de réécrire continuellement les paramètres du modèle, AVReCAP utilise un tampon partagé (shared buffer) pour stocker des « instantanés » (snapshots) des paramètres de fusion adaptés et leurs statistiques d'entrée correspondantes.

Statistiques d'Entrée : Pour chaque lot (batch) entrant, la méthode calcule la moyenne ( $\mu$ ) et la covariance diagonale ( $\Sigma$ ) spécifiques à chaque modalité pour les entrées audio et visuelles, en les modélisant comme des distributions gaussiennes.
Mécanisme de Récupération (Retrieval) : À chaque étape temporelle $t$ $t$ , la méthode calcule la divergence de Kullback-Leibler (KL) entre les statistiques d'entrée actuelles et tous les éléments stockés dans le tampon.
- Si un élément du tampon $n$ est trouvé tel que la distance $g^*(t, n) < \tau$ (un seuil), les paramètres correspondants ( $W_Q, W_K, W_V$ ) sont récupérés et injectés dans le modèle.
- Le modèle effectue ensuite une étape d'adaptation unique sur ces paramètres récupérés en utilisant le lot actuel.
- Les statistiques et les paramètres de l'élément récupéré sont mis à jour via une Moyenne Mobile Exponentielle (EMA) pour lisser la transition.

2.3 Expansion du Tampon et Gestion de la Mémoire

Si aucune correspondance appropriée n'est trouvée ( $g^*(t, n) \ge \tau$ pour tout $n$ ), les paramètres et statistiques actuellement adaptés sont ajoutés au tampon en tant que nouvel élément.

Fusion (Merging) : Pour éviter une croissance illimitée de la mémoire, le tampon possède un budget de taille fixe $\eta$ . Lorsque le tampon est plein, les deux éléments les plus statistiquement similaires (divergence KL la plus faible) sont identifiés et fusionnés en faisant la moyenne de leurs statistiques et de leurs paramètres. Cela consolide les connaissances et maintient une empreinte mémoire fixe.

2.4 Fonction de Perte

L'adaptation suit l'approche READ [51], optimisant uniquement les poids de la couche de fusion ( $W_Q, W_K, W_V$ ) en utilisant une combinaison de :

Perte basée sur la confiance ( $\mathcal{L}_{conf}$ ) : Encourage des prédictions à haute confiance.
Perte d'entropie négative ( $\mathcal{L}_{ne}$ ) : Minimise l'entropie de prédiction.
Les encodeurs (audio et visuel) restent gelés tout au long du processus.

3. Principales Contributions

Étude Exhaustive : L'article fournit la première étude approfondie de l'AV-CTTA sans accès aux sources sous des corruptions unimodales et des corruptions bimodales complexes.
Découverte de la Transférabilité : Il démontre que la couche de fusion d'attention présente une forte transférabilité intra et inter-tâches, permettant la récupération sélective de paramètres à partir d'étapes temporelles passées plutôt qu'une réécriture continue.
Cadre AVReCAP : Une nouvelle méthode utilisant un tampon partagé et un mécanisme de récupération sélective qui atténue considérablement l'oubli catastrophique. Sur le benchmark difficile VGGSound-2C (15 corruptions bimodales), AVReCAP réduit la chute de performance à 2,9 % par rapport au modèle source, alors que la méthode de référence READ subit une chute de 27,9 %.
Performance de l'État de l'Art : AVReCAP surpasse les méthodes TTA existantes (TENT, EATA, SAR) et les méthodes AV-TTA (READ, SuMi, PTA, BriMPR*) sur plusieurs jeux de données (Kinetics50, VGGSound) et types de corruption.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données Kinetics50 et VGGSound avec des corruptions de niveau de sévérité 5.

Corruptions Unimodales : AVReCAP atteint une précision moyenne supérieure par rapport aux méthodes de référence. Par exemple, sur VGGSound-C avec des corruptions audio, il montre une amélioration relative de 4,95 % par rapport à la meilleure méthode suivante (PTA).
Corruptions Bimodales : Dans le contexte le plus difficile (Kinetics50-2C et VGGSound-2C), la plupart des méthodes de référence échouent à maintenir les performances de la source. AVReCAP obtient une amélioration de 1,25 % par rapport à READ sur Kinetics50-2C et une amélioration substantielle de 6,28 % par rapport au modèle source sur VGSsound-2C.
Atténuation de l'Oubli : La Figure 7 illustre qu'AVReCAP minimise l'oubli catastrophique, maintenant une précision proche du modèle source même après 15 changements de domaine successifs, tandis que les autres méthodes se dégradent considérablement.
Robustesse : La méthode reste stable sous différents ordres de tâches (ordre inverse, mélange aléatoire) et de petites tailles de lots (jusqu'à $B=8$ ).

5. Signification et Revendications

L'article affirme qu'AVReCAP représente une étape majeure vers le déploiement en temps réel des modèles audio-visuels dans des environnements changeants en continu. En passant du paradigré de la « réécriture continue » à celui de la « récupération sélective de paramètres de fusion généralisables », la méthode équilibre efficacement l'adaptation aux nouveaux domaines et la préservation des connaissances de la source.

Les auteurs soulignent que leur approche respecte des contraintes de confidentialité strictes (pas d'accès aux données sources) et une efficacité de mémoire (taille de tampon fixe via la fusion), ce qui la rend adaptée au déploiement sur des périphériques (edge computing). Ils reconnaissent des limites, notamment la surcharge de recherche linéaire ( $O(N)$ ) pour la récupération à mesure que le tampon croît et l'hypothèse que les modèles suivent une architecture de fusion tardive spécifique (encodeurs spécifiques à la modalité + encodeur conjoint). Cependant, ce travail établit de nouveaux standards (SOTA) pour l'adaptation continue audio-visuelle robuste.