🤖 machine learning

Regularizing modality contribution drift in multimodal continual learning

Cet article identifie et quantifie la « dérive de la contribution des modalités » (MCD) comme un problème critique dans l'apprentissage continu multimodal, où l'importance relative des modalités change à travers les tâches, et propose un nouveau cadre de régularisation (CMCDR) comprenant des variantes basées sur la relecture et sans relecture pour préserver les structures de contribution des modalités et atténuer l'oubli.

Auteurs originaux : Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à comprendre le monde. Vous ne lui montrez pas seulement des images ; vous lui donnez une expérience sensorielle complète : une vidéo d'un chien qui aboie, l'enregistrement d'une sirène, ou une photo d'un coucher de soleil accompagnée d'une description. C'est ce qu'on appelle l'apprentissage multimodal. Le robot apprend à combiner ces différents « sens » (comme la vue et l'ouïe) pour prendre des décisions intelligentes. Mais voici la partie délicate : le monde change constamment. De nouveaux types de chiens, de nouveaux sons, de nouvelles questions apparaissent chaque jour. C'est l'apprentissage continu. Le robot doit continuer à apprendre de nouvelles choses sans oublier les anciennes.

Voyez cela comme un étudiant passant une série d'examens. D'abord, il apprend à identifier les animaux. Ensuite, il apprend à identifier les véhicules. Un étudiant intelligent ne devrait pas oublier comment repérer un chat simplement parce qu'il étudie maintenant les camions. Par le passé, les scientifiques ont tenté de résoudre ce problème en s'assurant que le « cerveau » du robot (sa représentation interne) restait cohérent. Ils voulaient que le robot voie un chat et un camion d'une manière qui ne devienne pas confuse. Mais cette publication suggère que maintenir la stabilité de la carte interne du cerveau du robot ne suffit pas. Le vrai problème est la façon dont le robot utilise cette carte pour prendre une décision finale. Se fie-t-il principalement à ce qu'il voit ? Ou écoute-t-il davantage ? Si le robot apprend une nouvelle tâche qui nécessite d'écouter plus, il pourrait accidentellement commencer à ignorer les indices visuels sur lesquels il s'appuyait pour les anciennes tâches. Cette publication appelle ce changement la Dérive de la Contribution Modale (Modality Contribution Drift). C'est comme un étudiant qui, après avoir appris une nouvelle matière, se met soudainement à deviner les réponses à d'anciens problèmes de mathématiques en se basant sur une intuition qu'il n'utilisait jamais auparavant, ce qui mène à des erreurs.

Les chercheurs, Zhen Zhang et son équipe de l'Université de l'Asie du Sud-Ouest, ont remarqué que les méthodes actuelles manquaient ce type spécifique d'oubli. Ils ont découvert que même lorsque la compréhension interne des images et des sons du robot restait la même, la façon dont il pondérait ces entrées pour prendre une décision dérivait. Pour corriger cela, ils ont inventé une nouvelle méthode appelée Régularisation de la Dérive de la Contribution Modale Continue (CMCDR).

Considérez la CMCDR comme un « coach de décision » strict pour le robot. Lorsqu'un robot apprend une nouvelle tâche, ce coach vérifie : « Hé, souviens-toi de la façon dont tu résolvais ce vieux problème ? Tu t'appuyais sur un mélange spécifique de sens pour réussir. Ne change pas cette recette juste parce que tu as appris quelque chose de nouveau. » La méthode fonctionne de deux manières. Si le robot possède une banque de mémoire d'exemples anciens (basée sur la relecture/replay), le coach teste le robot sur ces exemples anciens pour s'assurer qu'il utilise toujours le bon mélange de sens. Si le robot n'a pas d'exemples anciens (sans relecture/replay-free), le coach utilise les nouveaux exemples comme terrain de test, demandant au robot de prétendre qu'il résout les anciens problèmes et s'assurant qu'il ne dévie pas de sa stratégie originale.

L'équipe a testé cette idée sur plusieurs ensembles de données complexes, notamment des tâches audio-visuelles comme la reconnaissance de sons dans des vidéos et la réponse à des questions sur des images. Ils ont constaté que le simple fait d'ajouter leur « coach » aux méthodes existantes faisait une énorme différence. Par exemple, sur un ensemble de données appelé AVE, l'ajout de la CMCDR à une méthode standard appelée iCaRL a fait passer la précision moyenne du robot de 64,20 % à 71,90 % et a réduit le taux d'oubli de moitié (passant de 25,60 % à 17,40 %). Plus intéressant encore, ils ont montré que la CMCDR fonctionne parallèlement à d'autres méthodes qui tentent de maintenir la stabilité de la structure interne du cerveau du robot. C'est comme avoir un coach qui corrige le processus de décision pendant qu'un autre coach maintient l'organisation de la mémoire du cerveau ; ensemble, ils travaillent mieux que l'un ou l'autre seul.

La publication suggère que ce « dérive » est un problème réel et distinct que les méthodes précédentes n'ont pas pleinement traité. Ils ont prouvé par des expériences que le simple fait de maintenir la stabilité des caractéristiques internes du robot (faire en sorte qu'il voie un chat de la même manière) ne garantit pas qu'il prendra la même décision (s'appuyer sur la vue plutôt que sur l'ouïe). En régularisant directement la contribution de chaque sens, ils ont montré que les robots peuvent apprendre de nouvelles choses sans perdre leurs anciennes habitudes de prise de décision. Ce n'est pas seulement un petit ajustement ; c'est un nouveau principe sur la façon dont nous enseignons aux machines à apprendre de manière continue, garantissant qu'elles ne se contentent pas de mémoriser des faits, mais qu'elles se souviennent aussi de comment elles les ont compris au départ.

Résumé Technique : Régularisation de la Dérive de Contribution des Modalités dans l'Apprentissage Continuel Multimodal

1. Définition du Problème : Dérive de Contribution des Modalités (MCD)

L'apprentissage continu multimodal (MMCL) vise à apprendre de nouvelles connaissances à partir de données multimodales séquentielles tout en préservant les connaissances acquises précédemment. Les méthodes existantes se concentrent principalement sur l'atténuation de l'oubli catastrophique en alignant les représentations inter-modales ou en préservant la similarité sémantique à travers les étapes incrémentielles. Cependant, les auteurs identifient un mode de défaillance critique et sous-exploré : la Dérive de Contribution des Modalités (MCD - Modality Contribution Drift).

Bien que l'alignement des représentations garantisse que les espaces de caractéristiques restent stables, il ne garantit pas que les contributions relatives de chaque modalité individuelle (par exemple, l'audio, le visuel) et de leurs interactions au processus de décision restent stables. Différentes tâches reposent souvent sur des dépendances de modalités distinctes (par exemple, une tâche de traversée de route repose fortement sur les indices visuels, tandis qu'une tâche de réponse aux questions nécessite un raisonnement audio-visuel conjoint). Lorsqu'un modèle apprend une nouvelle tâche avec des schémas de dépendance différents, il peut altérer la structure de contribution au niveau de la décision des tâches précédemment apprises, entraînant un oubli même si les représentations sous-jacentes semblent stables.

Les auteurs formalisent la MCD comme un décalage dans la force de contribution (magnitude du bénéfice) et la dépendance relative (distribution de l'évidence à travers les modalités) des tâches apprises précédemment. Ils démontrent, de manière théorique et empirique, que les mécanismes conventionnels d'apprentissage continu (comme le replay et la distillation) ainsi que les méthodes basées sur la stabilité de la représentation (comme l'alignement inter-modal) ne préviennent pas nécessairement cette dérive.

2. Méthodologie : Régularisation de la Dérive de Contribution des Modalités Continuelle (CMCDR)

Pour traiter la MCD, les auteurs proposent la Régularisation de la Dérive de Contribution des Modalités Continuelle (CMCDR), un cadre conçu pour préserver la structure de contribution des modalités des tâches apprises précédemment tout en permettant l'adaptation à de nouvelles dépendances.

Mécanisme Central : Estimation par Intervention
La méthode repose sur un estimateur de diagnostic basé sur l'intervention. En supprimant systématiquement des sous-ensembles de modalités (en les remplaçant par des symboles d'absence $\perp$ ) et en mesurant le changement de bénéfice prédictif (marge de log-odds) qui en résulte, le modèle calcule un profil de contribution. Ce profil décompose le bénéfice de l'entrée complète en termes spécifiques pour les modalités individuelles et leurs interactions en utilisant une transformée de Möbius.

Deux Variantes de CMCDR
Le cadre s'adapte à différents contextes de MMCL concernant la disponibilité des anciens exemplaires :

CMCDR Basé sur le Replay :
- Contexte : Les anciens échantillons sont disponibles.
- Mécanisme : Le modèle actuel est comparé à un modèle précédent gelé sur les anciens échantillons stockés.
- Contrainte : La méthode minimise la distance entre le profil de contribution du modèle actuel et le profil du modèle gelé pour les mêmes étiquettes de vérité terrain. Cela contraint les changements tant dans les contributions spécifiques aux modalités que dans les interactions.
CMCDR Sans Replay (Replay-Free) :
- Contexte : Aucun ancien échantillon n'est disponible.
- Mécanisme : Les échantillons de la tâche actuelle sont utilisés comme "sondes" pour interroger l'espace de décision de la tâche ancienne.
- Contrainte : Le modèle actuel est régularisé pour correspondre aux réponses de contribution du modèle précédent gelé pour les logits des anciennes classes. Pour éviter le bruit provenant des réponses faibles de l'enseignant, les profils de contribution sont pondérés par la probabilité de la modalité complète du modèle gelé sur l'espace de sortie de l'ancienne classe.

Fonction de Perte
La perte de régularisation ( $L_{cmcdr}$ ) combine deux termes :

Correspondance Absolue : Minimise la différence entre les vecteurs de contribution bruts.
Correspondance Relative : Minimise la différence entre les vecteurs de contribution normalisés (ajustés en échelle) pour préserver les schémas de dépendance relative à travers les modalités.

3. Contributions Clés

Identification du Problème : L'article définit et quantifie formellement la Dérive de Contribution des Modalités (MCD), l'identifiant comme une cause distincte d'oubli dans le MMCL qui persiste même lorsque les représentations inter-modales sont alignées.
Aperçu Théorique : Les auteurs fournissent des preuves théoriques (Propositions 1 et 2) démontrant que :
- Des décalages de contribution négatifs suffisamment importants peuvent épuiser la marge de rétention, provoquant l'oubli.
- La stabilité de la représentation (contrainte des cartes de caractéristiques) est insuffisante pour la stabilité de la contribution car la carte de décision peut encore dériver indépendamment de la carte de caractéristiques.
Proposition Méthodologique : L'introduction de CMCDR, un régularisateur "plug-and-play" disponible dans des versions avec et sans replay, qui contraint explicitement l'évolution des structures de contribution des modalités.
Complémentarité : Le travail démontre que CMCDR traite un mode de défaillance distinct de l'alignement des représentations, offrant des bénéfices complémentaires lorsqu'il est combiné avec des méthodes existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué CMCDR sur l'apprentissage incrémentiel de classes multimodales (AVE, Kinetics-Sounds, UESTC-MMEA-CL) et sur l'apprentissage continu de questions-réponses visuelles (VQAv2, Split-AVQA, Split-MUSIC-AVQA).

Gains de Performance : CMCDR a systématiquement amélioré la précision moyenne (gains de 2,13 % à 7,70 %) et réduit l'oubli moyen (réductions de 0,85 % à 11,55 %) par rapport à divers modèles de base (ex. LwF, EWC, iCaRL, AV-CIL).
Réduction de la Dérive : La méthode a considérablement réduit le score MCD, indiquant une meilleure préservation des structures originales de dépendance aux modalités.
Complémentarité : Lorsqu'il est combiné avec des méthodes d'alignement de représentation (RepAlign, CrossSDC), CMCDR apporte des améliorations supplémentaires en termes de précision et de réduction de l'oubli, confirmant que la stabilité de la représentation et la stabilité de la contribution sont des objectifs complémentaires.
Analyse par Classe : Les résultats ont montré que les classes présentant une MCD de base plus élevée (dérive initiale plus forte) ont le plus bénéficié de CMCDR, affichant une réduction de dérive et une préservation de l'exactitude plus marquées.

5. Signification et Revendications

L'article affirme que la stabilité de la contribution des modalités est un principe nécessaire et complémentaire à la stabilité de la représentation dans l'apprentissage continu multimodal. Les auteurs soutiennent que la préservation de la géométrie inter-modale seule est insuffisante car elle ne contraint pas la manière dont les modalités et leurs interactions soutiennent les décisions individuelles.

En introduisant une métrique de diagnostic (MCD) et un cadre de régularisation (CMCDR), ce travail fournit un mécanisme pour gérer explicitement l'évolution des dépendances entre modalités. Les auteurs positionnent CMCDR comme une solution généralisable qui améliore les performances à travers divers benchmarks et contextes de MMCL, motivant la recherche future sur les approximations de coalitions extensibles pour les systèmes comportant de nombreuses modalités. Le travail ne prétend pas résoudre tous les problèmes de MMCL, mais cible spécifiquement l'écart entre la stabilité de la représentation et la stabilité de la contribution au niveau de la décision.