💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

Le document propose AWARe, une méthode de réglage fin qui atténue l'oubli catastrophique dans les grands modèles de langage multimodaux en gelant dynamiquement les paramètres critiques pour les connaissances antérieures en fonction des schémas d'activation, préservant ainsi les capacités amont tout en atteignant une performance en aval supérieure sans modifier les architectures des modèles.

Auteurs originaux : Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot brillant et super intelligent qui a passé des années à lire tous les livres de la bibliothèque et à observer tous les tableaux du monde. Ce robot, un Modèle de Langage de Grande Taille Multimodal (MLLM), est incroyable pour comprendre à la fois les images et les mots. Mais voici la partie délicate : si vous essayez d'enseigner au robot une nouvelle compétence spécifique — comme résoudre un jeu de puzzle ou écrire un poème sur un chat particulier — il oublie souvent tout ce qu'il savait déjà. C'est comme si vous appreniez une nouvelle chanson au piano avec tant d'intensité que vous en oubliez soudainement comment lacer vos chaussures. Cet « oubli » est appelé l'oubli catastrophique, et c'est un véritable casse-tête pour les scientifiques qui veulent que ces modèles d'IA restent utiles et savants lorsqu'ils apprennent de nouvelles choses.

Le papier que vous allez lire s'attaque à ce problème avec une méthode ingénieuse appelée AWARe. Pensez au cerveau du robot comme à une immense ville avec des milliards de petits travailleurs (neurones) effectuant différentes tâches. Quand le robot apprend quelque chose de nouveau, il demande généralement à tous les travailleurs de changer leurs habitudes, ce qui provoque le chaos et le fait oublier ses anciennes tâches. AWARe suggère une approche plus intelligente : au lieu de demander à tout le monde de changer, on écoute les travailleurs pour voir qui est actuellement le plus bruyant (le plus actif) lorsque le robot traite ses anciennes tâches familières. On dit ensuite à ces travailleurs spécifiques et occupés : « Vous restez exactement comme vous êtes ! Continuez votre ancien travail. » Seuls les travailleurs plus calmes et moins occupés sont autorisés à changer leurs habitudes pour apprendre la nouvelle tâche. De cette façon, le robot apprend la nouvelle compétence sans perdre ses anciens souvenirs.

Le Problème : Le Bug de l'« Écrasement »

Les Modèles de Langage de Grande Taille Multimodaux sont comme des étudiants surpuissants qui ont déjà obtenu leur diplôme d'une université massive d'images et de textes. Ils peuvent raisonner, expliquer et discuter de presque tout. Mais quand nous essayons de les « affiner » (fine-tuning) — pour leur enseigner un nouveau métier spécifique comme identifier des conditions médicales ou répondre à des questions sur un jeu vidéo précis — ils souffrent souvent d'un oubli catastrophique.

Imaginez que vous essayez d'apprendre un nouveau pas de danse. Si vous le pratiquez si intensément que vous en oubliez comment marcher, c'est l'oubli catastrophique. Dans le monde de l'IA, cela se produit parce que le processus d'apprentissage de la nouvelle tâche implique la mise à jour des « poids » internes du modèle (les boutons et les cadrans qui contrôlent sa pensée). Lorsque le modèle ajuste ces cadrans pour la nouvelle tâche, il tourne accidentellement ceux qui soutenaient ses connaissances anciennes, provoçant l'effondrement de ses anciennes compétences.

La Solution : AWARe (Activation-Weighted Adaptive REtention)

Les auteurs proposent une méthode appelée AWARe pour corriger cela. Au lieu de changer aveuglément tout le cerveau, AWARe agit comme un bibliothécaire intelligent qui sait exactement quels livres sont les plus importants à garder sur l'étagère.

Voici comment cela fonctionne, étape par étape :

La Phase d'Écoute (Profilage) : Avant d'enseigner quoi que ce soit de nouveau au robot, les chercheurs le laissent regarder un petit ensemble d'exemples de « calibration » (comme quelques vieilles photos ou questions qu'il connaît déjà bien). Ils ne regardent pas seulement la structure du cerveau du robot ; ils observent comment le cerveau s'illumine. Ils mesurent l'activation — la quantité d'énergie que chaque petit travailleur (neurone) utilise lors du traitement de ces tâches familières.
La Décision de Gel (Freeze) : Les chercheurs ont découvert que certains neurones sont super actifs et critiques pour les anciennes connaissances du robot, tandis que d'autres sont plus relaxés. AWARe identifie les neurones « bruyants » (les 30 % les plus actifs) et leur dit : « Vous êtes essentiels ! Gelez-vous (Freeze). » Cela signifie que leurs paramètres sont verrouillés et ne peuvent pas être modifiés.
La Phase d'Adaptation : Les neurones restants (les 70 % les plus calmes) sont laissés déverrouillés. Lorsque le robot apprend la nouvelle tâche, seuls ces neurones déverrouillés sont autorisés à changer. Les neurones verrouillés gardent les anciens souvenirs du robot en sécurité.

Pourquoi c'est une avancée majeure

Le papier montre que cette méthode change la donne pour deux raisons principales :

Une Mise à Niveau « Évidente » : Contrairement à d'autres méthodes qui nécessitent la création de nouveaux ajouts complexes au cerveau du robot ou le stockage de gigantesques bibliothèques de données anciennes (ce qui prend beaucoup de mémoire), AWARe travaille avec le cerveau existant du robot. Il ne change pas l'architecture ; il change simplement quelles parties sont autorisées à bouger. C'est comme réorganiser les meubles d'une pièce sans construire de nouveaux murs.
Cela fait des Miracles : Dans leurs expériences, l'équipe a testé AWARe sur des modèles comme LLaVA-v1.5 et Qwen2.5-VL.
- En apprenant au modèle à répondre à des questions sur des diagrammes (IconQA), AWARe a préservé les connaissances anciennes du modèle (comme répondre à des questions générales sur les images) à 98,4 % de leur force originale, tout en apprenant très bien la nouvelle tâche.
- Dans un test d'apprentissage continu où le modèle devait apprendre cinq tâches consécutives (comme des questions médicales, de la conduite et de la finance), AWARe a surpassé toutes les autres méthodes, maintenant un score moyen 3,18 points plus élevé que la deuxième meilleure méthode.

Ce que le Papier Dit (et ne Dit Pas)

Les auteurs sont très clairs sur ce qu'ils ont trouvé et sur ce qu'ils n'ont pas trouvé.

Ce qui fonctionne : Ils ont prouvé que l'utilisation de l'activation (le niveau de travail d'un neurone) est un meilleur moyen de décider quoi geler que de simplement regarder la taille du poids ou de choisir des neurones au hasard. Si vous choisissez des neurones au hasard, le modèle oublie presque immédiatement ses anciennes compétences. Si vous les choisissez en fonction de leur « volume », le modèle reste intelligent.
Ce qui ne fonctionne pas (ou n'est pas nécessaire) : Ils ont montré qu'il n'est pas nécessaire de geler l'intégralité du cerveau. Geler seulement les 30 % des neurones les plus actifs dans des parties spécifiques du cerveau (les couches d'auto-attention et le connecteur qui lie les images au texte) est suffisant. Geler les parties « MLP » (les couches de réflexion profonde) nuit en réalité aux performances, ce qui suggère que ces couches sont destinées à être flexibles.
Le Jeu de Calibration « Magique » : L'une des découvertes les plus cool est que vous n'avez pas besoin des données d'entraînement originales du robot pour déterminer quels neurones geler. Vous pouvez utiliser un ensemble de questions générales et aléatoires (comme le jeu de données MMMU) pour faire le profilage. Même avec ces données génériques, AWARe fonctionne presque aussi bien que s'ils avaient utilisé les données spécifiques d'origine. Cela rend la méthode très pratique pour une utilisation réelle.
Efficacité : La méthode est incroyablement efficace. Dans leur configuration optimale, ils n'ont mis à jour qu'environ 17,5 % des paramètres totaux. Cela signifie que l'ordinateur n'a pas besoin de travailler presque autant qu'il le ferait s'il devait mettre à jour l'ensemble du modèle.

L'Essentiel à Retenir

AWARe suggère que le secret pour empêcher une IA d'oublier n'est pas de l'empêcher d'apprendre, mais d'être sélectif sur ce qu'elle change. En écoutant quelles parties du cerveau travaillent le plus sur les anciennes tâches et en les protégeant, nous pouvons enseigner à ces modèles de nouveaux tours sans perdre leur sagesse ancienne. C'est une façon simple, efficace et étonnamment douce de garder nos amis numériques intelligents, stables et prêts pour ce qui vient après.

Résumé Technique : AWARe

Problématique

Les modèles de langage de grande taille multimodaux (MLLM) possèdent de fortes capacités de généralisation et de raisonnement issues d'un pré-entraînement à grande échelle. Cependant, l'ajustement fin (fine-tuning) de ces modèles sur des tâches en aval déclenche souvent un oubli catastrophique (catastrophic forgetting - CF), où l'optimisation pour de nouveaux objectifs dégrade les capacités amont précédemment acquises. Ce problème est particulièrement sévère dans les MLLM en raison de l'interaction complexe entre les modalités et de la haute dimensionnalité de l'espace des paramètres. Les stratégies d'atténuation existantes, telles que le rejeu d'expérience (experience replay) ou les méthodes basées sur la régularisation, imposent souvent des coûts de calcul prohibitifs ou peinent à passer à l'échelle avec des milliards de paramètres. De plus, les méthodes de réglage fin efficace des paramètres (PEFT) comme LoRA, bien qu'elles réduisent le nombre de paramètres entraînables, ne préviennent pas intrinsèquement l'érosion des connaissances pré-entraînées, car elles peuvent tout de même perturber les caractéristiques amont fiables. Le défi central consiste à permettre aux MLLM de s'adapter aux tâches en aval tout en préservant de manière robuste les capacités pré-entraînées sans engendrer de coûts excessifs ou de modifications architecturales.

Méthodologie : AWARe

Les auteurs proposent AWARe (Activation-Weighted Adaptive REtention), un cadre de réglage fin qui atténue l'oubli catastrophique en contrôlant dynamiquement les mises à jour de paramètres basées sur les motifs d'activation. La méthode s'inspire du principe selon lequel une petite fraction de poids associés à de fortes amplitudes d'activation est disproportionnellement importante pour préserver le comportement du modèle (un concept observé dans les études de quantification et d'élagage (pruning) sensibles à l'activation).

AWARe opère en deux phases :

Profilage des connaissances (Knowledge Profiling) :
- La méthode utilise un petit ensemble de calibration ( $S_{cal}$ ) échantillonné à partir de tâches amont. Si les données amont ne sont pas disponibles, un benchmark à usage général (ex: MMMU) sert de substitut.
- Pour une couche linéaire cible avec une matrice de poids $W$ , le modèle effectue une passe avant sur l'ensemble de calibration pour obtenir un tenseur d'activation $A$ .
- Estimation de la saillance (Saliency Estimation) : La méthode calcule un score de saillance pour chaque neurone de sortie via un processus d'agrégation en trois étapes :
  1. Calcul de la norme L2 des activations le long de la dimension de longueur de séquence.
  2. Application d'une normalisation L2 par échantillon à travers la dimension cachée pour assurer la comparabilité et prévenir les biais provenant d'activations de type "outlier".
  3. Moyennage des valeurs normalisées sur le batch pour générer un vecteur de saillance final $s$ .
- Ce processus identifie les neurones qui capturent systématiquement des caractéristiques structurelles à travers diverses tâches amont.
Réglage fin contraint (Constrained Fine-tuning) :
- Sur la base des scores de saillance, un ratio de rétention $\rho$ (ex: 30 %) est utilisé pour identifier la fraction des neurones de sortie les plus saillants (top- $\rho$ ) de manière globale à travers les couches cibles.
- Un masque de gradient binaire $M_{grad}$ est construit où les lignes correspondant aux neurones de haute saillance sont fixées à 0 (gelées), et les autres à 1 (entraînables).
- Pendant l'optimisation en aval, les paramètres associés aux régions saillantes sont maintenus constants via des mises à jour de gradient masquées : $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- Sélection de la cible (Target Selection) : AWARe applique spécifiquement cette stratégie aux couches de projection linéaire au sein des mécanismes d'auto-attention ( $q\_proj, k\_proj, v\_proj$ ) et au projecteur multimodal ( $mm\_projector$ ). Les autres composants, tels que les blocs MLP et la projection de sortie, restent entièrement gelés. Cette sélection est basée sur les constatations selon lesquelles la mise à jour des projections d'auto-attention cause moins d'oubli des connaissances préexistantes que les blocs MLP.

Principales Contributions

Cadre AWARe : L'introduction d'une méthode simple, basée sur l'activation, pour préserver les connaissances amont critiques lors de l'adaptation en aval des MLLM. Elle réutilise la saillance d'activation des contextes de compression et de fusion (merging) pour l'atténuation de l'oubli.
Efficacité et Simplicité : L'approche ne nécessite aucun changement architectural, n'introduit aucun module d'adaptateur supplémentaire et ne met à jour qu'un petit sous-ensemble de paramètres (environ 17,5 % dans le réglage optimal). Elle évite le besoin de buffers de rejeu ou de statistiques de second ordre.
Validation Complète : Les auteurs démontrent, à travers des études d'ablation et des benchmarks, que la saillance basée sur l'activation est un critère efficace pour la sélection de paramètres, surpassant la sélection par magnitude de poids statique ou la sélection aléatoire.

Résultats Expérimentaux

Les auteurs ont évalué AWARe sur le squelette LLaVA-v1.5-7B et ont validé sa transférabilité à Qwen2.5-VL-7B.

Adaptation en aval à tâche unique (Single-Task Downstream Adaptation) : Sur IconQA (VQA) et COCO-Caption (Image Captioning), AWARe a atteint un équilibre supérieur entre Rétention de Connaissances (R) (stabilité des tâches amont) et Efficacité d'Apprentissage (E) (performance sur la nouvelle tâche).
- Comparé aux bases de référence de pointe (incluant LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt et SPIDER), AWARe a maintenu des taux de rétention élevés (ex: $R \approx 98,4$ sur IconQA) tout en atteignant des performances en aval compétitives.
- Notamment, l'utilisation d'un ensemble de calibration à usage général (MMMU) au lieu des données amont spécifiques a produit des résultats comparables à l'utilisation de l'ensemble complet des données amont, démontrant ainsi sa robustesse.
Réglage fin instructionnel continu (Continual Instruction Tuning) : Sur le benchmark MLLM-DCL (une séquence de cinq tâches : Télédétection, Médical, Conduite autonome, Science, Finance), AWARe a obtenu la meilleure performance moyenne sur l'ensemble des tâches et la meilleure performance finale après la dernière tâche. Il a amélioré les moyennes globales de 3,18 et 1,77 points par rapport à la base de référence la plus forte (DISCO) dans les métriques de moyenne et de dernière tâche, respectivement.
Études d'Ablation :
- Stratégie de Sélection : La sélection basée sur l'activation a nettement surpassé la sélection aléatoire et la sélection basée sur la norme de poids (weight-norm).
- Ratio de Rétention : Un ratio de rétention de 30 % (gelant les 30 % supérieurs des neurones saillants) a fourni le meilleur compromis stabilité-plasticité.
- Cibles d'Entraînement : L'application d'AWARe aux deux projections d'auto-attention et au projecteur multimodal a donné les meilleurs résultats. Le gel total des blocs MLP était crucial, car leur ajustement fin entraînait un effondrement sévère des performances sur les tâches amont.

Signification et Revendications

L'article affirme qu'AWARe offre une solution pratique et efficace à l'oubli catastrophique dans les MLLM en exploitant des motifs d'activation dynamiques et dépendants des données plutôt que des priors de poids statiques. La signification de ce travail réside dans :

Indépendance de l'Architecture : Il fonctionne sans modifier les architectures de modèles, garantissant la compatibilité avec les moteurs d'inférence existants.
Rentabilité : En gelant les paramètres de haute saillance et en ne mettant à jour qu'une petite fraction, il réduit considérablement la charge de calcul par rapport au réglage fin complet ou aux méthodes basées sur le rejeu.
Robustesse : La méthode reste efficace même lorsque les données de tâches amont sont restreintes, en s'appuyant sur des ensembles de calibration à usage général.
Compromis Stabilité-Plasticité : AWARe parvient à équilibrer la préservation des capacités générales fondamentales avec la flexibilité requise pour l'adaptation à des tâches spécialisées, répondant ainsi à un goulot d'étranglement critique pour le déploiement pratique des MLLM.

Les auteurs reconnaissent des limites, notant que la qualité des données de calibration peut influencer les régions gelées sélectionnées et que des changements de distribution extrêmement importants pourraient nécessiter un ajustement du ratio de rétention. Cependant, le cadre proposé établit une nouvelle référence pour un réglage fin multimodal efficace et stable.