Résumé Technique : Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

1. Énoncé du Problème

L'apprentissage continu (Continual Learning - CL) vise à permettre aux modèles d'acquérir de nouvelles connaissances de manière incrémentale à partir d'un flux de tâches sans oubli catastrophique. Bien que les méthodes de réglage fin efficace en paramètres (Parameter-Efficient Fine-Tuning - PEFT) comme l'adaptation de bas rang (Low-Rank Adaptation - LoRA) soient populaires pour l'adaptation des grands modèles pré-entraînés (PTM), le LoRA standard applique des mises à jour denses qui perturbent inévitablement les espaces de représentation des tâches précédentes, entraînant interférence et oubli.

Des approches récentes ont adopté des cadres de mélange d'experts (Mixture-of-Experts - MoE) avec des adaptateurs LoRA (MoE-LoRA) pour isoler l'interférence des tâches en figeant les anciens experts et en en ajoutant de nouveaux. Cependant, l'article identifie que ces méthodes MoE-LoRA existantes opèrent à une granularité grossière. En traitant les adaptateurs LoRA multi-rangs comme des unités d'experts uniques et indivisibles, elles souffrent de trois problèmes critiques :

1. Interférence : Les experts grossiers encodent des informations à faible spécialité, forçant des sous-espaces non pertinents à s'activer pour des entrées spécifiques.
2. Redondance : Les nouveaux experts ne peuvent pas réutiliser sélectivement des « atomes » de connaissance spécifiques provenant des anciens experts, ce qui conduit à une utilisation inefficace de la capacité et à la nécessité de réapprendre des blocs entiers.
3. Effondrement du Routage/de la Récupération : À mesure que le nombre d'experts grossiers augmente, les routeurs externes peinent à indexer de manière fiable le pool en expansion, ce qui entraîne une ambiguïté de routage, une dérive et l'effondrement final des performances des anciens experts.

2. Méthodologie : MoRAM

Les auteurs proposent MoRAM (Mixture of Rank-1 Associative Memory), un cadre qui redéfinit l'apprentissage continu comme l'expansion incrémentale d'un système de mémoire paramétrique composé d'unités atomiques de rang 1.

Changement Conceptuel Fondamental

Fondé sur la vue selon laquelle les matrices de poids agissent comme des mémoires associatives linéaires (Kohonen, 1972), MoRAM traite la matrice de poids $W$ non pas comme un bloc monolithique, mais comme une collection de $m$ paires clé-valeur atomiques $\{(k_i, v_i)\}$.

• Formulation Clé-Valeur : Une mise à jour de rang $r$ est décomposée en $r$ paires atomiques de rang 1. Chaque paire consiste en une Clé ($A_{:,i}$) et une Valeur ($B_{:,i}$).
• Récupération par Adresse de Contenu : Au lieu d'un routeur externe apprenant où envoyer les données, l'entrée $x$ déclenche automatiquement les atomes de mémoire pertinents via un score de pertinence intrinsèque : $s_i = A_{:,i}x$. La sortie est une somme pondérée des valeurs basée sur ces scores.

Composants Clés

1. Experts de Rang 1 à Granularité Fine :
   Au lieu d'ajouter un adaptateur complet de rang $r$ par tâche, MoRAM introduit $r$ nouvelles paires atomiques de rang 1 par tâche. Ces atomes agissent comme des experts MoE à granularité fine. Le modèle fige les atomes précédents et en ajoute de nouveaux de manière incrémentale (« petit à petit »).

2. Mécanisme d'Auto-Activation :
   MoRAM élimine le besoin d'un réseau de routage externe entraînable.

• Scoring de Pertinence : La pertinence du $i$-ème atome de mémoire pour une entrée $x$ est calculée directement via le produit scalaire de l'entrée et du vecteur Clé de l'atome ($A_{:,i}$).
• Normalisation : Les scores sont normalisés par $\ell_2$ sur l'ensemble de la mémoire pour la stabilité.
• Avantage : Cela élimine l'instabilité d'optimisation et l'oubli associés à l'entraînement des réseaux de routage auxiliaires.

3. Routage Sparse et Spécialisation :
   Pour éviter l'interférence et la surcharge de calcul, MoRAM emploie une stratégie de sélection parcimonieuse (sparse) :

• Masquage Top-$k$ : Seuls les $k$ atomes ayant les scores d'activation les plus élevés sont conservés pour une entrée donnée.
• Échelle de Température : Un hyperparamètre de température $\tau_{MoRAM}$ est appliqué au softmax pour accentuer la distribution, concentrant les gradients sur les atomes « spécialistes » les plus pertinents et accélérant leur adaptation.
• Élagage par Seuil : Lors de l'inférence, les atomes dont les scores d'activation sont inférieurs à un seuil $\delta$ sont élagués pour réduire davantage le bruit et le coût de calcul.

4. Expansion Incrémentale :
   Pour chaque nouvelle tâche, le modèle introduit un ensemble de nouvelles paires de rang 1, fige tous les atomes antérieurs, et permet au mécanisme d'auto-activation de router à travers l'union des mémoires anciennes et nouvelles. Cela permet au modèle de réutiliser les sémantiques partagées (ex: « ciel bleu ») tout en spécialisant de nouveaux atomes pour des concepts spécifiques à la tâche (ex: « avion »).

3. Contributions Clés

1. Cadre MoRAM : Un nouveau cadre de CL qui traite l'apprentissage comme l'expansion d'une mémoire paramétrique d'unités associatives de rang 1 et l'inférence comme la récupération de mémoire par adresse de contenu. Cela permet une réutilisation de la connaissance à granularité fine avec une interférence minimale.
2. Routage Sparse Auto-Activé : En décomposant les mises à jour en atomes de mémoire de rang 1, le modèle forme naturellement un MoE à granularité fine. Le mécanisme d'auto-activation proposé élimine les routeurs externes, permettant une récupération parcimonieuse basée sur le contenu qui évite l'effondrement du routage.
3. Supériorité Empirique : Des évaluations approfondies sur des benchmarks de vision-langage (CLIP) et de grands modèles de langage (LLM) démontrent que MoRAM surpasse significativement les méthodes de l'état de l'art, atteignant de meilleurs compromis plasticité-stabilité et préservant les capacités de généralisation pré-entraînées.

4. Résultats Expérimentaux

L'article évalue MoRAM sur plusieurs benchmarks, notamment X-TAIL (pour CLIP), TRACE (pour les LLM), et des tâches classiques de classification de langage.

• Vision-Langage (CLIP) : Sur le benchmark X-TAIL, MoRAM atteint des performances de l'état de l'art dans les métriques de précision « Moyenne » (Average) et « Dernière » (Last), surpassant des méthodes comme MoE-Adapter, CoDyRA et RAIL-Primal. Il améliore efficacement la représentation sans nécessiter d'IDs de domaine externes ou de banques de caractéristiques.
• Grands Modèles de Langage (LLM) : Sur le benchmark TRACE utilisant les modèles LLaMA et Gemma, MoRAM démontre des performances robustes avec des scores de transfert inverse (Backward Transfer - BWT) nettement plus bas (indiquant moins d'oubli) par rapport à SeqLoRA, O-LoRA et TreeLoRA.
• Généralisation vs Oubli : Dans le réglage fin de génération de code (CodeAlpaca), les mises à jour LoRA denses standard dégradent les performances sur des sujets sémantiquement distants (ex: Religions Mondiales). MoRAM, en isolant les nouvelles connaissances dans des atomes de rang 1 indépendants, préserve la généralisation hors domaine tout en améliorant les performances in-domain du code.
• Efficacité : MoRAM atteint des performances supérieures en utilisant environ un tiers des paramètres actifs requis par un LoRA standard de rang 32. Il maintient également une faible utilisation de la mémoire GPU et une latence d'inférence comparable aux méthodes PEFT existantes.

5. Signification et Revendications

L'article soutient qu'un apprentissage continu performant ne nécessite pas de routeurs externes complexes ou d'expansions structurelles rigides. Au lieu de cela, il plaide pour un changement de paradigme vers une récupération précise, par adresse de contenu, de mémoires atomiques de bas rang.

• Atténuation de l'Oubli Catastrophique : En traitant les mises à jour comme des atomes de mémoire indépendants plutôt que comme des blocs enchevêtrés, MoRAM empêche l'écrasement de concepts non liés.
• Scalabilité : Le mécanisme de mélange auto-activé et parcimonieux permet au modèle de passer à de nombreuses tâches sans l'ambiguïté de routage qui affecte les MoE-LoRA à granularité grossière.
• Efficacité : La méthode réduit les exigences de calcul et de mémoire, rendant l'adaptation continue de grands modèles réalisable dans des contextes à ressources limitées.

Les auteurs concluent que MoRAM offre une approche « petit à petit » de l'expansion de la mémoire, équilibrant efficacement la plasticité et la stabilité tout en préservant les connaissances généralisées du modèle pré-entraîné. Des travaux futurs sont suggérés pour explorer les réglages de température adaptatifs basés sur la distribution des données et étendre l'applicabilité à des PTM plus larges.