Résumé Technique : Mamba-CL

Définition du Problème

L'apprentissage continu (Continual Learning - CL) vise à permettre aux modèles d'IA d'apprendre une séquence de tâches au fil du temps sans oublier les connaissances acquises précédemment, répondant ainsi au dilemme stabilité-plasticité. Bien que les modèles d'espace d'états (State Space Models - SSM), particulièrement l'architecture Mamba, aient connu un succès notable en vision par ordinateur et en modélisation de séquences, l'application de ces concepts au CL présente des défis uniques. Les méthodes de CL existantes, telles que la projection dans un sous-espace orthogonal, ont été principalement développées pour les réseaux de neurones convolutifs (CNN) et les Vision Transformers (ViT). L'application directe de ces méthodes à Mamba est difficile en raison de sa structure d'espace d'états récurrents d'ordre supérieur et de son mécanisme de discrétisation non linéaire. Plus précisément, l'oubli dans les SSM sélectifs peut être compris comme des changements dans les processus de mise à jour de l'état et de génération de sortie activés par les entrées des tâches précédentes. Le problème central est de savoir comment affiner (fine-tuner) un modèle de fondation Mamba pré-entraîné pour de nouvelles tâches tout en garantissant mathématiquement que les sorties pour les tâches précédentes restent cohérentes.

Méthodologie

Les auteurs proposent Mamba-CL, un cadre qui optimise les SSM sélectifs dans l'espace nul pour atténuer l'oubli catastrophique. La méthode se concentre sur l'ajustement fin des blocs SSM centraux au sein d'un squelette (backbone) Mamba pré-entraîné (spécifiquement De-focus Mamba) tout en maintenant les autres composants gelés.

Dérivation Théorique

Le cœur de Mamba-CL est la dérivation de quatre conditions de cohérence suffisantes pour les paramètres du bloc SSM. L'objectif est de garantir que la sortie du SSM pour les entrées des tâches précédentes ($X_t$) reste inchangée après l'apprentissage d'une nouvelle tâche. En analysant le processus direct du SSM, qui implique un paramètre invariant par rapport à l'entrée $A$ et des paramètres conditionnés par l'entrée $B$, $C$ et $\delta$ (étape de discrétisation), les auteurs décomposent l'exigence de cohérence en contraintes sur les mises à jour des paramètres ($\Delta$) :

1. Étape de discrétisation ($\delta$) et projection d'entrée ($W_\delta$) : La mise à jour $\Delta W_\delta$ doit être orthogonale à l'espace de caractéristiques d'entrée $X_t$ ($X_t \Delta W_\delta = 0$).
2. Transition d'état ($A$) : La mise à jour $\Delta A$ doit être orthogonale au paramètre de l'étape de discrétisation $\delta_t$ ($\delta_t \Delta A = 0$).
3. Injection d'entrée ($W_B$) : La mise à jour $\Delta W_B$ doit être orthogonale au produit de l'étape de discrétisation et des caractéristiques d'entrée ($\delta_t X_t \Delta W_B = 0$).
4. Lecture de sortie ($W_C$) : La mise à jour $\Delta W_C$ doit être orthogonale à l'espace de caractéristiques d'entrée $X_t$ ($X_t \Delta W_C = 0$).

Ces conditions garantissent que les processus de mise à jour de l'état et de génération de sortie activés par les entrées des anciennes tâches sont préservés.

Stratégie d'Optimisation

Pour implémenter ces contraintes efficacement, Mamba-CL utilise la projection dans l'espace nul (null-space projection) :

• Matrices de projection : Les auteurs calculent des matrices de covariance non centrées pour les espaces de caractéristiques ($X_t$, $\delta_t$ et $\delta_t X_t$) issus des tâches précédentes. En utilisant la décomposition en valeurs singulières (SVD), ils dérivent des matrices de projection ($H_1, H_2, H_3$) qui projettent les gradients de la nouvelle tâche sur les espaces nuls de ces sous-espaces de caractéristiques.
• Facteur d'équilibre : Un hyper-paramètre $\eta \in [0, 1]$ est introduit pour relaxer les contraintes d'orthogonalité. Cela permet un compromis entre stabilité (conservation des anciennes connaissances) et plasticité (apprentissage de nouvelles tâches). Lorsque $\eta=1$, une projection stricte dans l'espace nul est appliquée ; des valeurs plus faibles permettent plus de plasticité.
• Implémentation : Pendant l'entraînement, les gradients pour les paramètres du SSM ($A, W_B, W_C, W_\delta$) et la couche de projection linéaire subséquente sont projetés à l'aide de ces matrices avant l'étape de mise à jour des paramètres.

Contributions Clés

1. Perspective de préservation de la sortie : L'article formule l'adaptation continue des SSM sélectifs sous l'angle de la préservation de la sortie, liant le mécanisme de balayage sélectif aux contraintes de sous-espace orthogonal.
2. Dérivation théorique : Les auteurs dérivent théoriquement quatre conditions de cohérence suffisantes pour le bloc SSM au sein du modèle Mamba, traitant les complexités de sa structure récurrente et de sa discrétisation non linéaire.
3. Approximation par espace nul : Sur la base de ces conditions, une approximation basée sur l'espace nul est introduite pour implémenter efficacement les projections de gradient orthogonales, permettant l'adaptation continue de modèles de fondation Mamba à grande échelle sans stocker d'échantillons des tâches précédentes (sans exemplaire/exemplar-free).
4. Validation empirique : Des expériences approfondies démontrent l'efficacité de l'approche sur plusieurs benchmarks.

Résultats Expérimentaux

Les auteurs ont évalué Mamba-CL sur quatre benchmarks de classification incrémentale de classes :

• Datasets : ImageNet-R (10-split et 20-split), CIFAR-100 (10-split) et DomainNet (10-split).
• Baselines : La méthode a été comparée aux méthodes de CL de pointe (ex: L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE) et à une baseline Mamba sans projection orthogonale (Mamba-Seq).
• Performance :
  • Mamba-CL a obtenu des performances supérieures par rapport aux méthodes existantes. Sur l'ImageNet-R 10-split, il a atteint une précision de 81,67 % avec 4,07 % d'oubli, surpassant largement la méthode suivante (CL-LoRA avec 78,48 % de précision).
  • Il a montré des améliorations substantielles par rapport à la baseline Mamba-Seq, augmentant la précision de 18 % à 45 % et réduisant l'oubli de 24 % à 61 % à travers les benchmarks.
  • La méthode a démontré une robustesse dans les scénarios de CL à longue séquence (50 et 100 tâches), conservant une avance sur les autres méthodes.
  • Les études d'ablation ont confirmé que la projection de l'étape de discrétisation ($\delta$) est la composante la plus critique pour l'anti-oubli.
  • L'approche a été validée sur différentes variantes de Mamba (MambaVision, Vim, VMamba) et même dans un scénario d'« entraînement à partir de zéro », confirmant sa généralisabilité.

Signification et Revendications

L'article affirme que Mamba-CL fournit un moyen efficace d'adapter continuellement les modules SSM sélectifs de base des grands modèles de fondation tout en atténuant l'interférence avec les connaissances acquises précédemment. Contrairement aux approches précédentes qui nécessitent un méta-entraînement épisodique, une expansion spécifique du squelette par tâche ou la rétention d'exemplaires, Mamba-CL opère dans un cadre sans exemplaire (exemplar-free) sans opérations supplémentaires lors de l'inférence.

Les auteurs soulignent que leur méthode n'est pas simplement une application directe des techniques de projection existantes, mais une adaptation nécessaire à la structure mathématique spécifique des SSM. En dérivant des conditions de cohérence spécifiques pour les paramètres invariants dans le temps du modèle Mamba, ils comblent le fossé entre les exigences théoriques de l'apprentissage continu et l'implémentation pratique des modèles d'espace d'états. Les résultats suggèrent que la protection explicite des processus de discrétisation dépendants de l'entrée, de la transition d'état, de l'injection d'entrée et de la lecture de sortie via la projection dans l'espace nul est cruciale pour obtenir de hautes performances d'apprentissage continu dans les architectures basées sur Mamba.