💻 computer science

Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Cet article introduit Mamba-FSCIL, une nouvelle approche pour l'apprentissage incrémentiel de classes à peu d'exemples (Few-Shot Class-Incremental Learning) qui exploite les paramètres dépendants de l'entrée des modèles d'espace d'états (SSM) sélectifs pour s'adapter dynamiquement aux nouvelles classes sans étendre l'architecture du modèle, équilibrant ainsi efficacement la préservation des connaissances anciennes avec l'apprentissage de nouveaux concepts grâce à un double projecteur sélectif et un mécanisme de balayage sensible aux classes.

Auteurs originaux : Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé ayant passé des années à perfectionner une recette de plat classique (appelons-la « Classe de Base »). Vous connaissez par cœur chaque épice, chaque température et chaque texture. Puis, un nouveau client entre et demande un plat complètement nouveau (« Classe Nouvelle ») en utilisant seulement quelques ingrédients qu'il a apportés avec lui.

Le défi ? Vous devez apprendre cette nouvelle recette sans oublier l'ancienne, et vous ne pouvez pas simplement embaucher de nouveaux chefs ou construire de nouvelles cuisines à chaque fois qu'un nouveau client arrive (cela deviendrait trop coûteux et désordonné).

C'est le problème que Mamba-FSCIL résout. C'est une nouvelle façon pour les programmes informatiques (spécifiquement les modèles d'IA) d'apprendre de nouvelles choses au fil du temps sans « oublier » ce qu'ils savent déjà, même lorsqu'ils ne voient que quelques exemples de ces nouvelles choses.

Voici comment l'article explique leur solution, décomposée en concepts simples :

1. Le Problème : Le dilemme « Statique » vs « En Expansion »

Avant cet article, l'IA avait deux mauvaises options pour apprendre de nouvelles choses :

Le Chef Statique (Adaptation Statique) : Le chef utilise le même ensemble fixe d'outils et de règles pour chaque plat. Lorsqu'il essaie d'apprendre la nouvelle recette, il écrase accidentellement l'ancienne. Résultat ? Il oublie le plat classique.
La Cuisine en Expansion (Adaptation Dynamique) : Chaque fois qu'un nouveau plat est demandé, le chef construit une nouvelle aile de cuisine avec de nouveaux outils. Bien que cela préserve les anciennes recettes, la cuisine finit par devenir un labyrinthe géant, coûteux et difficile à gérer.

2. La Solution : Le Chef « Intelligent et Métamorphe »

Les auteurs introduisent Mamba-FSCIL, qui utilise une technologie appelée Modèles d'Espace d'États Sélectifs (SSM). Voyez cela comme un chef qui n'a pas besoin de nouvelles cuisines ou de nouveaux outils. Au lieu de cela, ses mains et son esprit changent de forme instantanément selon ce qu'il est en train de cuisiner.

Magie Dépendante de l'Entrée : Habituellement, un chef utilise le même couteau pour tout. Mamba est différent : si vous lui donnez un steak, son « couteau » s'aiguise automatiquement pour la viande. Si vous lui donnez un poisson délicat, son « couteau » devient instantanément un outil de filetage fin. Il change son comportement en fonction de l'ingrédient spécifique (l'entrée) qu'il tient, sans avoir besoin d'acheter de nouveaux équipements.

3. La Stratégie à Deux Branches (Le « Double Projecteur SSM Sélectif »)

Pour s'assurer que le chef ne soit pas confus, le système divise le travail en deux équipes spécialisées (branches) :

L'« Ancre de Stabilité » (La Branche de Base Gelée) :
C'est l'équipe qui se souvient des recettes classiques. Ils sont entraînés sur les anciens plats et sont ensuite « gelés » (ils arrêtent d'apprendre). Cependant, ils restent « intelligents ». Même s'ils n'apprennent pas de nouvelles choses, ils utilisent toujours leur capacité de métamorphose pour observer la nourriture et dire : « Ah, c'est un plat classique ; je vais le traiter exactement comme je l'ai toujours fait. » Cela garantit que le savoir ancien reste sûr et stable.
L'« Enableur de Plasticité » (La Branche Incrémentale Dynamique) :
C'est l'équipe qui apprend les nouvelles recettes. Ils sont les seuls autorisés à changer. Lorsqu'un nouvel ingrédient étrange arrive, cette équipe intervient. Parce qu'ils utilisent la technologie de métamorphose de Mamba, ils peuvent comprendre comment cuisiner le nouveau plat en utilisant le même ensemble d'outils, simplement en ajustant leur façon de les utiliser. Ils n'ont pas besoin d'une nouvelle cuisine ; ils ont juste besoin d'adapter leur technique.

4. Les Règles « Sensibles à la Classe » (Le Mécanisme de Balayage Sélectif)

Comment faire pour que l'« Équipe Nouvelle » ne vienne pas accidentellement gâcher le travail de l'« Équipe Ancienne » ? L'article introduit deux règles spécifiques (fonctions de perte) pour les guider :

La Règle du « Silence » (Perte de Suppression) :
Si l'« Équipe Nouvelle » voit un plat classique, on lui dit de rester silencieuse. Elle ne doit pas essayer de changer quoi que ce soit. Elle laisse l'« Ancre de Stabilité » faire tout le travail. Cela empêche l'apprentissage nouveau d'écraser les anciens souvenirs.
La Règle du « Se Démarquer » (Perte de Séparation) :
Si l'« Équipe Nouvelle » voit un nouveau plat, on lui dit d'être très différente. Elle doit utiliser un style de cuisine complètement différent de celui utilisé pour les anciens plats. Cela garantit que la nouvelle recette est distincte et claire, plutôt que de se mélanger aux anciennes.

5. Les Résultats

L'article a testé ce « Chef Intelligent » sur trois différents concours de cuisine (jeux de données : miniImageNet, CIFAR-100 et CUB-200).

Le Résultat : Mamba-FSCIL a appris de nouveaux plats mieux que toute méthode précédente et a beaucoup moins oublié les anciens plats.
L'Efficacité : Contrairement aux méthodes de « Cuisine en Expansion », Mamba-FSCIL n'a pas eu besoin d'ajouter de nouvelles pièces ou d'outils. Il a gardé la cuisine de la même taille mais a rendu le chef beaucoup plus intelligent.

Résumé

En bref, Mamba-FSCIL est une méthode qui permet à une IA d'apprendre de nouvelles catégories à partir de très peu d'exemples en utilisant un mécanisme de « métamorphose ». Elle garde le savoir ancien en toute sécurité en gelant une « branche de mémoire » dédiée, tout en utilisant une « branche d'apprentissage » flexible pour s'adapter aux nouveautés, le tout sans avoir besoin de construire un modèle plus grand et plus complexe. C'est comme avoir un chef capable de passer instantanément du rôle de maître de la tradition à celui d'innovateur de la nouveauté, tout en gardant la cuisine exactement de la même taille.

Résumé Technique de Mamba-FSCIL : Adaptation Dynamique avec un Modèle d'Espace d'États Sélectif pour l'Apprentissage Incrémental à Peu d'Exemples

Énoncé du Problème
L'apprentissage incrémental à peu d'exemples (Few-Shot Class-Incremental Learning - FSCIL) vise à permettre aux modèles d'apprendre continuellement de nouvelles classes à partir d'exemples limités tout en conservant les connaissances des classes de base précédemment apprises. Les approches existantes sont confrontées à un dilemme critique concernant le compromis stabilité-plasticité. Les méthodes d'adaptation statiques utilisent des projecteurs à capacité fixe partagés entre toutes les sessions ; cependant, la mise à jour de ces poids partagés pour de nouvelles classes entraîne souvent l'écrasement des paramètres codant la connaissance de base, provoquant un oubli catastrophique. À l'inverse, les méthodes d'adaptation dynamique avec des architectures en expansion allouent de nouveaux paramètres pour chaque session afin de préserver la stabilité, mais cela entraîne une croissance illimitée du modèle, augmentant les coûts de calcul et limitant la scalabilité. Le défi central est de parvenir à une adaptation dynamique aux nouvelles classes et de préserver les anciennes connaissances sans expansion de paramètres par session.

Méthodologie
Les auteurs proposent Mamba-FSCIL, un cadre qui exploite les modèles d'espace d'états (Selective State Space Models - SSM) sélectifs, spécifiquement Mamba, pour permettre un calcul dynamique dépendant de l'entrée au sein d'une architecture à capacité fixe. Au lieu d'étendre la taille du modèle, la méthode exploite la capacité de Mamba à générer des paramètres fondamentaux ( $B_i, C_i, \Delta_i$ ) à la volée en fonction du contenu de l'entrée. Le cadre se compose de trois composants principaux :

Projecteur SSM Sélectif à Double Branche :
Pour découpler structurellement la stabilité et la plasticité, le projecteur est divisé en deux branches parallèles :
- Branche SSM Sélective de Base ( $g_{base}$ ) : Cette branche agit comme une « ancre de stabilité ». Elle est entraînée exclusivement durant la session de base, puis gelée. Contrairement aux modules statiques traditionnels, $g_{base}$ reste computationnellement dynamique ; il continue de générer des paramètres conditionnés par l'entrée même lorsqu'il est gelé, fournissant des transformations stables et sensibles au contexte qui préservent les représentations fondamentales des classes de base.
- Branche SSM Sélective Incrémentale ( $g_{inc}$ ) : Cette branche agit comme un « moteur de plasticité ». Il s'agit d'un module Mamba à capacité fixe réutilisé à travers toutes les sessions incrémentales. Il exploite le mécanisme dépendant de l'entrée de Mamba pour capturer les décalages de caractéristiques résiduelles requis pour les nouvelles classes. En générant des paramètres dynamiques distincts basés sur le contexte de l'entrée, $g_{inc}$ s'adapte aux nouvelles classes sans ajouter de nouvelles branches spécifiques à la session.
Mécanisme de Scan Sélectif Sensible à la Classe :
Pour garantir que l'adaptation dynamique de $g_{inc}$ soit sensible à la classe plutôt que simplement sensible au contenu, les auteurs introduisent deux pertes de régularisation :
- Perte de Suppression ( $\mathcal{L}_{supp}$ ) : Cette perte minimise l'amplitude d'activation du flux de porte ( $Z_{inc}$ ) pour les entrées des classes de base. En supprimant la contribution de la branche incrémentale pour les classes connues, elle empêche l'interférence avec l'ancre de stabilité gelée. Inversement, elle encourage une norme plus grande pour les entrées de nouvelles classes afin de faciliter l'adaptation.
- Perte de Séparation ( $\mathcal{L}_{sep}$ ) : Cette perte minimise la similitude cosinus absolue entre les paramètres d'espace d'états moyens ( $B, C, \Delta$ ) générés pour les classes de base par rapport aux classes nouvelles. Cela encourage le modèle à former des voies de transformation distinctes pour les nouveaux concepts, réduisant le chevauchement représentationnel et améliorant la plasticité.
Stratégie d'Optimisation :
Le cadre utilise un classificateur Simplex Equiangular Tight Frame (ETF) fixe. Durant la session de base, le backbone, la branche d'identité et $g_{base}$ sont optimisés conjointement. Dans les sessions incrémentales, le backbone et $g_{base}$ sont gelés, et seul $g_{inc}$ est optimisé en utilisant une combinaison de perte de régression par points (Dot Regression - DR), de perte de suppression et de perte de séparation. Le système fonctionne sans stocker ou rejouer les images brutes des sessions précédentes, s'appuyant plutôt sur une mémoire compacte au niveau des caractéristiques des prototypes de moyenne de classe.

Contributions Clés

Cadre Mamba-FSCIL : Le premier cadre appliquant le calcul dynamique dépendant de l'entrée de Mamba au FSCIL, réalisant une adaptation sensible à la classe dans un modèle à capacité fixe.
Projecteur SSM Sélectif à Double Branche : Une innovation structurelle qui sépare le traitement des classes de base et des classes nouvelles via une branche de base gelée mais computationnellement dynamique et une branche incrémentale réutilisable, équilibrant stabilité et plasticité sans expansion de paramètres.
Mécanisme de Scan Sélectif Sensible à la Classe : Une stratégie de régularisation novatrice utilisant des pertes de suppression et de séparation pour guider explicitement la génération de paramètres dynamiques de la branche incrémentale, assurant des schémas de traitement distincts pour les classes de base et les classes nouvelles.
Performance de l'État de l'Art : Des expériences approfondies démontrent que Mamba-FSCIL surpasse les méthodes statiques et dynamiques existantes sur miniImageNet, CIFAR-100 et CUB-200.

Résultats Expérimentaux
L'article rapporte des évaluations étendues sur trois ensembles de données de référence :

miniImageNet : Avec un backbone ResNet-12, Mamba-FSCIL atteint une précision moyenne (AVG) de 69,74 % et une précision de session finale de 59,29 %, surpassant l'état de l'art précédent (NC-FSCIL) de 1,92 et 0,98 points, respectivement.
CIFAR-100 : Avec ResNet-12, la méthode atteint un AVG de 68,19 % et une précision finale de 57,52 %, dépassant NC-FSCIL et FeSSSS par des marges significatives.
CUB-20[0] : Sur cet ensemble de données à grain fin, Mamba-FSCIL atteint un AVG de 68,11 % et une précision finale de 61,52 %. En utilisant des backbones Transformer (ex: Swin-T, ViT-B/16), la méthode obtient systématiquement les performances les plus élevées ou très compétitives, réduisant notablement la chute de performance (PD) par rapport aux méthodes basées sur l'expansion comme DSN.
Études d'Ablation : Les expériences confirment que la conception à double branche et les pertes sensibles à la classe sont critiques, le modèle complet surpassant les variantes utilisant des projecteurs statiques, des branches SSM uniques ou manquant de régularisation. L'analyse qualitative via des cartes d'activation et des visualisations t-SNE valide davantage la capacité du modèle à maintenir des représentations stables des classes de base tout en s'adaptant dynamiquement aux nouvelles classes.

Signification
L'article affirme que Mamba-FSCIL offre une alternative pratique et évolutive aux paradigmes de partage de paramètres et d'expansion de paramètres. En utilisant un calcul dynamique dépendant de l'entrée, il résout le dilemme stabilité-plasticité sans la surcharge de calcul liée à l'expansion continue des architectures de modèles. Ce travail démontre que les modèles d'espace d'états sélectifs peuvent atténuer efficacement l'oubli catastrophique dans les contextes de few-shot incrémental en générant des schémas de traitement distincts et sensibles à la classe pour les nouvelles données tout en préservant l'intégrité des connaissances établies.