Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Technische Samenvatting van Mamba-FSCIL: Dynamische Adaptatie met een Selectief State Space Model voor Few-Shot Class-Incremental Learning

Probleemstelling
Few-Shot Class-Incremental Learning (FSCIL) streeft ernaar om modellen in staat te stellen continu nieuwe klassen te leren van een beperkt aantal voorbeelden, terwijl de kennis van eerder geleerde basisklassen behouden blijft. Bestaande benaderingen kampen met een kritiek dilemma met betrekking tot de stabiliteit-plasticiteit-trade-off. Statische adaptatiemethoden maken gebruik van projectoren met een vaste capaciteit die gedeeld worden over alle sessies; het bijwerken van deze gedeelde gewichten voor nieuwe klassen overschrijft echter vaak parameters die de basiskennis coderen, wat leidt tot catastrofale vergetelheid. Daarentegen alloceren dynamische adaptatiemethoden met expanderende architecturen nieuwe parameters voor elke sessie om stabiliteit te waarborgen, maar dit resulteert in ongecontroleerde modelgroei, wat de computationele kosten verhoogt en de schaalbaarheid beperkt. De kernuitdaging is het bereiken van dynamische adaptatie aan nieuwe klassen en het behoud van oude kennis zonder sessie-gewijze parameterexpansie.

Methodologie
De auteurs stellen Mamba-FSCIL voor, een framework dat gebruikmaakt van Selective State Space Models (SSMs), specifiek Mamba, om input-afhankelijke dynamische computatie mogelijk te maken binnen een architectuur met een vaste capaciteit. In plaats van de modelgrootte uit te breiden, maakt de methode gebruik van het vermogen van Mamba om kernparameters ($B_i, C_i, \Delta_i$) on-the-fly te genereren op basis van de inputinhoud. Het framework bestaat uit drie primaire componenten:

1. Dual Selective SSM Projector:
   Om de stabiliteit en plasticiteit structureel te ontkoppelen, is de projector verdeeld in twee parallelle takken:

   • Base Selective SSM Branch ($g_{base}$): Deze tak fungeert als een "stabiliteitsanker". Deze wordt uitsluitend getraind tijdens de basissessie en wordt vervolgens bevroren. In tegen tegenstelling tot traditionele statische bevroren modules blijft $g_{base}$ computationeel dynamisch; het blijft input-geconditioneerde parameters genereren, zelfs wanneer het bevroren is, wat zorgt voor stabiele, context-bewuste transformaties die de fundamentele basisklasse-representaties behouden.
   • Incremental Selective SSM Branch ($g_{inc}$): Deze tak fungeert als een "plasticiteit-enabler". Het is een enkele Mamba-module met een vaste capaciteit die hergebruikt wordt over alle incrementele sessies. Het maakt gebruik van het input-afhankelijke mechanisme van Mamba om de residuele feature-verschuivingen te vangen die nodig zijn voor nieuwe klassen. Door onderscheidende dynamische parameters te generen op basis van de inputcontext, past $g_{inc}$ zich aan nieuwe klassen aan zonder nieuwe sessie-specifieke takken toe te voegen.

2. Class-Sensitive Selective Scan Mechanism:
   Om ervoor te zorgen dat de dynamische adaptatie van $g_{inc}$ klasse-sensitief is in plaats van enkel inhoud-bewust, introduceren de auteurs twee regularisatieverliezen:

   • Suppression Loss ($\mathcal{L}_{supp}$): Dit verlies minimaliseert de activatiegrootte van de gating-stream ($Z_{inc}$) voor basisklasse-inputs. Door de bijdrage van de incrementele tak voor bekende klassen te onderdrukken, voorkomt het interferentie met de bevroren stabiliteitsanker. Omgekeerd stimuleert het een grotere norm voor nieuwe klasse-inputs om adaptatie te faciliteren.
   • Separation Loss ($\mathcal{L}_{sep}$): Dit verlies minimaliseert de absolute cosinusgelijkenis tussen de gemiddelde state-space parameters ($B, C, \Delta$) gegenereerd voor basisklassen versus nieuwe klassen. Dit moedigt het model aan om onderscheidende transformatiepaden te vormen voor nieuwe concepten, wat de representatieve overlap vermindert en plasticiteit verhoogt.

3. Optimalisatiestrategie:
   Het framework maakt gebruik van een vaste Simplex Equiangular Tight Frame (ETF) classifier. Tijdens de basissessie worden de backbone, de identity branch en $g_{base}$ gezamenlijk geoptimaliseerd. In incrementele sessies zijn de backbone en $g_{base}$ bevroren, en wordt alleen $g_{inc}$ geoptimaliseerd met een combinatie van Dot Regression (DR) loss, suppression loss en separation loss. Het systeem werkt zonder ruwe afbeeldingen van voorgaande sessies op te slaan of af te spelen, en vertrouwt in plaats daarvan op een compact feature-level geheugen van klasse-gemiddelde prototypen.

Belangrijkste Bijdragen

• Mamba-FSCIL Framework: Het eerste framework dat de input-afhankelijke dynamische computatie van Mamba toepast op FSCIL, waarbij klasse-sensitieve adaptatie wordt bereikt binnen een model met een vaste capaciteit.
• Dual Selective SSM Projector: Een structurele innovatie die de verwerking van basis- en nieuwe klassen scheidt via een bevroren, computationeel dynamische basis-tak en een herbruikbare incrementele tak, waardoor stabiliteit en plasticiteit in balans worden gebracht zonder parameterexpansie.
• Class-Sensitive Selective Scan Mechanism: Een nieuwe regularisatiestrategie die gebruikmaakt van suppression en separation losses om de dynamische parametergeneratie van de incrementele tak expliciet te sturen, wat zorgt voor onderscheidende verwerkingspatronen voor basis- en nieuwe klassen.
• State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat Mamba-FSCIL bestaande statische en dynamische methoden overtreft op miniImageNet, CIFAR-100 en CUB-200.

Experimentele Resultaten
Het artikel rapporteert uitgebreide evaluaties op drie benchmark-datasets:

• miniImageNet: Met een ResNet-12 backbone bereikt Mamba-FSCIL een gemiddelde nauwkeurigheid (AVG) van 69,74% en een finale sessienauwkeurigheid van 59,29%, waarmee het de vorige state-of-the-art (NC-FSCIL) respectievelijk met 1,92 en 0,98 punten overtreft.
• CIFAR-100: Met ResNet-12 bereikt de methode een AVG van 68,19% en een finale nauwkeurigheid van 57,52%, wat een significante verbetering is ten opzichte van NC-FSCIL en FeSSSS.
• CUB-200: Op deze fine-grained dataset bereikt Mamba-FSCIL een AVG van 68,11% en een finale nauwkeurigheid van 61,52%. Wanneer Transformer-backbones (zoals Swin-T, ViT-B/16) worden gebruikt, behaalt de methode consistent de hoogste of zeer concurrerende prestaties, waarbij de prestatiedaling (PD) ten opzien van expansie-gebaseerde methoden zoals DSN opmerkelijk wordt verminderd.
• Ablatie-studies: Experimenten bevestigen dat het dual-branch ontwerp en de klasse-sensitieve verliezen cruciaal zijn, waarbij het volledige model beter presteert dan varianten die statische projectoren, enkele SSM-takken of regularisatie missen. Kwalitatieve analyse via activatiemappen en t-SNE visualisaties valideert verder het vermogen van het model om stabiele basisklasse-representaties te behouden terwijl het dynamisch adapteert aan nieuwe klassen.

Betekenis
Het artikel beweert dat Mamba-FSCIL een praktisch en schaalbaar alternatief biedt voor zowel parameter-sharing als parameter-expansie paradigma's. Door gebruik te maken van input-afhankelijke dynamische computatie, lost het de stabiliteit-plasticiteit dilemma op zonder de computationele overhead van het continu uitbreiden van modelarchitecturen. Het werk demonstreert dat Selective State Space Models effectief catastrofale vergetelheid kunnen mitigeren in few-shot incrementele settings door onderscheidende, klasse-sensitieve verwerkingspatronen te genereren voor nieuwe data, terwijl de integriteit van gevestigde kennis behouden blijft.