💻 computer science

Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Dieses Paper stellt Mamba-FSCIL vor, einen neuartigen Ansatz für das Few-Shot Class-Incremental Learning, der die eingabebedingten Parameter von selektiven State Space Models (SSMs) nutzt, um sich dynamisch an neue Klassen anzupassen, ohne die Modellarchitektur zu erweitern, wodurch durch einen dualen selektiven Projektor und einen klassensensitiven Scan-Mechanismus das Gleichgewicht zwischen der Bewahrung alten Wissens und dem Erlernen neuer Konzepte effektiv gewahrt wird.

Ursprüngliche Autoren: Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der Jahre damit verbracht hat, das Rezept für ein klassisches Gericht (nennen wir es „Base Class“) zu perfektionieren. Sie kennen jedes Gewürz, jede Temperatur und jede Textur auswendig. Nun kommt ein neuer Kunde herein und bittet um ein völlig neues Gericht („Novel Class“), wobei er nur ein paar Zutaten mitbringt, die er selbst mitgebracht hat.

Die Herausforderung? Sie müssen dieses neue Rezept lernen, ohne das alte zu vergessen, und Sie können nicht einfach ständig neue Köche einstellen oder neue Küchen bauen, jedes Mal wenn ein neuer Kunde kommt (das würde zu teuer und chaotisch werden).

Dies ist das Problem, das Mamba-FSCIL löst. Es ist eine neue Art und Weise, wie Computerprogramme (speziell KI-Modelle) lernen können, im Laufe der Zeit neue Dinge zu lernen, ohne zu „vergessen“, was sie bereits wissen, selbst wenn sie nur wenige Beispiele für die neuen Dinge sehen.

Hier ist die Erklärung ihrer Lösung, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Das „Statische“ vs. „Expandierende“ Dilemma

Vor diesem Paper hatten KIs zwei schlechte Optionen beim Lernen neuer Dinge:

Der statische Koch (Static Adaptation): Der Koch verwendet denselben festen Satz an Werkzeugen und Regeln für jedes Gericht. Wenn er versucht, das neue Rezept zu lernen, überschreibt er versehentlich das alte. Das Ergebnis? Er vergisst das klassische Gericht.
Die expandierende Küche (Dynamic Adaptation): Jedes Mal, wenn ein neues Gericht angefordert wird, baut der Koch einen neuen Küchenflügel mit neuen Werkzeugen. Während dies die alten Rezepte bewahrt, wird die Küche schließlich zu einem riesigen, teuren Labyrinth, das schwer zu verwalten ist.

2. Die Lösung: Der „smarte, formverändernde“ Koch

Die Autoren führen Mamba-FSCIL ein, das eine Technologie namens Selective State Space Models (SSMs) verwendet. Stellen Sie sich das als einen Koch vor, der keine neuen Küchen oder Werkzeuge benötigt. Stattdessen verändern sich seine Hände und sein Geist augenblicklich, je nachdem, was er gerade kocht.

Eingangsabhängige Magie: Normalerweise benutzt ein Koch dasselbe Messer für alles. Mamba ist anders: Wenn Sie ihm ein Steak geben, wird sein „Messer“ automatisch für Fleisch geschärft. Wenn Sie ihm einen zarten Fisch geben, wird das „Messer“ augenblicklich zu einem feinen Filetiermesser. Es passt sein Verhalten basierend auf der spezifischen Zutat (dem Input) an, die es gerade hält, ohne dass es neue Ausrüstung kaufen muss.

3. Die Zwei-Zweig-Strategie (Der „Dual Selective SSM Projector“)

Um sicherzustellen, dass der Koch nicht verwirrt wird, teilt das System die Arbeit in zwei spezialisierte Teams (Zweige) auf:

Der „Stabilitätsanker“ (Der gefrorene Basis-Zweig):
Dies ist das Team, das die klassischen Rezepte erinnert. Sie wurden auf den alten Gerichten trainiert und dann „eingefroren“ (sie hören auf zu lernen). Sie sind jedoch immer noch „smart“. Obwohl sie nichts Neues lernen, nutzen sie immer noch ihre formverändernde Fähigkeit, um das Essen zu betrachten und zu sagen: „Ah, das ist ein klassisches Gericht; ich werde es genau so behandeln, wie ich es immer getan habe.“ Dies stellt sicher, dass das alte Wissen sicher und stabil bleibt.
Der „Plastizitäts-Ermöglicher“ (Der dynamische inkrementelle Zweig):
Dies ist das Team, das die neuen Rezepte lernt. Nur sie dürfen sich verändern. Wenn eine neue, seltsame Zutat eintrifft, tritt dieses Team ein. Da sie die „formverändernde“ Mamba-Technologie nutzen, können sie das neue Gericht mit denselben Werkzeugen zubereiten, indem sie einfach die Art und Weise anpassen, wie sie diese verwenden. Sie brauchen keine neue Küche; sie müssen nur ihre Technik anpassen.

4. Die „Klassensensitiven“ Regeln (Der Selektive Scan-Mechanismus)

Wie stellen wir sicher, dass das „Neue Team“ die Arbeit des „Alten Teams“ nicht versehentlich durcheinanderbringt? Das Paper führt zwei spezifische Regeln (Loss Functions) ein, um sie zu leiten:

Die „Ruhe-Regel“ (Suppression Loss):
Wenn das „Neue Team“ ein klassisches Gericht sieht, wird ihm gesagt, still zu sein. Es soll nicht versuchen, etwas zu ändern. Es lässt das „Stabilitätsanker-Team“ die gesamte Arbeit erledigen. Dies verhindert, dass das neue Lernen die alten Erinnerungen überschreibt.
Die „Aufmerksamkeit-Regel“ (Separation Loss):
Wenn das „Neue Team“ ein neues Gericht sieht, wird ihm gesagt, ganz anders zu sein. Es muss einen völlig anderen Kochstil verwenden als bei den alten Gerichten. Dies stellt sicher, dass das neue Rezept deutlich und klar ist, anstatt mit dem alten zu verschmelzen.

5. Die Ergebnisse

Das Paper hat diesen „Smarten Koch“ in drei verschiedenen Kochwettbewerben (Datensätze: miniImageNet, CIFAR-100 und CUB-200) getestet.

Das Ergebnis: Mamba-FSCIL lernte neue Gerichte besser als jede bisherige Methode und vergaß die alten Gerichte viel weniger.
Die Effizienz: Im Gegensatz zu den „Expandierenden Küchen“-Methoden benötigte Mamba-FSCIL keine neuen Räume oder Werkzeuge. Es hielt die Küche in der gleichen Größe, machte aber den Koch viel klüger.

Zusammenfassung

Kurz gesagt ist Mamba-FSCIL eine Methode, die es einer KI ermöglicht, neue Kategorien aus sehr wenigen Beispielen zu lernen, indem sie einen „formverändernden“ Mechanismus nutzt. Sie hält altes Wissen sicher, indem sie einen dedizierten „Erinnerungszweig“ einfriert, während sie einen flexiblen „Lernzweig“ nutzt, um sich an neue Dinge anzupassen – und das alles, ohne ein größeres, komplexeres Modell bauen zu müssen. Es ist wie ein Koch, der augenblicklich zwischen der Rolle eines Meisters der Tradition und eines Innovators des Neuen wechseln kann, während er die Küche exakt in der gleichen Größe hält.

Technische Zusammenfassung von Mamba-FSCIL: Dynamische Adaption mit einem selektiven State-Space-Modell für Few-Shot Class-Incremental Learning

Problemstellung
Few-Shot Class-Incremental Learning (FSCIL) zielt darauf ab, Modellen zu ermöglichen, kontinuierlich neue Klassen aus einer begrenzten Anzahl von Beispielen zu lernen, während das Wissen über zuvor gelernte Basisklassen beibehalten wird. Bestehende Ansätze stehen vor einem kritischen Dilemma hinsichtlich des Stabilitäts-Plastizitäts-Trade-offs. Statische Adaptionsmethoden verwenden feste Kapazitäten für Projektoren, die über alle Sitzungen hinweg geteilt werden; das Aktualisieren dieser gemeinsamen Gewichte für neue Klassen führt jedoch oft dazu, dass Parameter überschrieben werden, die das Basiswissen kodieren, was zu katastrophalem Vergessen führt. Umgekehrt führen dynamische Adaptationsmethoden mit expandierenden Architekturen, die für jede Sitzung neue Parameter zuweisen, zu einem unbegrenzten Modellwachstum, was die Rechenkosten erhöht und die Skalierbarkeit einschränkt. Die zentrale Herausforderung besteht darin, eine dynamische Adaption an neue Klassen zu erreichen und altes Wissen zu bewahren, ohne die Anzahl der Parameter pro Sitzung zu erweitern.

Methodik
Die Autoren schlagen Mamba-FSCIL vor, ein Framework, das Selective State Space Models (SSMs), speziell Mamba, nutzt, um eine eingabeabhängige dynamische Berechnung innerhalb einer Architektur mit fester Kapazität zu ermöglichen. Anstatt die Modellgröße zu erweitern, nutzt die Methode die Fähigkeit von Mamba, Kerparameter ( $B_i, C_i, \Delta_i$ ) bedingt durch den Input on-the-fly zu generieren. Das Framework besteht aus drei primären Komponenten:

Dualer selektiver SSM-Projektor:
Um Stabilität und Plastizität strukturell zu entkoppeln, wird der Projektor in zwei parallele Zweige unterteilt:
- Base Selective SSM Branch ( $g_{base}$ ): Dieser Zweig fungiert als „Stabilitätsanker“. Er wird ausschließlich während der Basis-Sitzung trainiert und anschließend eingefroren. Im Gegensatz zu traditionellen statischen Modulen bleibt $g_{base}$ rechentechnisch dynamisch; er generiert auch im eingefrorenen Zustand weiterhin eingabeabhängige Parameter und bietet so stabile, kontextsensitive Transformationen, welche die grundlegenden Repräsentationen der Basisklassen bewahren.
- Incremental Selective SSM Branch ( $g_{inc}$ ): Dieser Zweig fungiert als „Plastizitäts-Enabler“. Es handelt sich um ein einzelnes Mamba-Modul mit fester Kapazität, das in allen inkrementellen Sitzungen wiederverwendet wird. Er nutzt den eingabeabhängigen Mechanismus von Mamba, um die für neue Klassen erforderlichen residuellen Merkmalsverschiebungen zu erfassen. Durch die Generierung distinkter dynamischer Parameter basierend auf dem Input-Kontext passt sich $g_{inc}$ an neue Klassen an, ohne neue sitzungsspezifische Zweige hinzuzufügen.
Klassensensitiver selektiver Scan-Mechanismus:
Um sicherzustellen, dass die dynamische Adaption von $g_{inc}$ klassensensitiv und nicht bloß inhaltlich bewusst ist, führen die Autoren zwei Regularisierungsverluste ein:
- Suppression Loss ( $\mathcal{L}_{supp}$ ): Dieser Verlust minimiert die Aktivierungsamplitude des Gating-Streams ( $Z_{inc}$ ) für Eingaben aus Basisklassen. Durch die Unterdrückung des Beitrags des inkrementellen Zweigs bei bekannten Klassen wird die Interferenz mit dem eingefrorenen Stabilitätsanker verhindert. Umgekehrt wird eine größere Norm für Eingaben neuer Klassen gefördert, um die Adaption zu erleichtern.
- Separation Loss ( $\mathcal{L}_{sep}$ ): Dieser Verlust minimiert die absolute Kosinus-Ähnlichkeit der gemittelten State-Space-Parameter ( $B, C, \Delta$ ) zwischen Basisklassen und neuen Klassen. Dies regt das Modell dazu an, distinkte Transformationspfade für neue Konzepte zu bilden, wodurch die Repräsentationsüberlappung reduziert und die Plastizität erhöht wird.
Optimierungsstrategie:
Das Framework nutzt einen festen Simplex Equiangular Tight Frame (ETF) Klassifikator. Während der Basis-Sitzung werden das Backbone, der Identity-Branch und $g_{base}$ gemeinsam optimiert. In den inkrementllen Sitzungen sind das Backbone und $g_{base}$ eingefroren, und nur $g_{inc}$ wird unter Verwendung einer Kombination aus Dot Regression (DR) Loss, Suppression Loss und Separation Loss optimiert. Das System arbeitet ohne das Speichern oder Replay von Rohbildern früherer Sitzungen und stützt sich statrazüglich auf ein kompaktes Feature-Level-Memory von Klassen-Mittelwert-Prototypen.

Wesentliche Beiträge

Mamba-FSCIL Framework: Das erste Framework, das Mambas eingabeabhängige dynamische Berechnung auf FSCIL anwendet und eine klassensensitive Adaption innerhalb eines Modells mit fester Kapazität erreicht.
Dualer selektiver SSM-Projektor: Eine strukturelle Innovation, die die Verarbeitung von Basis- und neuen Klassen durch einen eingefrorenen, aber rechentechnisch dynamischen Basis-Zweig und einen wiederverwendbaren inkrementellen Zweig trennt und so Stabilität und Plastizität ohne Parametererweiterung ausbalanciert.
Klassensensitiver selektiver Scan-Mechanismus: Eine neuartige Regularisierungsstrategie, die Suppression- und Separation-Losses nutzt, um die dynamische Parametergenerierung des inkrementellen Zweigs explizit zu steuern und so distinkte Verarbeitungsmuster für Basis- und neue Klassen sicherzustellen.
State-of-the-Art Performance: Umfangreiche Experimente zeigen, dass Mamba-FSCIL bestehende statische und dynamische Methoden auf miniImageNet, CIFAR-100 und CUB-200 übertrifft.

Experimentelle Ergebnisse
Die Arbeit berichtet über umfangreiche Evaluierungen auf drei Benchmark-Datensätzen:

miniImageNet: Mit einem ResNet-12 Backbone erreicht Mamba-FSCIL eine durchschnittliche Genauigkeit (AVG) von 69,74 % und eine finale Sitzungsgenauigkeit von 59,29 % und übertrifft damit den bisherigen Stand der Technik (NC-FSCIL) um 1,92 bzw. 0,98 Punkte.
CIFAR-100: Mit ResNet-12 erreicht die Methode ein AVG von 68,19 % und eine finale Genauigkeit von 57,52 % und verbessert damit NC-FSCIL und FeSSSS um signifikante Margen.
CUB-200: Auf diesem feingliedrigen Datensatz erreicht Mamba-FSCIL ein AVG von 68,11 % und eine finale Genauigkeit von 61,52 %. Bei Verwendung von Transformer-Backbones (z. B. Swin-T, ViT-B/16) erzielt die Methode konsistent die höchste oder eine sehr wettbewerbsfähige Leistung und reduziert insbesondere den Leistungsabfall (Performance Drop, PD) im Vergleich zu expansionsbasierten Methoden wie DSN.
Ablationsstudien: Experimente bestätigen, dass das Dual-Branch-Design und die klassensensitiven Verluste entscheidend sind, wobei das vollständige Modell Varianten übertrifft, die statische Projektoren, einzelne SSM-Zweige oder fehlende Regularisierung verwenden. Qualitative Analysen mittels Aktivierungskarten und t-SNE-Visualisierungen validieren zudem die Fähigkeit des Modells, stabile Basisklassen-Repräsentationen beizubehalten und gleichzeitig dynamisch auf neue Klassen zu adaptieren.

Bedeutung
Das Paper behauptet, dass Mamba-FSCIL eine praktische und skalierbare Alternative zu sowohl Parameter-Sharing- als auch Parameter-Expansion-Paradigmen bietet. Durch die Nutzung der eingabeabhängigen dynamischen Berechnung löst es das Stabilitäts-Plastizitäts-Dilemma ohne den Rechenaufwand kontinuierlich expandierender Modellarchitekturen. Die Arbeit zeigt, dass Selective State Space Models das katastrophale Vergessen in Few-Shot-Incremental-Settings effektiv mildern können, indem sie distinkte, klassensensitive Verarbeitungsmuster für neue Daten generieren, während die Integrität des etablierten Wissens gewahrt bleibt.