💻 computer science

Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning

Dieses Paper stellt Mamba-CL vor, ein Continual-Learning-Framework, das katastrophales Vergessen in Mamba-Modellen durch die Anwendung von Nullraumprojektion mildert, um Parameter orthogonal zu vorherigen Aufgaben-Subräumen zu aktualisieren, wodurch die Konsistenz der Ausgaben über Aufgaben hinweg gewährleistet und eine überlegene Leistung bei Class-Incremental-Benchmarks erzielt wird.

Ursprüngliche Autoren: De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

Veröffentlicht 2026-07-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem brillanten Roboter bei, verschiedene Tierarten zu erkennen. Zuerst zeigen Sie ihm Bilder von Katzen. Er lernt es perfekt. Dann zeigen Sie ihm Bilder von Hunden. Der Roboter lernt Hunde, aber im Prozess vergisst er versehentlich, wie eine Katze aussieht. Dies ist ein berühmtes Problem in der künstlichen Intelligenz, das „katastrophales Vergessen“ genannt wird. Es ist wie ein Schüler, der für eine Geschichtsprüfung büffelt und am nächsten Tag sofort alles vergisst, was er im Mathematikunterricht gelernt hat. Wissenschaftler versuchen seit langem, eine KI zu bauen, die neue Dinge lernen kann, ohne alte Erinnerungen zu verlieren – ein Balanceakt, der als „Stabilitäts-Plastizitäts-Dilemma“ bekannt ist. Um dies zu lösen, verwenden Forscher oft eine Technik namens „orthogonale Projektion“. Stellen Sie sich das wie einen strengen Bibliothekar vor, der es Ihnen nur erlaubt, neue Bücher in einem völlig leeren Gang in das Regal einzusortieren, um sicherzustellen, dass Sie niemals die Bücher von Ihren vorherigen Besuchen umstoßen. Kürzlich ist eine neue Art von KI-Architektur namens „Mamba“ sehr populär geworden, weil sie schnell ist und gut darin ist, Sequenzen zu verstehen, wie zum Beispiel Sätze oder Videoframes. Aber da Mamba anders arbeitet als ältere KI-Modelle, passten die alten „Bibliothekar-Regeln“ nicht ganz zu seiner einzigartigen Struktur.

Dieses Paper stellt eine neue Methode namens Mamba-CL vor, die wie ein spezialisierter Bibliothekar fungiert, der speziell für die Mamba-Bibliothek ausgebildet wurde. Die Forscher fanden heraus, dass sie, um Mamba am Vergessen zu hindern, nicht einfach die Standardregeln anwenden konnten; sie mussten genau verstehen, wie sich der interne „Zustand“ von Mamba (sein Gedächtnis der Vergangenheit) aktualisiert, wenn er neue Informationen sieht. Sie entdeckten, dass Vergessen auftritt, wenn der Roboter die Art und Weise ändert, wie er alte Eingaben verarbeitet, während er neue lernt. Um dies zu beheben, leiteten sie vier spezifische mathematische Regeln ab, die als Leitplanken dienen. Diese Regeln stellen sicher, dass Mamba, wenn es eine neue Aufgabe lernt, seine „Knöpfe und Regler“ nur in Richtungen aktualisiert, die für die alten Aufgaben völlig unsichtbar sind.

Das Team testete dies, indem es das Mamba-Modell einer Sequenz verschiedener Bilderkennungsaufgaben beibrachte, wie etwa dem Identifizieren von Objekten in Bildern aus ImageNet-R und CIFAR-100. Sie fanden heraus, dass Mamba-CL unglaublich effektiv darin war, den Roboter am Vergessen zu hindern. In Tests mit 10 verschiedenen Aufgaben verbesserte die neue Methode die Genauigkeit um etwa 2 % bis 3 % im Vergleich zu den besten existierenden Methoden und reduzierte gleichzeitig drastisch die Menge des verlorenen Wissens. Beispielsweise sank die Vergessensrate bei einem Benchmark von über 28 % in einer Standardversion auf nur 4 %. Das Paper legt nahe, dass, indem man die Art und Weise, wie das Modell seinen internen Zustand aktualisiert, sorgfältig einschränkt, es neue Fähigkeiten erlernen kann, ohne alte zu löschen, selbst in langen Lernsequenzen. Die Autoren merken an, dass dieser Ansatz gut funktioniert, egal ob das Modell auf massiven Datensätzen vortrainiert wurde oder von Grund auf neu trainiert wurde, was beweist, dass diese „Leitplanken“-Strategie ein robuster Weg ist, um KI-Modelle über die Zeit hinweg intelligent und stabil zu halten.

Technisches Resümee: Mamba-CL

Problemdefinition

Continual Learning (CL) zielt darauf ab, KI-Modellen zu ermöglichen, eine Sequenz von Aufgaben über die Zeit hinweg zu erlernen, ohne zuvor erworbenes Wissen zu vergessen, um das Stabilitäts-Plastizitäts-Dilemma zu adressieren. Während State Space Models (SSMs), insbesondere die Mamba-Architektur, bemerkenswerte Erfolge in der Computer Vision und Sequenzmodellierung erzielt haben, stellt die Anwendung von CL auf Mamba einzigartige Herausforderungen dar. Bestehende CL-Methoden, wie etwa die orthogonale Subraumprojektion, wurden primär für Convolutional Neural Networks (CNNs) und Vision Transformer (ViTs) entwickelt. Die direkte Anwendung dieser Methoden auf Mamba ist aufgrund der höherwertigen rekurrenten Zustandsraumstruktur und des nichtlinearen Diskretisierungsmechanismus schwierig. Speziell kann das Vergessen in selektiven SSMs als Veränderungen in den Zustandsaktualisierungs- und Output-Generierungsprozessen verstanden werden, die durch Eingaben früherer Aufgaben aktiviert werden. Das Kernproblem besteht darin, wie ein vortrainiertes Mamba-Foundation-Modell für neue Aufgaben feinjustiert werden kann, während mathematisch garantiert wird, dass die Outputs für vorherige Aufgaben konsistent bleiben.

Methodik

Die Autoren schlagen Mamba-CL vor, ein Framework, das selektive SSMs im Nullraum optimiert, um katastrophales Vergessen zu mildern. Die Methode konzentriert sich auf die Feinjustierung der Kern-SSM-Blöcke innerhalb eines vortrainierten Mamba-Backbones (speziell De-focus Mamba), während andere Komponenten eingefroren bleiben.

Theoretische Herleitung

Der Kern von Mamba-CL ist die Ableitung von vier hinreichenden Konsistenzbedingungen für die Parameter des SSM-Blocks. Das Ziel ist es, sicherzustellen, dass der Output des SSM für Eingaben früherer Aufgaben ( $X_t$ ) nach dem Lernen einer neuen Aufgabe unverändert bleibt. Durch die Analyse des Vorwärtsprozesses des SSM, der einen eingabebeständigen Parameter $A$ sowie eingabeabhängige Parameter $B$ , $C$ und $\delta$ (Diskretisierungsschritt) umfasst, dekomponieren die Autoren die Konsistenzanforderung in Beschränkungen der Parameteraktualisierungen ( $\Delta$ ):

Diskretisierungsschritt ( $\delta$ ) und Input-Projektion ( $W_\delta$ ): Die Aktualisierung $\Delta W_\delta$ muss orthogonal zum Eingangsmerkmalsraum $X_t$ sein ( $X_t \Delta W_\delta = 0$ ).
Zustandsübergang ( $A$ ): Die Aktualisierung $\Delta A$ muss orthogonal zum Diskretisierungsschritt-Parameter $\delta_t$ sein ( $\delta_t \Delta A = 0$ ).
Input-Injektion ( $W_B$ ): Die Aktualisierung $\Delta W_B$ muss orthogonal zum Produkt aus Diskretisierungsschritt und Eingangsmerkmalen sein ( $\delta_t X_t \Delta W_B = 0$ ).
Output-Readout ( $W_C$ ): Die Aktualisierung $\Delta W_C$ muss orthogonal zum Eingangsmerkmalsraum $X_t$ sein ( $X_t \Delta W_C = 0$ ).

Diese Bedingungen stellen sicher, dass die durch Eingaben alter Aufgaben aktivierten Zustandsaktualisierungs- und Output-Generierungsprozesse bewahrt werden.

Optimierungsstrategie

Um diese Beschränkungen effizient zu implementieren, verwendet Mamba-CL eine Nullraum-Projektion:

Projektionsmatrizen: Die Autoren berechnen unzentrierte Kovarianzmatrizen für die Merkmalsräume ( $X_t$ , $\delta_t$ und $\delta_t X_t$ ) aus vorherigen Aufgaben. Mittels Singulärwertzerlegung (SVD) leiten sie Projektionsmatrizen ( $H_1, H_2, H_3$ ) ab, die die Gradienten der neuen Aufgabe auf die Nullräume dieser Merkmalsunterräume projizieren.
Balance-Faktor: Ein Hyperparameter $\eta \in [0, 1]$ wird eingeführt, um die Orthogonalitätsbeschränkungen zu lockern. Dies ermöglicht einen Kompromiss zwischen Stabilität (Beibehaltung alten Wissens) und Plastizität (Lernen neuer Aufgaben). Wenn $\eta=1$ , wird eine strikte Nullraum-Projektion angewendet; niedrigere Werte erlauben mehr Plastizität.
Implementierung: Während des Trainings werden die Gradienten für die SSM-Parameter ( $A, W_B, W_C, W_\delta$ ) und den nachfolgenden linearen Projektionslayer vor dem Parameter-Update-Schritt unter Verwendung dieser Matrizen projiziert.

Zentrale Beiträge

Perspektive der Output-Erhaltung: Die Arbeit formuliert die kontinuierliche Anpassung selektiver SSMs aus einer Perspektive der Output-Erhaltung und verknüpft den selektiven Scan-Mechanismus mit orthogonalen Subraum-Beschränkungen.
Theoretische Herleitung: Die Autoren leiten theoretisch vier hinreichende Konsistenzbedingungen für den SSM-Block innerhalb des Mamba-Modells ab und adressieren dabei die Komplexität seiner rekurrenten Struktur und der nichtlinearen Diskretisierung.
Nullraum-Approximation: Basierend auf diesen Bedingungen wird eine Nullraum-basierte Approximation eingeführt, um orthogonale Gradientenprojektionen effizient zu implementieren, was die kontinuierliche Anpassung großer Mamba-Foundation-Modelle ohne Speicherung früherer Aufgabenproben (exemplar-free) ermöglicht.
Empirische Validierung: Umfangreiche Experimente demonstrieren die Effektivität des Ansatzes über mehrere Benchmarks hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten Mamba-CL auf vier Class-Incremental-Benchmarks:

Datensätze: 10-Split und 20-Split ImageNet-R, 10-Split CIFAR-100 und 10-Split DomainNet.
Baselines: Die Methode wurde gegen State-of-the-Art CL-Methoden (z. B. L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE) und eine Mamba-Baseline ohne orthogonale Projektion (Mamba-Seq) verglichen.
Leistung:
- Mamba-CL erreichte eine überlegene Leistung im Vergleich zu bestehenden Methoden. Auf dem 10-Split ImageNet-R erreichte es 81,67 % Genauigkeit bei 4,07 % Vergessen, womit es die nächstbeste Methode (CL-LoRA mit 78,48 % Genauigkeit) deutlich übertraf.
- Es zeigte substantielle Verbesserungen gegenüber der Mamba-Seq-Baseline, wobei die Genauigkeit über alle Benchmarks hinweg um 18 %–45 % gesteigert und das Vergessen um 24 %–61 % reduziert wurde.
- Die Methode zeigte Robustheit in Long-Sequence-CL-Szenarien (50 und 100 Aufgaben) und behielt die Führung gegenüber anderen Methoden bei.
- Ablationsstudien bestätigten, dass die Projektion des Diskretisierungsschritts ( $\delta$ ) die kritischste Komponente zur Vermeidung von Vergessen ist.
- Der Ansatz wurde auf verschiedenen Mamba-Varianten (MambaVision, Vim, VMamba) validiert und sogar in einem „Training from Scratch“-Szenario getestet, was seine Generalisierbarkeit bestätigt.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Mamba-CL einen effektiven Weg bietet, die Kernmodule der selektiven SSMs großer Foundation-Modelle kontinuierlich anzupassen und gleichzeitig Interferenzen mit zuvor erworbenem Wissen zu minimieren. Im Gegensatz zu früheren Ansätzen, die episodisches Meta-Training, aufgabenspezifische Backbone-Erweiterungen oder die Beibehaltung von Exemplaren erfordern, operiert Mamba-CL in einem exemplar-freien Setting ohne zusätzliche Operationen während der Inferenz.

Die Autoren betonen, dass ihre Methode nicht bloß eine direkte Anwendung bestehender Projektionstechniken ist, sondern eine notwendige Anpassung an die spezifische mathematische Struktur von SSMs darstellt. Durch die Ableitung spezifischer Konsistenzbedingungen für die zeitinvarianten Parameter des Mamba-Modells schließen sie die Lücke zwischen den theoretischen Anforderungen des Continual Learning und der praktischen Implementierung von State-Space-Modellen. Die Ergebnisse legen nahe, dass der explizite Schutz der eingabeabhängigen Diskretisierung, des Zustandsübergangs, der Input-Injektion und des Output-Readouts mittels Nullraum-Projektion entscheidend ist, um eine starke Continual-Learning-Leistung in Mamba-basierten Architekturen zu erreichen.