Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

Die Arbeit stellt Brainstacks vor, eine modulare Architektur für das kontinuierliche Lernen von Large Language Models, die durch gefrorene MoE-LoRA-Adapterstapel und einen ergebnisbasierten Meta-Router domänenübergreifende kognitive Fähigkeiten ohne Vergessen ermöglicht, indem sie transferierbare kognitive Primitiven statt domänenspezifischen Wissens kodiert.

Das Wesentliche

Stell dir vor, du hast einen riesigen, hochintelligenten Bibliothekar namens Brainstacks.

Normalerweise lernen KI-Modelle wie dieser Bibliothekar so: Wenn sie ein neues Fachgebiet (z. B. Medizin) lernen sollen, müssen sie oft ihr ganzes bisheriges Wissen überarbeiten. Das ist wie wenn ein Bibliothekar, der gerade Geschichte gelernt hat, plötzlich versucht, Medizin zu lernen, und dabei vergisst, wie man Bücher über Geschichte korrekt einordnet. Oder er muss das ganze Gebäude neu bauen, um Platz für neue Bücher zu schaffen. Das ist teuer, langsam und riskant.

Brainstacks ist eine völlig neue Art, diesen Bibliothekar zu organisieren. Hier ist die einfache Erklärung, wie es funktioniert:

1. Das Konzept: Der "Fertige Regal-Stack"

Stell dir vor, der Bibliothekar hat einen frozenen (eingefrorenen) Grundstock an Wissen. Er ist fest und unveränderlich.
Wenn er nun Medizin lernen soll, baut er nicht das ganze Regal neu. Stattdessen packt er einen speziellen, fertigen Aufsatz (einen "Stack") auf das bestehende Regal.

• Dieser Aufsatz ist wie ein transparenter Overlay: Er fügt nur das hinzu, was für Medizin nötig ist.
• Sobald dieser Aufsatz fertig ist, wird er eingefroren. Er wird festgeschraubt und kann sich nie wieder verändern.
• Wenn er später Programmieren lernen will, schraubt er einen neuen Aufsatz über den Medizin-Aufsatz.

Das Tolle: Wenn du den Medizin-Aufsatz abnimmst, ist das Grundwissen immer noch da. Du kannst Aufsätze hinzufügen, entfernen oder aktualisieren, ohne den Rest zu zerstören.

2. Der Trick: Wie lernt er ohne zu vergessen? (Der "Geister-Regler")

Das größte Problem beim Lernen neuer Dinge ist, dass man alte vergisst. Brainstacks löst das mit einer genialen mathematischen Regel, die wir uns wie einen Geister-Regler vorstellen können.

• Das Problem: Wenn der Bibliothekar einen neuen Aufsatz (z. B. für Mathematik) schreibt, könnte er versehentlich die alten Buchstaben auf dem Medizin-Aufsatz verwischen.
• Die Lösung: Der Geister-Regler (Null-Raum-Projektion) sagt dem neuen Aufsatz: "Du darfst nur in die leeren Ecken schreiben, die von den alten Aufsätzen noch nicht belegt sind."
• Das Ergebnis: Die neuen Ideen (Mathematik) und die alten Ideen (Medizin) existieren in völlig getrennten, aber nebeneinander liegenden Räumen. Sie stören sich nicht. Das nennt man "Zero Forgetting" (Null Vergessen).

3. Der Super-Manager: Der "Meta-Router"

Jetzt hast du viele Aufsätze auf dem Regal: Medizin, Code, Mathe, Chat. Wenn du eine Frage stellst, willst du nicht, dass alle Aufsätze gleichzeitig schreien. Das wäre Chaos.

Hier kommt der Meta-Router ins Spiel. Stell dir ihn als einen sehr klugen Portier vor, der an der Tür steht.

• Er liest deine Frage.
• Er entscheidet nicht basierend auf dem Thema ("Das ist eine medizinische Frage"), sondern basierend auf dem, was die Frage wirklich braucht.
• Das Überraschende: Manchmal ist die beste Antwort auf eine medizinische Frage nicht der "Medizin-Aufsatz", sondern eine Kombination aus dem "Chat-Aufsatz" (für klare Erklärungen) und dem "Mathe-Aufsatz" (für Dosierungsberechnungen).
• Der Portier schaltet genau diese Aufsätze ein und blendet die anderen aus. Er lernt durch Versuch und Irrtum, welche Kombination die beste Antwort liefert.

4. Was wird eigentlich gelernt? (Das große Geheimnis)

Die Forscher haben etwas Erstaunliches entdeckt. Die Aufsätze speichern nicht unbedingt spezifisches Wissen (wie "Was ist ein Herzinfarkt?"). Stattdessen speichern sie kognitive Werkzeuge (Denkweisen):

• Der Chat-Aufsatz lernt, wie man höflich und strukturiert antwortet.
• Der Mathe-Aufsatz lernt, wie man Schritt-für-Schritt rechnet.
• Der Code-Aufsatz lernt, wie man logische Abläufe aufbaut.

Wenn du eine medizinische Frage stellst, braucht der Portier vielleicht gar keinen "Medizin-Spezialisten", sondern nur jemanden, der gut rechnen und gut erklären kann. Deshalb schaltet er Mathe und Chat ein. Das bedeutet: KI lernt nicht nur Fakten, sondern Denkweisen, die man überall kombinieren kann.

5. Der "Superposition"-Effekt: Unendliches Wissen auf kleinem Raum

Stell dir vor, du hast nur einen kleinen Rucksack (deine Grafikkarte im Computer), aber du willst Zugang zu tausenden Fachbüchern haben.

• Normalerweise müsstest du alle Bücher gleichzeitig im Rucksack haben (was unmöglich ist).
• Mit Brainstacks liegt der Rucksack voll mit leeren, aber vorbereiteten Fächern auf der Festplatte.
• Wenn du eine Frage stellst, holt der Portier nur die zwei oder drei Fächer heraus, die du gerade brauchst, packt sie in den Rucksack, beantwortet die Frage und räumt sie wieder weg.
• Du kannst also theoretisch unendlich viele Fachgebiete lernen, ohne dass dein Computer langsamer wird oder mehr Speicher braucht.

Zusammenfassung in einem Satz

Brainstacks ist wie ein modulares Lego-System für KI: Statt ein riesiges, unflexibles Haus zu bauen, das man nur mit einem Bulldozer abreißen kann, baut man kleine, spezialisierte Module, die man nach Bedarf aufeinanderschichten, kombinieren und wieder abnehmen kann – ohne dass das Fundament (das Grundwissen) jemals wackelt.

Das macht KI nicht nur schlauer, sondern auch viel flexibler und effizienter für die Zukunft.

Technische Zusammenfassung

1. Problemstellung

Aktuelle Ansätze zur Erweiterung von Large Language Models (LLMs) sind meist monolithisch. Das Hinzufügen neuer Domänenwissen erfordert entweder ein komplettes Neutrainieren (Risiko des „Catastrophic Forgetting") oder sequenzielles Fine-Tuning, das zu einem Verlust bisheriger Fähigkeiten führt. Zudem fehlt es an Modularität:

• Keine Nachträglichkeit: Einzelne Domänen-Fähigkeiten können nach dem Deployment nicht entfernt oder aktualisiert werden.
• Uniforme Inferenz: Das Modell wendet alle gelernten Kenntnisse unabhängig vom Eingabe-Kontext an, was zu Interferenzen führt.
• Fehlende Komposition: Es gibt keinen Mechanismus, um Domänenfähigkeiten zur Laufzeit selektiv zu kombinieren (z. B. medizinisches Wissen mit mathematischem Schlussfolgern).

2. Methodik: Die Brainstacks-Architektur

Brainstacks löst diese Probleme durch eine modulare Architektur, die Domänenexpertise als gefrorene (frozen) MoE-LoRA-Adapter-Stapel (Stacks) behandelt, die additiv auf einem gemeinsamen, eingefrorenen Basis-Modell aufsetzen. Das System besteht aus fünf ineinandergreifenden Komponenten:

A. MoE-LoRA-Baustein (Mixture-of-Experts)

• Struktur: Jeder Transformer-Projektionslayer (alle 7 Matrizen: $q, k, v, o$ im Attention-Teil sowie $gate, up, down$ im FFN) wird durch einen MoE-LoRA-Modul ersetzt.
• Routing: Es wird ein „Shazeer-style" Noisy Top-2-Routing über 4 Experten verwendet. Ein gelerntes Rauschen ($\epsilon$) fördert die Exploration während des Trainings.
• Skalierung: Anwendung von rsLoRA (rank-stabilized scaling, $\alpha/\sqrt{r}$) in Kombination mit 4-bit Quantisierung (QLoRA).

B. Zwei-Schleifen-Training

1. Inner Loop (Residual Boosting): Innerhalb einer Domäne werden mehrere Stacks sequenziell trainiert. Stack 1 lernt die primäre Korrektur. Stack 2 wird hinzugefügt und lernt den Residualfehler, den Stack 1 nicht erfasst hat. Dies geschieht durch das Einfrieren des vorherigen Stacks und das Training des neuen darauf aufbauend.
2. Outer Loop (Continual Domain Stacking): Domänen werden sequenziell (z. B. Chat $\to$ Code $\to$ Math $\to$ Medical) trainiert. Jede neue Domäne trainiert auf den bereits eingefrorenen Stacks der vorherigen Domänen.

C. Null-Raum-Projektion (Null-Space Projection)

Um Katastrophales Vergessen zu verhindern, werden neue Stacks so trainiert, dass sie nur in Unterräumen lernen, die orthogonal zu den bereits eingefrorenen Stacks liegen.

• Mechanismus: Mittels zufälliger SVD (Singular Value Decomposition) werden die Hauptrichtungen der Aktivierungen der eingefrorenen Stacks extrahiert.
• Projektion: Der Gradient des aktiven Stacks wird mathematisch auf den orthogonalen Komplementraum projiziert ($P = V \cdot V^\top$). Dies ist eine harte geometrische Einschränkung: Der neue Stack kann physikalisch keine Richtungen beschreiben, die bereits von alten Stacks „beansprucht" werden.

D. Outcome-Based Meta-Router

Ein leichter neuronaler Netz-Router (ca. 2 Mio. Parameter) steuert die Inferenz.

• Training: Der Router wird nicht auf Domänen-Labels trainiert, sondern auf empirisch entdeckten Zielen. Für jede Eingabe wird getestet, welche Kombination von Stacks den Verlust minimiert.
• Funktion: Er verwendet Sigmoid-Ausgaben (nicht Softmax), um mehrere Stacks gleichzeitig zu aktivieren (Cross-Domain Composition). Er entscheidet dynamisch, welche Stacks für einen Prompt geladen werden müssen.

E. Superposition LLM (Inferenz)

• Disk-Offloading: Das Basis-Modell und der Router bleiben im GPU-Speicher. Domänen-Stacks werden bei Bedarf von der Festplatte geladen, verarbeitet und wieder entfernt.
• Konstante GPU-Nutzung: Die GPU-Speichernutzung bleibt konstant, unabhängig davon, wie viele Domänen-Stacks insgesamt existieren.

3. Hauptbeiträge

1. Neue Architektur: Kombination aus MoE-LoRA auf allen 7 Projektionen, rsLoRA, Residual-Boosting durch Stapelung und Null-Raum-Projektion.
2. Zero-Forgetting-Garantie: Durch die Kombination aus Null-Raum-Projektion (während des Trainings) und selektivem Gating (während der Inferenz) wird sichergestellt, dass das Training neuer Domänen alte Domänen nicht beeinträchtigt.
3. Entdeckung kognitiver Primitive: Der wichtigste empirische Befund ist, dass Domänen-Stacks nicht primär domänenspezifisches Wissen speichern, sondern transferierbare kognitive Primitive (z. B. Anweisungsfolge, numerisches Schlussfolgern, prozedurale Logik).
   • Beispiel: Medizinische Prompts wurden zu 97 % an Stacks für „Chat + Mathematik" weitergeleitet, obwohl diese Stacks keine medizinischen Daten enthielten. Die medizinische Antwort entstand durch die Kombination von klarem Erklärungsstil (Chat) und numerischer Logik (Math).
4. Outcome-Based Routing: Ersetzt label-basiertes Routing durch eine empirische Optimierung der Leistungskombination.

4. Ergebnisse und Evaluation

Die Methode wurde auf TinyLlama-1.1B (4 Domänen, 9 Stacks) und Gemma 3 12B IT (5 Domänen, 10 Stacks) validiert.

• Konvergenz: MoE-LoRA konvergiert 2,5-mal schneller pro Schritt als ein parametrisch äquivalentes Single-LoRA, trotz höherem Rechenaufwand pro Schritt.
• Residual Boosting: Durch das Stapeln von Stacks wurden die Leistungsgrenzen einzelner LoRA-Stacks durchbrochen (z. B. Chat-Verlust von 0,874 auf 0,853 gesenkt).
• Vergessensanalyse:
  • Ohne Meta-Router (alle Stacks aktiv): Es kommt zu einer massiven Interferenz und Leistungsverschlechterung durch additive Fehlerakkumulation.
  • Mit Meta-Router: Die Inferenzqualität wird wiederhergestellt. Der Router schaltet irrelevante Stacks ab.
  • Null-Raum-Projektion: Reduziert die Interferenz während des Trainings signifikant.
• Benchmarks (Gemma 3 12B): Der geroutete Brainstacks-Ansatz zeigt auf Zero-Shot-Benchmarks (MMLU, MedQA, GSM8K) keine katastrophale Verschlechterung gegenüber dem Basis-Modell und verbessert spezifische Aufgaben (z. B. MedMCQA, TruthfulQA).
• PSN-Experiment (Partitioned Subspace Network): Ein Experiment mit einem zufällig initialisierten Modell (ohne Vorkenntnisse) zeigte, dass die Stacks strukturelle Muster (z. B. Python-Code-Struktur) lernen können, selbst ohne Vokabular-Kenntnisse. Dies bestätigt, dass die Stacks Fähigkeiten und nicht nur Wissen kodieren.

5. Bedeutung und Ausblick

Brainstacks verändert das Verständnis von Fine-Tuning fundamental:

• Von Wissens- zu Fähigkeitsinjektion: Fine-Tuning injiziert keine statischen Fakten, sondern komponentenartige kognitive Fähigkeiten, die sich über Domänengrenzen hinweg kombinieren lassen.
• Skalierbarkeit: Da Fähigkeiten als „Währung" fungieren, die sich kombinatorisch (exponentiell) zu neuen Domänen zusammensetzen, ist das System extrem skalierbar.
• Praktische Anwendung: Das Konzept des „Superposition LLM" ermöglicht es, Modelle mit unbegrenzten Domänenfähigkeiten auf begrenzter Hardware (konstanter GPU-Speicher) zu betreiben, indem Expertise wie Buchseiten nach Bedarf geladen wird.

Zukünftige Arbeiten umfassen die Entwicklung von „Self-Expanding LLMs" (autonomes Hinzufügen neuer Domänen), die native Anwendung auf Pretraining (Partitioned Subspace Networks) und Kompressionstechniken (LatentMoE) zur weiteren Reduzierung des Speicherbedarfs.

Zusammenfassend bietet Brainstacks einen robusten, modularen Weg für kontinuierliches Lernen in LLMs, der das Problem des Vergessens löst und eine neue Ära der kompositionellen KI-Fähigkeiten einleitet.