Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning

Het artikel introduceert Brainstacks, een modulaire architectuur voor continue leerprocessen van grote taalmodellen die domeinspecifieke expertise vastlegt in bevroren adapterstapels met een MoE-LoRA-routingsysteem, waardoor het model zonder vergeten nieuwe vaardigheden kan leren en via een meta-router automatisch overdraagbare cognitieve primitieven combineert voor complexe cross-domein taken.

De kern

🧠 Brainstacks: De "Legoblokken" voor slimme computers

Stel je voor dat je een enorm slimme robot (een Large Language Model of LLM) hebt. Normaal gesproken is het trainen van zo'n robot als het bouwen van een gigantisch, monoliet huis van beton. Als je er een nieuwe kamer aan wilt toevoegen (bijvoorbeeld voor medische kennis), moet je vaak het hele huis slopen en opnieuw bouwen, of je riskeert dat de oude muren instorten en de robot alles wat hij eerder wist, vergeet. Dit heet "catastrophic forgetting" (catastrofale vergeetachtigheid).

Brainstacks is een nieuwe manier om die robot te trainen. In plaats van één groot betonblok, bouwen we een modulair lego-systeem.

Hier is hoe het werkt, stap voor stap:

1. De "Vaste" Basis en de "Toevoegbare" Stacks

Stel je de basis van de robot voor als een frozen (bevroren) ijsblok. Dit ijsblok is al perfect gevormd en verandert nooit meer.

• De Stacks: Voor elk nieuw onderwerp (bijv. programmeren, wiskunde, medisch advies) trainen we een setje Legoblokken (de "stacks").
• Het Magische: Zodra deze Legoblokken getraind zijn, worden ze ook "bevroren". Ze worden als een vaste laag op het ijsblok geplakt.
• Het Voordeel: Je kunt nu een nieuwe laag (bijv. juridisch advies) toevoegen zonder de oude lagen (medisch of wiskunde) te beschadigen. Ze liggen gewoon bovenop elkaar.

2. De "Twee-Loop" Bouwtechniek

Het team gebruikt een slimme bouwstrategie met twee lagen:

• De Binnenste Loop (Residual Boosting): Stel je voor dat je een muur wilt schilderen. De eerste laag verf (Stack 1) dekt het grootste deel. Maar er blijven nog wat vlekjes over. De tweede laag (Stack 2) wordt dan getraind om alleen die resterende vlekjes weg te werken. Zo wordt het steeds beter, stap voor stap.
• De Buitenste Loop (Continu Leren): Nu bouw je aan verschillende kamers. Eerst de woonkamer (chat), dan de keuken (code), dan de bibliotheek (wiskunde). Elke kamer bouwt voort op de basis van de vorige, maar verstoort ze niet.

3. De "Onzichtbare Muur" (Null-Space Projectie)

Dit is misschien wel het coolste deel. Hoe voorkom je dat de nieuwe lagen de oude verwarren?
Stel je voor dat elke nieuwe kennis (bijv. wiskunde) een eigen, onzichtbare dimensie of een "privé-tuin" krijgt in het hoofd van de robot.

• De robot gebruikt een wiskundige truc (Null-Space Projectie) om te garanderen dat de nieuwe kennis nooit in de richting van de oude kennis schrijft.
• Het is alsof je een nieuwe kamer bouwt die exact loodrecht staat op de oude kamer. Ze raken elkaar nooit. Hierdoor vergeet de robot nooit iets wat hij eerder heeft geleerd.

4. De "Slimme Portier" (Meta-Router)

Normaal gesproken zouden alle Legoblokken tegelijkertijd aan het werk zijn als je de robot iets vraagt. Dat is een chaos: als je vraagt om een recept, wil je niet dat de robot ook nog eens wiskundige formules of Python-code begint te roepen.

• De Oplossing: Brainstacks heeft een Slimme Portier (de Meta-Router).
• Deze portier kijkt naar je vraag en kiest alleen de juiste Legoblokken.
  • Vraag: "Hoe maak ik een taart?" -> Portier: "Neem de Kook-blokken en de Chat-blokken."
  • Vraag: "Wat is de wortel van 144?" -> Portier: "Neem de Wiskunde-blokken."
• De verrassing: De onderzoekers ontdekten iets heel vreemds. Als je de robot vraagt om medisch advies, kiest de portier vaak geen medische blokken, maar juist de Chat- en Wiskunde-blokken!
  • Waarom? Omdat de robot merkt dat medische vragen eigenlijk gewoon vragen zijn over "duidelijk uitleggen" (chat) en "getallen berekenen" (wiskunde). De blokken hebben niet alleen feiten geleerd, maar denkvaardigheden (cognitive primitives).

5. De "Superpositie" (Oneindig geheugen)

Dit is het grootste praktische voordeel.
Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken (kennisgebieden). Normaal moet je al die boeken in je hoofd houden, wat onmogelijk is.

• Met Brainstacks bewaar je alle boeken op een schijf (disk).
• De robot heeft maar één klein "werkblad" (GPU-geheugen) nodig.
• Als je een vraag stelt, haalt de robot alleen het boek dat hij nodig heeft, leest het, en legt het terug.
• Dit noemen ze de Superposition LLM: Je kunt duizenden specialismen hebben, maar de robot gebruikt altijd maar evenveel geheugen als voor één specialisme. Het is alsof je een onbeperkte bibliotheek in je broekzak hebt, zonder dat je zwaar wordt.

🎯 De Grote Conclusie in Eén Zin

Brainstacks leert ons dat we AI niet hoeven te zien als een machine die feiten "inleert" (zoals een student die een boek uit zijn hoofd leert), maar als een machine die gereedschappen (zoals logisch denken of structuur) leert. Door deze gereedschappen als losse, bevroren blokken te stapelen en slim te kiezen welke je nodig hebt, kun je een robot bouwen die alles kan, nooit iets vergeet, en altijd precies de juiste kennis gebruikt.

Het is alsof je in plaats van één super-robot bouwt, een robot-pak bouwt waar je wisselende "armen" (specialisten) aan kunt klikken, afhankelijk van wat je vandaag moet doen.

Technische samenvatting

Probleemstelling

Huidige benaderingen voor het uitbreiden van de capaciteiten van Large Language Models (LLM's) zijn fundamenteel monolithisch. Traditioneel worden modellen gefine-tuned op gemengde datasets in één trainingsrun, waardoor alle domeinkennis in gedeelde parameters wordt gekoppeld. Dit leidt tot drie kernproblemen:

1. Catastrophic Forgetting: Het toevoegen van een nieuw domein vereist vaak hertraining vanaf nul of leidt tot het vergeten van eerder geleerde kennis.
2. Gebrek aan Modulariteit: Er is geen mechanisme om individuele domeincapaciteiten na de implementatie te verwijderen of bij te werken.
3. Uniforme Inferentie: Bij inferentie wordt alle geleerde kennis uniform toegepast, ongeacht de invoer, zonder de mogelijkheid om relevante expertise selectief te activeren.

Bestaande methoden zoals LoRA (Parameter-Efficient Fine-Tuning) of Mixture-of-Experts (MoE) lossen dit niet volledig op: LoRA biedt geen modulariteit, en bestaande MoE-LoRA-methoden missen vaak de mogelijkheid tot continu leren of compositie van domeinen tijdens inferentie.

Methodologie: Brainstacks Architectuur

Brainstacks introduceert een nieuwe modulaire architectuur die domeinexpertise verpakt als bevroren adapter-stacks die additief worden samengesteld op een gedeelde, bevroren basismodel. De architectuur bestaat uit vijf interlockende componenten:

1. MoE-LoRA Bouwblok:

   • Gebruikt een Mixture-of-Experts (MoE) LoRA-module met Shazeer-style noisy top-2 routing.
   • Dit wordt toegepast op alle zeven transformer-projectiematrices (q, k, v, o, gate, up, down), in plaats van alleen op de Feed-Forward Netwerken (FFN).
   • Implementeert rsLoRA (rank-stabilized scaling) en werkt onder QLoRA 4-bit kwantisatie.

2. Residual Boosting (Inner Loop):

   • Binnen een domein worden meerdere stacks sequentieel getraind. Stack 1 leert de primaire correctie.
   • Zodra Stack 1 bevroren is, wordt Stack 2 toegevoegd en getraind op dezelfde data. Omdat Stack 1 al een deel van de output corrigeert, leert Stack 2 de residuale fouten die Stack 1 niet heeft opgevangen. Dit proces herhaalt zich totdat convergentie wordt bereikt.

3. Continu Domeinleren (Outer Loop):

   • Domeinen worden sequentieel getraind volgens een curriculum (bijv. Chat -> Code -> Wiskunde -> Medisch).
   • Nieuwe domeinen trainen bovenop de bevroren stacks van eerdere domeinen.

4. Null-Space Projectie (Zero Forgetting):

   • Om te voorkomen dat nieuwe stacks de kennis van eerdere domeinen overschrijven, wordt null-space projectie via gerandomiseerde SVD gebruikt.
   • De gradiënten van de actieve stack worden geprojecteerd op een ruimte die orthogonaal is aan de subruimtes die door de bevroren stacks worden bezet.
   • Dit is een harde geometrische beperking: de actieve stack kan fysiek niet schrijven in richtingen die al door bevroren stacks worden gebruikt.

5. Outcome-Based Sigmoid Meta-Router:

   • In plaats van te routeren op domeinlabels, wordt een meta-router getraind op empirisch ontdekte domeincombinaties.
   • De router (een lichtgewicht netwerk) voorspelt per prompt welke stacks het beste presteren door de loss te meten bij verschillende combinaties.
   • Het gebruikt sigmoid gating (onafhankelijke per-domein waarschijnlijkheid) in plaats van softmax, waardoor meerdere stacks gelijktijdig kunnen worden geactiveerd voor cross-domein compositie.

6. Superposition LLM (Inferentie):

   • Een systeem waarbij de basis en de router op de GPU blijven, maar domeinstacks op de schijf worden opgeslagen.
   • Alleen de benodigde stacks worden per prompt geladen naar de GPU, wat constante GPU-geheugengebruik garandeert ongeacht het aantal beschikbare domeinen.

Belangrijkste Bijdragen

1. Nieuwe Training Architectuur: Een tweedimensionale lus (innerlijke residual boosting + buitenste continu stacken) die MoE-LoRA combineert met null-space projectie.
2. Null-Space Orthogonaliteit: Een wiskundige garantie voor "zero forgetting" wanneer domeinen geïsoleerd worden geëvalueerd, door gradiënten te projecteren op orthogonale subruimtes.
3. Outcome-Based Routing: De eerste router die domeincombinaties leert op basis van empirische prestaties (loss-minimalisatie) in plaats van domeinlabels. Dit onthult dat optimale routing vaak afwijkt van de nominale domeinlabel.
4. Empirische Ontdekking van Cognitieve Primitieven: De bevinding dat domeinstacks transfererbare cognitieve vaardigheden (zoals instructievolging, numeriek redeneren, procedurele logica) leren in plaats van domeinspecifieke feiten.
5. Superposition LLM: Een inferentiemodel dat onbeperkt veel domeinen kan ondersteunen met constant GPU-geheugen door selectief laden.

Resultaten en Experimenten

De methode werd gevalideerd op TinyLlama-1.1B (4 domeinen, 9 stacks) en Gemma 3 12B IT (5 domeinen, 10 stacks).

• Convergentie: MoE-LoRA bereikt 2,5x snellere convergentie in validatieverlies per stap vergeleken met een parameter-gelijkwaardige single LoRA, ondanks een iets langere wall-clock tijd.
• Residual Boosting: Door het stapelen van bevroren stacks wordt het "plafond" van een enkele stack doorbroken. Bijv. op het Chat-domein werd een verbetering van 2,4% in loss bereikt na 3 rondes.
• Zero Forgetting:
  • Zonder meta-router (ungated) treedt er "magnitude accumulation" op (interferentie), wat de prestaties verlaagt.
  • Met de meta-router en null-space projectie wordt zero forgetting bereikt: wanneer een domein geïsoleerd wordt geëvalueerd, is de loss identiek aan de trainingswaarde.
• Cross-Domein Compositie (De "Oracle" Vondst):
  • Bij medische prompts routeerde de meta-router in 97% van de gevallen naar een combinatie van Chat + Wiskunde stacks, en niet naar de Medische stack (die 0 medische data bevatte in die specifieke stacks).
  • Dit bewijst dat de Medische stack geen medische feiten leerde, maar dat de Chat-stack (instructievolging) en Wiskunde-stack (numeriek redeneren) de benodigde cognitieve primitieven leverden.
• Gemma 3 12B: De gerouteerde systemen behielden de prestaties van het basismodel op benchmarks (zoals MMLU, GSM8K) zonder catastrofale degradatie, terwijl ze specifieke domeincapaciteiten toevoegden.

Betekenis en Conclusie

Het paper reframed het concept van fine-tuning: het injecteert niet "kennis" (feiten), maar samenstelbare cognitieve vaardigheden.

• Van Kennis naar Vaardigheid: Adapteren zijn geen opslagplaatsen voor domeinkennis, maar gereedschapskisten voor cognitieve primitieven (bijv. "hoe je een probleem stap-voor-stap oplost").
• Combinatorische Schaalbaarheid: Als adapters cognitieve primitieven zijn, kunnen een klein aantal basisvaardigheden (bijv. 5-8) combinatorisch een exponentieel grotere ruimte van domeintaken bestrijken, in plaats van lineair te schalen met het aantal domeinen.
• Toekomstperspectief: De architectuur maakt een "Self-Expanding LLM" mogelijk die autonoom nieuwe domeinstacks kan leren en toevoegen zonder bestaande kennis te corrumperen.

De kernboodschap is dat Brainstacks een pad biedt naar schaalbare, modulaire AI-systemen waarbij capaciteiten als valuta fungeren: eenmaal getraind, permanent bevroren, en naar wens samengesteld.