Technische Samenvatting: Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

1. Probleemstelling

Continual Learning (CL) beoogt modellen in staat te stellen om incrementeel nieuwe kennis te verwerven uit een stroom van taken zonder catastrofale vergetelheid (catastrophic forgetting). Hoewel Parameter-Efficient Fine-Tuning (PEFT) methoden zoals Low-Rank Adaptation (LoRA) populair zijn voor het aanpassen van Large Pre-trained Models (PTMs), passen standaard LoRA-methoden dichte updates toe die onvermijdelijk de representatieruimtes van eerdere taken verstoren, wat leidt tot interferentie en vergetelheid.

Recente benaderingen hebben Mixture-of-Experts (MoE) frameworks met LoRA-adapters (MoE-LoRA) geadopteerd om taakinterferentie te isoleren door oude experts te bevriezen en nieuwe toe te voegen. Echter, het artikel identificeert dat deze bestaande MoE-LoRA methoden opereren op een grove granulariteit. Door multi-rank LoRA-adapters te behandelen als enkele, ondeelbare expert-eenheden, lijden ze onder drie kritieke problemen:

1. Interferentie: Grove experts coderen informatie met een lage specialisatie, waardoor irrelevante subspaces geactiveerd moeten worden voor specifieke inputs.
2. Redundantie: Nieuwe experts kunnen niet selectief specifieke "atomen" van kennis uit oude experts hergebruiken, wat leidt tot inefficiënt gebruik van capaciteit en de noodzaak om volledige blokken opnieuw te leren.
3. Routing/Retrieval Collapse: Naarmate het aantal grove experts groeit, worstelen externe routers er niet meer mee om de expanderende pool betrouwbaar te indexeren, wat leidt tot routing-ambiguïteit, drift en de uiteindelijke instorting van de prestaties van oude experts.

2. Methodologie: MoRAM

De auteurs stellen MoRAM (Mixture of Rank-1 Associative Memory) voor, een framework dat continual learning herdefinieert als de incrementele expansie van een parametrisch geheugensysteem bestaande uit atomaire rank-1 eenheden.

Kernconceptuele Verschuiving

Geworteld in het perspectief dat gewichtsmatrices fungeren als Lineaire Associatieve Geheugens (Kohonen, 1972), behandelt MoRAM de gewichtsmatrix $W$ niet als een monolithisch blok, maar als een collectie van $m$ atomaire key-value paren $\{(k_i, v_i)\}$.

• Key-Value Formulering: Een rank-$r$ update wordt gedecomposeerd in $r$ atomaire rank-1 paren. Elk paar bestaat uit een Key ($A_{:,i}$) en een Value ($B_{:,i}$).
• Content-Addressable Retrieval: In plaats van een externe router die leert waarheen data gestuurd moet worden, triggert de input $x$ automatisch relevante geheugenatomen via een intrinsieke relevantiescore: $s_i = A_{:,i}x$. De output is een gewogen som van values gebaseerd op deze scores.

Belangrijkste Componenten

1. Fijnmazige Rank-1 Experts:
   In plaats van een volledige rank-$r$ adapter per taak toe te voegen, introduceert MoRAM $r$ nieuwe atomaire rank-1 paren per taak. Deze atomen fungeren als fijnmazige MoE-experts. Het model bevriest voorgaande atomen en voegt er incrementeel nieuwe aan toe ("little by little").

2. Zelf-activatiemechanisme:
   MoRAM elimineert de noodzaak voor een externe, trainbare router-netwerk.

   • Relevantie Scoring: De relevantie van de $i$-de geheugenatoom voor een input $x$ wordt direct berekend via het dot product van de input en de Key-vector van de atoom ($A_{:,i}$).
   • Normalisatie: Scores worden $\ell_2$-genormaliseerd over het gehele geheugenensemble voor stabiliteit.
   • Voordeel: Dit verwijdert de optimalisatie-instabiliteit en vergetelheid geassocieerd met het trainen van hulp-router netwerken.

3. Sparse Routing en Specialisatie:
   Om interferentie en computationele overhead te voorkomen, gebruikt MoRAM een sparse selectiestrategie:

   • Top-$k$ Masking: Alleen de $k$ atomen met de hoogste activatiescores worden behouden voor een gegeven input.
   • Temperatuur Schaling: Een temperatuur hyperparameter $\tau_{MoRAM}$ wordt toegepast op de softmax om de distributie te verscherpen, waardoor gradiënten geconcentreerd worden op de meest relevante "specialist" atomen en hun adaptatie wordt versneld.
   • Threshold-Based Pruning: Tijdens inferentie worden atomen met activatiescores onder een drempelwaarde $\delta$ gepruned om verdere ruis en computationele kosten te verminderen.

4. Incrementele Expansie:
   Voor elke nieuwe taak introduceert het model een set nieuwe rank-1 paren, bevriest het alle voorgaande atomen, en laat het de zelf-activatie het mechanisme toe om te routeren over de unie van oude en nieuwe geheugens. Dit stelt het model in staat om gedeelde semantiek te hergebruiken (bijv. "blauwe lucht") terwijl het nieuwe atomen specialiseert voor taakspecifieke concepten (bijv. "vliegtuig").

3. Belangrijkste Bijdragen

1. MoRAM Framework: Een nieuw CL-framework dat leren behandelt als de expansie van een parametrisch geheugen van rank-1 associatieve eenheden en inferentie als test-time geheugenretrieval. Dit maakt fijnmazig hergebruik van kennis mogelijk met minimale interferentie.
2. Zelf-geactiveerde Sparse Routing: Door updates te deconstrueren naar rank-1 geheugenatomen, vormt het model van nature een fijnmazige MoE. Het voorgestelde zelf-activatiemechanisme elimineert externe routers, wat een sparse, content-gebaseerde retrieval mogelijk maakt die routing-collapse voorkomt.
3. Empirische Superioriteit: Uitgebreide evaluaties op vision-language (CLIP) en Large Language Model (LLM) benchmarks tonen aan dat MoRAM aanzienlijk beter presteert dan state-of-the-art methoden, waarbij het een betere plasticiteit-stabiliteit balans bereikt en de pre-trained generalisatiecapaciteiten behoudt.

4. Experimentele Resultaten

Het artikel evalueert MoRAM op verschillende benchmarks, waaronder X-TAIL (voor CLIP), TRACE (voor LLM's), en standaard taalclassificatietaken.

• Vision-Language (CLIP): Op de X-TAIL benchmark bereikt MoRAM state-of-the-art prestaties op "Average" en "Last" accuratesse metrieken, waarmee het methoden zoals MoE-Adapter, CoDyRA en RAIL-Primal overtreft. Het verbetert de representatie effectief zonder externe domein-ID's of feature banks te vereisen.
• Large Language Models (LLMs): Op de TRACE benchmark met LLaMA en Gemma modellen demonstreert MoRAM robuuste prestaties met aanzienlijk lagere Backward Transfer (BWT) scores (wat duidt op minder vergetelheid) vergeleken met SeqLoRA, O-LoRA en TreeLoRA.
• Generalisatie vs. Vergetelheid: Bij het fine-tunen voor codegeneratie (CodeAlpaca) degraderen standaard dichte LoRA-updates de prestaties op semantisch verre onderwerpen (bijv. Wereldreligies). MoRAM, door nieuwe kennis te isoleren in onafhankelijke rank-1 atomen, behoudt de out-of-domain generalisatie terwijl het de in-domain code-prestaties verbetert.
• Efficiëntie: MoRAM behaalt superieure prestaties met ongeveer één derde van de actieve parameters die nodig zijn door een standaard rank-32 LoRA. Het behoudt ook een laag GPU-geheugengebruik en een inferentie-latentie die vergelijkbaar is met bestaande PEFT-methoden.

5. Betekenis en Claims

Het artikel claimt dat hoogwaardige continual learning geen complexe externe routers of rigide structurele expansies vereist. In plaats daarvan pleit het voor een paradigmaverschuiving naar precieze, content-adressabele retrieval van low-rank atomaire geheugens.

• Mitigatie van Catastrofale Vergetelheid: Door updates te behandelen als onafhankelijke geheugenatomen in plaats van verstrengelde blokken, voorkomt MoRAM het overschrijven van ongerelateerde concepten.
• Schaalbaarheid: Het zelf-geactiveerde, sparse mixture mechanisme stelt het model in staat om te schalen naar vele taken zonder de routing-ambiguïteit die grofmazige MoE-LoRA teistert.
• Efficiëntie: De methode vermindert de compute en geheugenvereisten, waardoor de continue adaptatie van grote modellen haalbaar wordt in omgevingen met beperkte middelen.

De auteurs concluderen dat MoRAM een "little by little" aanpak biedt voor geheugenexpansie, waarbij de balans tussen plasticiteit en stabiliteit effectief wordt beheerd terwijl de gegeneraliseerde kennis van het pre-trained model behouden blijft. Toekomstig werk suggereert het verkennen van adaptieve temperatuurinstellingen op basis van datadistributie en het uitbreiden van de toepasbaarheid naar bredere PTM's.