🤖 machine learning

Improving Sparse Memory Finetuning

Dit paper introduceert een open-source pipeline voor 'Sparse Memory Finetuning' die bestaande modellen op consumentenhardware kan aanpassen aan nieuwe kennis met minimale vergetelheid, door updates te beperken tot specifieke geheugenschakels die worden geselecteerd op basis van KL-divergentie.

Oorspronkelijke auteurs: Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, algemene assistent hebt (een "Groot Taalmodel") die alles weet over de wereld. Maar de wereld verandert elke dag: er zijn nieuwe feiten, nieuwe regels en nieuwe gebeurtenissen. Het probleem is dat als je deze assistent leert om deze nieuwe dingen te onthouden, hij vaak zijn oude kennis vergeet. Dit noemen onderzoekers "catastrophical forgetting" (catastrofaal vergeten). Het is alsof je een nieuwe pagina in een boek plakt, maar door de lijm de vorige pagina's uit elkaar trekt.

De auteurs van dit paper hebben een slimme oplossing bedacht die ze Sparse Memory Finetuning noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Alles-of-Niets" Benadering

Stel je de assistent voor als een enorme bibliotheek waar elke boekenplank vol zit met kennis.

De oude manier (Volledige Finetuning): Als je een nieuwe feitelijke kennis wilt toevoegen, pak je de hele bibliotheek en herschrijf je alle boeken tegelijk. Het resultaat? De nieuwe informatie zit erin, maar door het herschrijven zijn de oude verhalen verdraaid of verdwenen.
De nieuwe manier (LoRA/PEFT): Je plakt een paar nieuwe sticky-notes op de bestaande boeken. Dit is beter, maar omdat de sticky-notes overal worden geplakt, kunnen ze toch per ongeluk oude informatie verstoren.

2. De Oplossing: De "Magische Bijlage"

De auteurs zeggen: "Waarom herschrijven we de hele bibliotheek niet? Laten we in plaats daarvan een speciale, losse bijlage toevoegen."

Ze nemen een bestaande, slimme assistent (in dit geval een klein model genaamd Qwen) en vervangen een klein deel van zijn "hersenen" (de lagen die feiten verwerken) door een spaarzaam geheugen.

Het idee: In plaats van dat de assistent alles in zijn hoofd bewaart, heeft hij nu een klein, speciaal notitieblok (het "sparse memory").
Hoe het werkt: Als de assistent een vraag krijgt, kijkt hij eerst in zijn hoofd. Als het antwoord niet bekend is, zoekt hij in zijn notitieblok. Hij pakt slechts een paar specifieke regels uit dat blok (vandaar "spaarzaam" of sparse) om het antwoord te vinden of te leren.

3. De Slimme Keuze: Welke Regels Schrijven?

Het grootste probleem is: welke regels in het notitieblok moeten we nu aanpassen? Als we per ongeluk een regel aanpassen die belangrijk is voor "wiskunde", terwijl we juist iets over "geschiedenis" leren, is dat slecht.

De auteurs vergelijken twee manieren om te kiezen welke regels je aanpast:

Manier A (De "TF-IDF" methode - de oude manier):
Dit is alsof je kijkt naar woorden die vaak voorkomen. Het is een simpele, statische lijst. Het werkt, maar het is niet heel slim. Het is alsof je zegt: "Ik schrijf iets op waar ik vaak naar kijk."
Manier B (De "KL-Divergentie" methode - de nieuwe, slimme manier):
Dit is de echte innovatie van dit paper. Stel je voor dat de assistent een verwachtingspatroon heeft. Hij weet hoe zijn notitieblok normaal gesproken gebruikt wordt.
- Als er iets binnenkomt dat verrassend is (bijvoorbeeld een heel nieuw feit dat hij nog nooit zag), zegt de slimme methode: "O, dit is een verrassing! Dit is belangrijk om op te schrijven in een nieuw vakje, niet in een vakje dat we al vaak gebruiken."
- Het is alsof je een alarmbelletje hebt dat rinkelt als er iets gebeurt dat afwijkt van het normale patroon. Dan schrijf je het op in een speciaal vakje, zodat je je oude kennis niet verstoort.

4. Het Proces in Drie Stappen

De auteurs hebben een stappenplan gemaakt om dit te doen zonder de assistent "gek" te maken:

De Transformatie (Retrofitting): Ze nemen de assistent en vervangen een paar van zijn interne onderdelen door het nieuwe notitieblok. Op dat moment is de assistent even verward (hij kan nog niet goed praten).
De Genezing (Healing): Ze laten de assistent even oefenen met gewone gesprekken, maar ze laten alleen het notitieblok aanpassen. Hierdoor leert de assistent weer hoe hij zijn nieuwe "geheugen" moet gebruiken zonder zijn oude kennis te verliezen.
De Oefening (Finetuning): Nu leren ze de assistent een nieuwe taak (bijvoorbeeld trivia-vragen beantwoorden). Ze gebruiken alleen het slimme notitieblok om dit te leren. De rest van de assistent (zijn basisgeheugen) blijft volledig stil.

5. Wat was het Resultaat?

De tests toonden aan dat deze methode werkt als een charmant:

Snel leren: De assistent leert nieuwe feiten heel snel via het notitieblok.
Geen vergeten: Omdat ze alleen een paar regels in het notitieblok aanpasten, vergeten ze hun oude vaardigheden (zoals wiskunde of logisch redeneren) bijna niet.
De slimme keuze wint: De nieuwe "verrassings-methode" (KL-divergentie) werkt het beste, vooral als de nieuwe informatie lastig of ruisachtig is. Het zorgt ervoor dat de assistent stabiel blijft.

Conclusie

Kortom: In plaats van een hele nieuwe hersenoperatie te doen op een AI (wat gevaarlijk is en oude kennis vernietigt), hebben de auteurs een klein, slim notitieblok toegevoegd. Ze zorgen ervoor dat de AI alleen de regels in dat blok aanpast die echt nodig zijn voor de nieuwe informatie. Hierdoor kan de AI blijven groeien en leren zonder dat hij vergeet wat hij al wist. Het is een manier om AI's "levenslang" te laten leren, net als mensen.

Titel: Verbetering van Sparse Memory Finetuning (SMF)

Auteurs: Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta (University of Michigan)
Doel: Een open-source oplossing bieden voor continue learning in Large Language Models (LLM's) zonder catastrofale vergetelheid.

1. Het Probleem: Catastrofaal Vergeten

Moderne LLM's worden doorgaans eenmalig getraind op een groot corpus en daarna als statische artefacten ingezet. In de praktijk is informatie echter dynamisch (nieuwe gebeurtenissen, beleidswijzigingen, domeinkennis). Het doel van continue learning is het efficiënt integreren van nieuwe informatie terwijl de eerder geleerde vaardigheden behouden blijven.

De grootste hindernis is catastrofaal vergeten (catastrophic forgetting):

Standaard aanpakken: Volledige finetuning of Parameter-Efficient Finetuning (PEFT) methoden zoals LoRA wijzigen gedeelde, dichte representaties. Hierdoor interfereert het leren van nieuwe taken met oude taken.
Beperkingen van bestaande oplossingen:
- Replay buffers: Data-inefficiënt en privacy-riskant.
- LoRA: Hoewel parameter-efficiënt, zijn de updates globaal van aard en beïnvloeden ze de representatie van alle tokens, wat leidt tot interferentie.
- RAG (Retrieval-Augmented Generation): Voegt externe geheugen toe, maar introduceert hoge kosten, latentie en complexiteit, en is afhankelijk van de kwaliteit van de retriever.

2. Methodologie: Sparse Memory Finetuning (SMF)

De auteurs bouwen voort op het concept van SMF, waarbij updates worden beperkt tot een kleine, specifieke subset van parameters die expliciet gekoppeld zijn aan de inkomende data. Ze hebben een pipeline ontwikkeld om bestaande, vooraf getrainde modellen (specifiek Qwen-2.5-0.5B) te "retrofitteren" met deze functionaliteit.

De Architectuur

In plaats van de standaard Dichte Feed-Forward Netwerken (FFN) te gebruiken, worden deze vervangen door Sparse Key-Value Memory Layers:

Werking: Voor een invoer $x$ wordt een query gegenereerd. De laag zoekt de top- $k$ sleutels (keys) die het beste matchen met de query.
Output: Een gewogen som van de bijbehorende waarden (values) wordt toegevoegd aan de reststroom.
Sparsiteit: Slechts $k$ van de $M$ geheugenslots worden geactiveerd per token. Updates worden beperkt tot alleen deze geactiveerde slots, waardoor parameters in niet-geactiveerde gebieden bevroren blijven en kennis daar behouden wordt.

De Drie-Staps Pipeline

Retrofitting: Vervanging van specifieke FFN-lagen (lagen 8, 12 en 16 in Qwen-2.5) door geïnitieerde memory-lagen. Dit zorgt voor een tijdelijke daling in prestaties omdat de forward-computatie verandert.
Herstel (Healing): Finetuning van alleen de nieuwe memory-parameters op een algemeen instructiedataset (OpenAssistant, 20k samples). Dit "herstelt" de coherentie van het model zonder een specifieke taak te leren.
Taak-specifiek Finetuning: Finetuning op de doeltaak (bijv. TriviaQA of SimpleQA) waarbij alleen een subset van de memory-entries wordt bijgewerkt, terwijl de basis van het model bevroren blijft.

Slot-Selectie Mechanismen

Een kritisch onderdeel is bepalen welke geheugenslots er bijgewerkt moeten worden. De auteurs vergelijken twee methoden:

TF-IDF (Baseline): Selecteert slots op basis van Term Frequency en Inverse Document Frequency. Dit is een heuristiek die vaak wordt gebruikt, maar minder theoretisch onderbouwd is voor deze context.
KL-Divergentie (Nieuw): Een op informatie-theorie gebaseerde methode.
- Het vergelijkt de verdeling van slotgebruik in de huidige batch ( $p_{batch}$ ) met een achtergrondverdeling ( $p_{bg}$ ) die is berekend op basis van algemene data.
- Slots die "verrassend" zijn (hoge bijdrage aan de Kullback-Leibler-divergentie) krijgen prioriteit.
- Doel: Updates focussen op informatie die afwijkt van de achtergrondverdeling, wat theoretisch minder interferentie met bestaande kennis veroorzaakt.

3. Belangrijkste Bijdragen

Open-Source Retrofitting Pipeline: Een reproduceerbare methode om standaard Transformers (Qwen-2.5-0.5B) om te bouwen naar een model met sparse memory, werkend op consumentenhardware.
Informatie-theoretische Slot-selectie: Introductie van een KL-divergentie gebaseerde scoring voor het selecteren van trainbare slots, wat een meer principieel alternatief biedt voor TF-IDF.
Empirische Validatie: Bewijs dat deze retrofitted modellen nieuwe feitelijke kennis kunnen verwerven met minimale verlies van algemene vaardigheden, wat de hypothese van "sparse updates" valideert in een praktische setting.

4. Resultaten

De experimenten zijn uitgevoerd op TriviaQA (feitelijke kennis) en SimpleQA, met evaluatie op GSM8K (redeneren) en Natural Questions om vergetelheid te meten.

Plasticiteit (Aanpassingsvermogen):
- SMF met sparse updates past zich zeer snel aan aan de doeltaak (hoge F1-scores binnen enkele honderden stappen).
- Volledige finetuning (dense) presteerde in dezelfde tijdsperiode slechter op de doeltaak, wat suggereert dat het aanpassen van de zware dichte backbone meer data/stappen vereist.
Stabiliteit (Vergetelheid):
- Dense Finetuning: Toonde consistent catastrofale vergetelheid, met name een sterke daling in prestaties op GSM8K (redeneren).
- Sparse Finetuning (TF-IDF): Behield prestaties op Natural Questions beter bij training op TriviaQA.
- Sparse Finetuning (KL-Divergentie):
  - Bij TriviaQA toonde het iets meer vergetelheid dan TF-IDF (waarschijnlijk door een conflict tussen de sterke gradient van de taak en de KL-beperking).
  - Bij SimpleQA bleek KL-regulering echter essentieel om overmatig "drift" door ruis te voorkomen en het leren te stabiliseren.
Conclusie over Trade-off: Er is een taakafhankelijke trade-off tussen plasticiteit en stabiliteit. KL-scoring verbetert de retentie wanneer adaptatie-signalen zwak zijn, maar kan strijdig zijn met sterke, specifieke taaksignalen.

5. Betekenis en Impact

Dit paper biedt een praktische en schaalbare oplossing voor het probleem van continue learning in LLM's.

Efficiëntie: Het demonstreert dat het mogelijk is om modellen bij te werken op consumentenhardware zonder de gehele modelarchitectuur opnieuw te trainen.
Theoretische Vooruitgang: Het introduceert een nieuwe, theoretisch onderbouwde methode (KL-divergentie) voor het beheren van geheugenupdates, wat een stap vooruit is ten opzichte van puur heuristische benaderingen.
Toekomstperspectief: Het valideert dat het isoleren van updates in specifieke geheugenlagen een effectieve strategie is om het "plasticity-stability dilemma" op te lossen, waardoor modellen levenslang kunnen leren zonder hun kernkwaliteiten te verliezen.