🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

Dit artikel toont aan dat exacte verwijdering uit het geheugen van een taalmodel fundamenteel wordt bepaald door de geheugenrepresentatie, waarbij adresseerbare records kunnen worden verwijderd via algebraïsche subtractie, terwijl verstrengelde schrijfacties een replay-gebaseerde herbouw vereisen om een bit-voor-bit staatherstel te bereiken.

Oorspronkelijke auteurs: Vishwajith Ramesh

Gepubliceerd 2026-07-31

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishwajith Ramesh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een superintelligente digitale assistent voor die nooit iets vergeet. Je vertelt het een geheim, en het slaat dat geheim op in een enorme, onzichtbare bibliotheek in zijn brein. Later vraag je het misschien om een verhaal te schrijven of advies te geven, en het haalt dat geheim erbij om te helpen. Maar wat als je van gedachten verandert? Wat als je tegen de assistent zegt: "Eigenlijk zei ik dat nooit," of "Dat was een fout, wis het alsjeblieft"? In de echte wereld, als je een brief verbrandt, zijn de woorden verdwenen. Maar in een computer is simpelweg zeggen dat het moet "vergeten" lastig. De computer kan het geheim misschien diep vanbinnen verstoppen, of het heeft dat geheim al gebruikt om andere delen van zijn brein op te bouwen, waardoor het onmogelijk is om zomaar te "verwijderen" zonder de rest te beschadigen. Dit is het probleem van "machine unlearning". Wetenschappers proberen uit te vogelen hoe ze AI echt iets specifieks kunnen laten vergeten op commando, en niet alleen maar te laten doen alsof. Het is een groot ding voor privacy, zoals een "Recht om Vergeten te Worden" voor je digitale leven, waarbij je ervoor zorgt dat als je een robot vraagt om een herinnering te wissen, hij dat ook echt doet, zonder dat er spookachtige sporen achterblijven.

Dit artikel, getiteld "Subtract or Replay?", pakt dit probleem aan door een simpele vraag te stellen: Hoe wordt het geheugen opgeslagen? De auteurs, Vishwajith Ramesh en collega's, ontdekten dat het antwoord volledig afhangt van de "meubels" in de geheugenkamer van de AI. Ze ontdekten dat er twee zeer verschillende manieren zijn om een geheugen te verwijderen, en je moet het juiste gereedschap voor de klus kiezen, anders faal je.

De twee manieren om een geheugen te verwijderen

Het artikel test dit idee op twee verschillende soorten AI-modellen, die fungeren als twee verschillende soorten bibliotheken.

1. De "Adresseerbare" Bibliotheek (Het Gemma-model)
Stel je een bibliotheek voor waar elk boek een specifiek, uniek schapnummer heeft. Als je een boek wilt verwijderen, ga je gewoon naar dat schap en haal je het eraf. Je hoeft niet de hele bibliotheek te herbouwen.
De auteurs testen dit op een model genaamd Gemma. Ze vervingen enkele van de standaard geheugendeel van het model door een speciaal systeem dat werkt als deze adresseerbare bibliotheek. In dit systeem heeft elk stukje informatie een "coëfficiënt" (denk aan een volumeknop) die bepaalt hoeveel invloed het heeft op de antwoorden van de AI.

De Magische Truc: Om een geheugen te verwijderen, draaiden ze de volumeknop simpelweg naar nul. Dit wordt een "algebraïsche decrement" genoemd.
Het Resultaat: Het werkte perfect. Wanneer ze de knop omlaag draaiden, werd de output van de AI wiskundig identiek aan wat het zou zijn geweest als het geheugen er nooit was geweest. Het verschil was zo klein dat het bijna nul was (een getal genaamd KL-divergentie van 5,4 × 10⁻¹⁵).
De Haken en ogen: Dit werkt alleen goed op kleinere modellen (1 miljard parameters). Naarmate het model groter wordt (4 miljard en 12 miljard), wordt deze methode rommelig en duur, waardoor de prestaties van de AI met respectievelijk 11,2% en 44,3% afnemen. Dus, hoewel de "draai aan de knop"-truc perfect is voor kleine bibliotheken, is het geen oplossing die voor alles werkt bij gigantische bibliotheken.

2. De "Geweven" Bibliotheek (Het Kimi-model)
Stel je nu een andere bibliotheek voor waar de boeken niet op planken staan. In plaats daarvan zijn de pagina's van elk boek met elkaar verweven tot een gigantisch, enkel tapijt. Als je één draad (een geheugen) eruit trekt, verschuift het hele tapijt en verandert het patroon op onvoorspelbare wijze.
De auteurs testten dit op een model genaamd Kimi, dat een "recurrent state" gebruikt (een tapijtachtig geheugen). Hier verandert elk nieuw stukje informatie de volledige staat van het geheugen.

Het Probleem: Ze probeerden het geheugen net zo te "aftrekken" als ze bij Gemma deden. Dat mislukte. Omdat het geheugen geweven is, laat het verwijderen van één draad niet alleen een gat achter, maar laat het een vertekend patroon achter. De wiskunde liet zien dat 12% tot 49% van de invloed van het geheugen veranderde, afhankelijk van wat er na het verwijderde deel kwam. Je kunt het niet zomaar aftrekken; het "bewijs" van de verwijdering is niet langer geldig.
De Oplossing: Omdat je niet een draad uit een geweven tapijt kunt trekken zonder het patroon te verruïneren, moet je het opnieuw opbouwen. De auteurs gebruikten een "checkpoint and replay"-methode. Ze bewaarden een snapshot van het tapijt voordat de ongewenste draad erin werd geweven. Daarna spoelden ze de AI terug naar dat snapshot en speelden ze alles wat er na het slechte geheugen gebeurde opnieuw af, maar dan sloegen ze de slechte draad over.
Het Result Resultaat: Dit werkte perfect. Het geheugen van de AI na de replay was bit-voor-bit identiek aan een geheugen dat de slechte draad nooit had gezien. Ze testten dit op echte klinische aantekeningen tot wel 18.842 tokens lang, en het werkte elke keer. Het maakte het ook mogelijk om een record perfect te "verbeteren" door de slechte draad te vervangen door een goede draad voordat de replay plaatsvond.

Wat dit voor jou betekent

De belangrijkste conclusie van het artikel is dat "exacte verwijdering" geen enkele magische knop is. Het is een eigenschap van hoe het geheugen is gebouwd.

Als het geheugen een duidelijk adres bijhoudt voor elke registratie (zoals de speciale opstelling van Gemma), kun je het snel en perfect aftrekken.
Als het geheugen alles samen weeft (zoals het tapijt van Kimi), kun je het niet aftrekken. Je moet het verhaal opnieuw opbouwen vanaf een bewaard checkpoint, waarbij je het slechte deel overslaat.

De auteurs zijn zeer duidelijk over wat ze niet hebben gevonden: ze hebben bewezen dat het simpelweg proberen te "maskeren" of te "onderdrukken" van een geheugen (de AI vertellen om het te negeren) niet genoeg is. De AI kan het nog steeds op verborgen manieren "herinneren", en aanvallers kunnen het vaak weer naar boven halen. Echte verwijdering vereist ofwel een perfecte aftrekking, ofwel een perfecte wederopbouw.

Kortom, als je wilt dat een AI echt vergeet, moet je eerst de geheugenkamer controleren. Is het een bibliotheek met planken? Draai aan de knop. Is het een geweven tapijt? Spoel terug en speel af. Er is geen kortere weg, maar nu weten we precies welk gereedschap we voor welke klus moeten gebruiken.

Technische Samenvatting: Exacte Verwijdering uit het Geheugen van Taalmodellen

1. Probleemdefinitie

Het artikel behandelt de uitdaging van exacte verwijdering uit het persistente geheugen van ingezette autoregressieve taalmodellen (LLM's). In tegenstelling tot unlearning in de gewichtsruimte, die probeert modelparameters te wijzigen om data te "vergeten", richt dit werk zich op in-context geheugen: records die al zijn opgenomen in de persistente staat van het model (attention caches of recurrente staten) en de downstream outputs vormgeven.

Het kernprobleem is dat het toevoegen van een correctie aan een prompt niet de invloed van de oorspronkelijke, foutieve record uit de interne staat van het model verwijdert. De auteurs definiëren exacte verwijdering via een contrafactische standaard: de output van het model na verwijdering moet overeenkomen met de output van een geheugenstaat die is opgebouwd alsof de record nooit was opgenomen.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
Het artikel betoogt dat of deze gelijkheid bereikbaar is zonder volledige hertraining volledig afhangt van de geheugenrepresentatie. Als de invloed van een record een specifieke "adres" behoudt (een omkeerbare coëfficiënt of cache-entry), kan het worden afgetrokken. Als de invloed van een record door latere schrijfacties is verweven in een gedeelde recurrente staat, faalt aftrekking en is rebuilding vereist.

2. Methodologie

De auteurs operationaliseren dit onderscheid door twee verschillende geheugenarchitecturen en verwijderstrategieën te testen:

A. Adresseerbaar Geheugen: Support-Vector Graft (Gemma 3)

Voor modellen waarbij invloed adresseerbaar is, stellen de auteurs een algebraïsche decrement voor.

Architectuur: Ze vervangen de global-attention lagen van Gemma 3 (1B, 4B en 12B parameters) door een Support-Vector Memory (SVM) laag. Deze laag behandelt context keys als inputs voor een one-class SVM, waarbij de attention weights coëfficiënten ( $\alpha$ ) zijn van de fit.
Mechanisme: Gebruikmakend van het incrementele algoritme van Cauwenberghs & Poggio (2000 in reverse), kan het systeem de coëfficiënt van een specifieke token mathematisch "decrementeren". Als een token een "reserve" token is (coëfficiënt = 0), draagt het niets bij. Het verwijderen van een token houdt in dat de oplossing wordt omgekeerd om het systeem terug te brengen naar de staat die het zou hebben zonder die token.
Herstel: Om de taal kwaliteit na het graften te behouden, bevriezen de auteurs het basismodel en trainen ze Rank-8 LoRA adapters (0,149% van de parameters) om de perplexiteit te herstellen.
Audit: Verwijdering wordt geaudit door de gedegrementeerde staat te vergelijken met een retained-key refit (het opnieuw oplossen van de SVM met de token verwijderd maar de andere keys vastgehouden).

B. Niet-adresseerbaar Geheugen: Replay (Kimi Linear Hybrid)

Voor modellen waar latere schrijfacties de bijdrage van een record transformeren (waardoor het niet-adresseerbaar wordt), stellen de auteurs checkpointed rewind-and-replay voor.

Architectie: Ze analyseren een 48B Kimi Linear hybrid model, dat global Multi-Head Attention (MLA) lagen afwisselt met 20 KDA (Gated DeltaNet) recurrente lagen.
Falen van Aftrekking: De auteurs demonstreren dat de KDA delta rule (die de staat leest vóór het updaten ervan) de record-gewijze scheidbaarheid vernietigt. De bijdrage van een record aan de staat hangt af van de suffix die volgt (12–49% variantie), wat betekent dat een vaste "ontvangstbewijs" voor verwijdering zelfs met decay-correcties niet kan werken.
Mechanisme: Het systeem slaat checkpoints op van de recurrente staat op de grenzen van records. Om een record te verwijderen, herstelt het systeem de staat vóór de opname van de record en speelt alleen de suffix opnieuw af (replay).
Audit: Het resultaat wordt geaudit tegen een bitwise equality standaard: de logits en alle recurrente staten moeten identiek zijn aan een run waarbij de record nooit was opgenomen.

3. Belangrijkste Bijdragen

Representatie-niveau Criterium: Het artikel stelt vast dat exacte verwijdering een eigenschap is van de geheugenrepresentatie. Het onderscheidt tussen adresseerbare invloed (aftrekbaar via algebraïsche decrement) en getransformeerde invloed (vereist reconstructie van de staat).
Adresseerbare Verwijdering in LLM's: De auteurs slagen erin een SVM-geheugenlaag in Gemma 3 te graften. Op de 1B schaal komt de decrement en de refit overeen met een mediane KL-divergentie van $5.4 \times 10^{-15}$ . Gedragstests laten zien dat de gemaskeerde refit-proxy statistisch ononderscheidbaar is van een "nooit-opgenomen" baseline onder elicitation, relearning en LiRA attacks.
Exacte Verwijdering via Replay: Voor de Kimi hybrid, waar aftrekking faalt, demonstreren de auteurs dat checkpointed replay bitwise exactheid bereikt (op logits en alle 20 recurrente staten) voor contexten tot 18.842 tokens. Deze methode ondersteunt ook exacte amendementen (het opnieuw afspelen met een gecorrigeerde record).
Schaalanalyse: Het artikel biedt een genuanceerd beeld van de nutskosten. Hoewel de 1B Gemma graft slechts een +2,0% perplexiteitsoverhead heeft, stijgt deze kosten naar 11,2% bij 4B en 44,3% bij 12B, wat aangeeft dat de graft geen algemene vervanging is voor attention op grotere schalen.

4. Resultaten

Gemma 3 (1B):
- Exactheid: Decrement en refit komen overeen tot een mediane KL van $5.4 \times 10^{-15}$ over 31 support-token verwijderingen.
- Nut: +2,0% perplexiteitsoverhead vergeleken met een gematchte controle.
- Gedrag: Gemaskeerde refit is ononderscheidbaar van de nooit-opgenomen vloer; weight-space editing (gradient ascent) is omkeerbaar en laat residuen achter.
Gemma 3 (Scaling):
- Bij 4B en 12B stijgen de nutskosten scherp (11,2% en 44,3% respectievelijk). De 12B rank-16 grafted run divergeert, wat suggereert dat de methode momenteel primair levensvatbaar is op de 1B schaal.
Kimi Linear (48B):
- Delta Rule Falen: 12–49% van de staatbijdrage van een record verandert met de suffix, wat de vaste ontvangstbewijzen ongeldig maakt.
- Replay Succes: Replay bereikt bitwise gelijkheid met de nooit-opgenomen staat voor echte klinische records (MIMIC-IV) tot 18.842 tokens.
- Kosten: Latentie is proportioneel aan enkel de lengte van de suffix (gemiddeld 3,49s vs. 6,77s voor volledige rebuild), met opslagkosten van ~41,4 MiB per checkpoint boundary.

5. Betekenis en Claims

Het artikel claimt dat exacte verwijdering een contract is met de geheugenrepresentatie, en geen universele algoritmische fix.

Ontwerpprincipe: Als een representatie een adres behoudt voor de invloed van een record, kan verwijdering een goedkope algebraïsche operatie zijn. Als de representatie records in een gedeelde staat weeft via niet-additieve updates (zoals de delta rule), vereist exacte verwijdering het reconstrueren van de suffix.
Auditbaarheid: Het werk biedt een kader om verwijdering te auditen. Het onderscheidt tussen "onderdrukking" (waarbij het antwoord verborgen is maar de staat corrupt is) en "exacte verwijdering" (waarbij de staat overeenkomt met de contrafactische referentie).
Beperkingen: De auteurs zijn bescheiden over de reikwijdte. Ze beweren niet te verwijderen uit getrainde gewichten of outputs gegenereerd vóór de verwijdering gebeurde. Ze erkennen dat de nutskosten van de Gemma graft slecht schalen en dat de Kimi replay methode afhankelijk is van deterministische implementaties en checkpointing overhead.
Ethische Context: Het werk ondersteunt wettelijke vereisten (bijv. GDPR Artikel 17) en klinische toestemmingsintrekking door een mechanisme te bieden om te verifiëren dat een specifieke record is verwijderd uit de actieve geheugenstaat van het model, in plaats van alleen de output ervan te onderdrukken.

Het artikel concludeert dat het veld moet bewegen van "benaderende unlearning" (die herstelbare residuen achterlaat) naar representatie-bewuste verwijdering, waarbij getest wordt of invloed adresseerbaar blijft voordat er gekozen wordt tussen aftrekking of rebuilding.