🤖 machine learning

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

Dit artikel toont aan dat taalmodellen met miljarden parameters een staat-exacte, spoor-behoudende verwijdering kunnen bereiken door de training opnieuw af te spelen vanaf een token-opslag die specifieke voorbeelden uitsluit, mits de oorspronkelijke uitvoering geïnstrumenteerd was om herkomst vast te leggen en een onbesmette checkpoint behouden blijft, hoewel deze methode geen computationele efficiëntie garandeert voor verspreide verwijderingsverzoeken.

Oorspronkelijke auteurs: Abdullah X

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdullah X

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, meerlagige taart bakt voor een groot feest. In de wereld van kunstmatige intelligentie is deze taart een "taalmodel", een computerprogramma dat is getraind om te schrijven, te chatten en problemen op te lossen door terabytes aan tekst te "eten". Normaal gesproken kun je, zodra de taart gebakken is, niet gemakkelijk één ingrediënt verwijderen—bijvoorbeeld een specifiek type vanilleboon—zonder het hele geheel te verpesten. Als je probeert het eruit te schrapen, kunnen de lagen instorten of kan de smaak op onvoorspelbare manieren veranderen. Dit is het probleem van "machine unlearning": hoe zorg je ervoor dat een AI bepaalde gegevens die hij heeft geleerd, "vergeet", vooral wanneer wetten (zoals de AVG/GDPR) bepalen dat mensen het recht hebben om hun gegevens te laten wissen?

Wetenschappers hebben geprobeerd dit op te lossen door ofwel de hele taart opnieuw te bakken zonder dat ingrediënt (wat traag en duur is), of door te proberen de smaak chirurgisch te verwijderen (wat vaak vreemde chemische sporen achterlaat). Maar er is een addertje onder het gras: computers leren niet alleen van wat ze eten; ze leren ook van de volgorde waarin ze eten, de temperatuur van de oven en het exacte moment waarop ze het beslag roeren. Als je de volgorde van de ingrediënten verandert, zelfs als je het slechte ingrediënt verwijdert, kan de uiteindelijke taart anders smaken dan een taart die vanaf het begin perfect was gebakken zonder dat ingrediënt. Dit artikel duikt in de rommelige, technische keuken van AI om een zeer specifieke vraag te stellen: Kun je bewijzen dat een taart die gebakken is na het verwijderen van een ingrediënt, exact, bit voor bit, hetzelfde is als een taart die vanaf het begin de bedoeling had om dat ingrediënt te negeren?

Het "Tijdreis"-taartrecept

Dit artikel, getiteld "Unlearning at Scale", is als een team van superprecieze bakkers die besloten een zeer strikt recept te testen voor het verwijderen van ingrediënten. Ze proberen niet alleen een taart te maken die eruitziet alsof hij de vanille is vergeten; ze willen bewijzen dat de taart wiskundig identiek is aan een taart die nooit van plan was vanille te bevatten.

Om dit te doen, bouwden ze een speciaal "tijdreis"-systeem. Stel je voor dat je een taart bakt, maar voordat je begint, schrijf je een supergedetailleerde, onveranderlijke receptkaart. Deze kaart bevat niet alleen ingrediënten; het legt de exacte seconde vast waarop je elk ei breekt, de precieze temperatuur van de oven op elk minuut, en de specifieke volgorde waarin je de bloem toevoegt. Dit is wat het artikel een "trace-preserving" (sporenbewerkende) uitvoering noemt.

Stel nu voor dat een klant belt en zegt: "Ik wil de vanillebonen uit mijn bestelling verwijderen." In een normale keuken zou je de vanille gewoon overslaan en gewoon verder mixen. Maar in de keuken van dit artikel hebben de bakkers een truc. Ze houden de receptkaart exact hetzelfde. Wanneer het recept zegt "voeg op stap 5 vanille toe", gaan de bakkers nog steeds naar stap 5, maar in plaats van echte vanille toe te voegen, voegen ze een "dummy"-ingrediënt toe dat naar niets smaakt en niets weegt. Dit doen ze zonder de volgorde van de andere stappen, de oventemperatuur of de roersnelheid te veranderen.

De Grote Test: Miljarden-parameter Taarten

De onderzoekers testten dit idee op drie verschillende "taarten" (AI-modellen) van variërende groottes:

Een kleine taart genaamd Pythia 160M (160 miljoen parameters).
Een gigantische taart genaamd Pythia 2.8B (2,8 miljard parameters).
Een andere soort taart, Llama 3.2 1B (1 miljard parameters).

Ze voerden een massaal experiment uit. Eerst bakten ze een "perfecte" taart waarbij ze het recept volgden maar een "gewichtloos" dummy-ingrediënt toevoegden voor het verboden ingrediënt. Dit is de "Oracle"—de gouden standaard van hoe de taart eruit zou moeten zien. Vervolgens bakten ze een tweede taart met hun "gereduceerde" methode: ze verwijderden fysiek het verboden ingrediënt uit de voorraadkast (de datastore), maar volgden exact dezelfde receptkaart, waarbij ze de dummy gebruikten telkens wanneer het recept om het ontbrekende item vroeg.

Het Resultaat: Een Perfecte Match

Het resultaat was schokkend in zijn precisie. Toen ze de twee taarten met elkaar vergeleken, ontdekten ze dat de "gereduceerde" taart bit voor bit identiek was aan de "Oracle"-taart.

Voor het Pythia 2.8B-model controleerden ze 2.775.208.960 individuele getallen (de "model state") en vonden nul verschillen.
Voor het Llama 3.2 1B-model controleerden ze 1.498.482.688 getallen en vonden nul verschillen.
Zelfs de "optimizer state" (wat lijkt op het geheugen van hoe de bakker het recept tijdens het proces aanpaste) was exact hetzelfde.

Dit bewijst dat als je de juiste "receptkaart" (het uitvoeringplan) hebt en je begint vanuit een schoon checkpoint (een momentopname van de taart voordat het slechte ingrediënt werd toegevoegd), je gegevens kunt verwijderen en een resultaat krijgt dat wiskundig ononderscheidbaar is van een taart die nooit bedoeld was om die gegevens te bevatten.

Het Addertje: Het is Geen Toverstaf

De onderzoekers zijn echter zeer voorzichtig om dit geen "toverstaf" te noemen voor het snel verwijderen van gegevens. De auteur wijst op een belangrijke beperking: Tijd.

Als het verboden ingrediënt vroeg in het bakproces is toegevoegd, of als de ingrediënten willekeurig door het recept verspreid waren, moeten de bakkers bijna de hele taart vanaf het begin opnieuw bakken om exact hetzelfde resultaat te krijgen.

In hun tests, als ze vroegen om een willekeurig deel van 5% van de gegevens te verwijderen, moesten ze bijna 100% van de trainingsstappen opnieuw afspelen.
Het artikel stelt expliciet dat dit geen "goedkope verwijdering" is gevestigd. Het is geen snelle oplossing; het is een trage, precieze reconstructie.

Wat dit NIET Betekent

De auteur is zeer strikt over wat hun resultaten niet bewijzen:

Het is geen garantie voor gedrag: Alleen omdat de getallen identiek zijn, betekent dit niet automatisch dat de AI zich anders zal "gedragen" op een manier die voldoet aan een juridisch verzoek tot verwijdering. De paper voerde enkele standaardtests uit om te zien hoe de AI zich gedroeg, maar zij behandelen deze slechts als "beschrijvende" noten, niet als bewijs dat de methode werkt voor echte juridische verwijdering.
Het is geen universele oplossing: Dit werkt alleen als je van tevoren hebt gepland. Je kunt niet een oude AI-taart nemen die niet met deze speciale "receptkaart" is gebouwd en deze later magisch op deze manier laten werken.
Het is geen privacyschild: De paper geeft toe dat hoewel de getallen weg zijn uit de specifieke replay-store, dit niet bewijst dat de gegevens uit elke back-up, cache of harde schijf in het universum zijn gewist.

De Kernboodschap

In simpele termen is dit artikel een bewijs van concept voor een zeer specifiek, zeer strikt type "vergeten". Het laat zien dat als je het trainen van je AI bouwt met een rigide, onveranderlijk plan en een manier om elke stap nauwkeurig vast te leggen, je gegevens chirurgisch kunt verwijderen en een resultaat kunt krijgen dat wiskundig perfect is. Het is alsof je bewijst dat je een echte vanilleboon kunt vervangen door een nep-vanilleboon in een complex recept en eindigt met een taart die ononderscheidbaar is van een taart die nooit vanille bevatte.

Maar het artikel waarschuwt ons ook: dit is een zwaar, traag proces. Het vereist planning vooraf, en als de gegevens die je wilt verwijderen overal in het recept verspreid liggen, kun je net zo goed de hele taart opnieuw bakken. Het is een krachtig hulpmiddel voor wetenschappers die precies moeten kunnen bewijzen wat er in een computerprogramma is gebeurd, maar het is nog geen snelle knop om gegevens te verwijderen in de echte wereld.

Technische Samenvatting: Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

1. Probleemformulering

Het artikel behandelt de uitdaging van machine unlearning bij grote taalmodellen (LLM's) door het probleem te herformuleren van een taalkundige optimalisatietaak naar een state-exact systeemvraagstuk. Bestaande literatuur definieert unlearning vaak als het produceren van een model dat gedragsmatig ononderscheidbaar is van een model dat zonder specifieke data is getraind, maar deze benadering lijdt onder ambiguïteit in deterministische trainingspipelines.

In moderne training hangt de gerealiseerde staat niet alleen af van de dataset, maar ook van de uitvoeringcontroles: de volgorde van samples, het verbruik van random number generation (RNG), grenzen voor gradiëntaccumulatie, learning-rate schedules en hardware-specifieke numerieke kernels. Het simpelweg verwijderen van data en opnieuw trainen (dense repacking) verandert deze controles, wat resulteert in een andere uitvoeringstrace en een andere eindtoestand. Bijgevolg identificeert "het model getraind zonder $F$ " geen unieke referentietoestand, tenzij de uitvoering of de referentieverdeling expliciet wordt gespecificeerd.

Het artikel definieert een trace-preserving deletion counterfactual: een scenario waarin de logische controles van de oorspronkelijke trainingsuitvoering (microbatch-slots, seeds, accumulatiegrenzen, optimizer-stappen) vaststaan, maar de loss-bijdrage van de gevraagde identifiers wordt ingesteld op nul. Het doel is om te verifiëren of een replay-systeem deze specifieke counterfactual staat bit-voor-bit kan reconstrueren, zelfs wanneer de fysieke datarijen die overeenkomen met de verwijderde identifiers afwezig zijn in de replay-store.

2. Methodologie

2.1 Definitie van Trace-Preserving Deletion

De auteur formaliseert een Trace-Preserving Deletion ($TD$) waarbij:

De uitvoeringstplan $P$ onveranderlijk blijft.
Elk microbatch plan-record wordt behouden, maar identifiers in de forget set $F$ worden in kaart gebracht naar vaste dummy-sequenties met een nul gewicht per sample.
Gehouden identifiers, seeds, learning rates en logische optimizer-stappenindices ongewijzigd blijven.
Empty-segment rule: Bij gradiëntaccumulatiegrenzen vindt een optimizer-transitie plaats alleen als er ten minste één gehouden gewogen bijdrage in dat segment bestaat. Als een segment alleen uit zero-weighted (verwijderde) slots bestaat, wordt de logische grens behouden, maar de optimizer-stap wordt overgeslagen om te voorkomen dat de optimizer-momenten (bijv. AdamW-momenten) worden aangepast met nul-gradiënten.

2.2 Systeemontwerp

Het voorgestelde systeem vertrouwt op prospectieve instrumentatie en fysieke redactie:

Onveranderlijk Uitvoeringsplan: De oorspronkelijke trainingsrun legt een JSONL-plan vast met daarin de volgorde van sample-identifiers, per microbatch RNG-seeds, learning rates en accumulatie-flags.
Write-Ahead Log (WAL): Tijdens de training legt een compacte 32-byte binaire WAL de uitvoeringsstaat vast (geordende-ID tag, seed, learning rate, step index, flags, CRC32) samen met een geordende-ID manifest.
Fysieke Redactie: Vóór de replay wordt een nieuwe token store gematerialiseerd die alleen de gehouden rijen bevat. Het onveranderlijke plan verwijst nog steeds naar de verwijderde identifiers als logische slot-markers.
Replay Mechanisme: Tijdens de replay onderschept het systeem verzoeken voor verwijderde identifiers. In plaats van de ontbrekende data op te zoeken, vervangt het de vaste dummy-sequentie door een nul gewicht. Dit zorgt ervoor dat de numerieke microbatch (tokens, labels, gewichten) identiek is aan de trace oracle, ondanks de fysieke afwezigheid van de datarijen.

2.3 Verificatieprotocol

Het systeem verifieert Trace Exactness door de terminale staat van de geredigeerde replay te vergelijken met een afzonderlijk uitgevoerde Trace Oracle. De Oracle voert dezelfde counterfactual logica uit (zero-weight dummies) vanaf een geschikte checkpoint. Exactheid wordt gedefend als bit-identieke modelparameters ( $\theta$ ) en optimizer-staten ( $\Omega$ ) in de opgenomen datatypen.

3. Belangrijkste Bijdragen

Uitvoeringsgeconditioneerde Definitie van Exacte Deletie: Het artikel formaliseert unlearning als een trace-preserving counterfactual, waarbij de definitie van de doeltoestand wordt gescheiden van de methode om deze te bereiken (bijv. dense repacking).
Prospectief Geinstrumenteerd Replay Systeem: Een systeem dat de uitvoeringprovenance registreert (WAL + manifest) en replay ondersteunt vanuit fysiek geredigeerde stores terwijl deterministische controle-inputs behouden blijven.
Bit-Exacte Miljarden-Parameter Bewijsvoering: Empirische demonstratie van state exactness over drie endpoints:
- Pythia 160M: Exact over 162 miljoen parameters en optimizer-staat voor vier deletie-geometrieën (vroeg, midden, laat, willekeurig).
- Pythia 2.8B: Exact over 2,77 miljard parameters voor een willekeurige 5% deletie-aanvraag.
- Llama 3.2 1B + TOFU: Exact over 1,49 miljard parameters na het weglaten van 400 van de 4.000 voorbeelden.
Replay-Locality Analyse: Een structurele analyse die aantoont dat hoewel gelokaliseerde late verzoeken efficiënte suffix-replay mogelijk maken, grote, willekeurig verspreide verzoeken bijna volledige replay vereisen, wat de computationele efficiëntie van deze aanpak voor verspreide deleties beperkt.
Auditeerbaar Onderzoeksartefact: Een publieke release met broncode-revisies, data-hashes, uitvoeringsplannen en state-hashes, waarbij gestandaardiseerde gedragsmetingen (OpenUnlearning) worden behandeld als beschrijvende diagnostiek in plaats van causale bewijslast.

4. Resultaten

State Exactness: In alle geteste scenario's produceerde de geredigeerde replay een model- en optimizer-staat die bit-identiek was aan de afzonderlijk uitgevoerde trace oracle. Dit omvatte exacte overeenkomsten in optimizer-momenten (Adam-staten), die cruciaal zijn voor toekomstige trainingscontinuïteit.
Counterfactual Distinctie: Experimenten op Pythia 160M bevestigden dat dense repacking (hertrainen op $D \setminus F$ met nieuwe batching) en fysieke filtering (verwijderen van rijen vóór de forward pass) resulteren in niet-nul state verschillen vergeleken met de trace oracle. Dit valideert dat "trainen op gehouden data" niet gelijk is aan "trace-preserving deletion."
Schaalbaarheid: De methode schaalde succesvol naar 2,8 miljard parameters (Pythia 2.8B) en cross-family architecturen (Llama 3.2), wat bewijst dat de invariant standhoudt op miljarden-parameter schaal onder gepinde single-GPU omgevingen.
Kostenanalyse: De controle-provenance (WAL + manifest) is klein in verhouding tot model-checkpoints (0,019% – 0,20%). Echter, de replay-kosten zijn afhankelijk van de lokaliteit. Voor een willekeurige 5% deletie in een 2.8B model vereiste de replay een herstart vanaf stap nul, wat bijna evenveel tijd kostte als de oorspronkelijke run. Het artikel merkt op dat verspreide verzoeken structureel bijna volledige replay afdwingen.

5. Betekenis en Claims

Het artikel levert een bescheiden maar precieze bijdrage aan het vakgebied van machine unlearning:

Omvang van de Claim: De auteur stelt expliciet dat hij niet beweert dat dit een "goedkope deletie" is of universeel superieur is aan benaderende unlearning methoden (bijv. Gradient Ascent, NPO). De methode vereist prospectieve instrumentatie en kan voor verspreide verzoeken volledige replay-kosten met zich meebrengen.
State vs. Behavior: Het artikel scheidt strikt state exactness van behavioral forgetting. Hoewel de vrijgegeven staten zijn geëvalueerd met de OpenUnlearning TOFU benchmark, behandelt de auteur deze resultaten slechts als beschrijvende diagnostiek. De auteur vermijdt expliciet causale claims dat trace preservation oorzaakt dat specifiek gedrag wordt vergeten, wijzend op het gebrek aan passende controles (bijv. een gematchte retain-only baseline en pre-fine-tuning metrieken).
Auditeerbaar: De primaire betekenis is het vestigen van een auditeerbare, algoritmische definitie van deletie. Door de uitvoeringsovereenkomst vast te leggen en bitwise gelijkheid aan te tonen met een verklaarde counterfactual, biedt het systeem een verifieerbare garantie dat een specifieke uitvoeringstrace is geneutraliseerd, wat verschilt van claims over parameter-niveau data-afwezigheid.
Beperkingen: De auteur erkent dat de methode geen garanties biedt voor deletie uit back-ups, caches of andere opslaglagen, en ook niet op zichzelf voldoet aan juridische verplichtingen (bijv. GDPR Artikel 17). Het is een systeem-primitive voor het reconstrueren van een specifieke historische staat, geen algemeen bruikbare beleidoplossing.

Samenvattend demonstreert het artikel dat billion-parameter state exactness haalbaar is voor een specifieke, trace-preserving deletion counterfactual, mits het trainingssysteem prospectief geïnstrumenteerd is en de uitvoeringsomgeving gepind is. Het stelt vast dat "unlearning" gedefinieerd moet worden door het specifieke counterfactual programma dat wordt uitgevoerd, en niet enkel door de verzameling gehouden data.