🤖 machine learning

Form and Function: Machine Unlearning as a Problem of Misaligned States

Dit artikel herformuleert machine unlearning voor online L-BFGS als een contrafactual state-alignment-probleem, en toont aan dat effectief unlearning vereist dat zowel de modelparameters als de interne geheugenstaat van de optimizer worden gecorrigeerd om te overeenkomen met een realiseerbare contrafactual traject, in plaats van enkel de parameters aan te passen.

Oorspronkelijke auteurs: Kennon Stewart

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kennon Stewart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Gaat Niet Alleen om het Weggooien van de Notitie, Maar om het Vergeten van de Les

Stel je voor dat je een student (het AI-model) onderwijst met behulp van een zeer specifiek notitieboek. Dit notitieboek bevat niet alleen de huidige antwoorden van de student (de parameters); het bevat ook een speciale set "vuistregels" of "geheugenafkortingen" die de student heeft ontwikkeld om problemen sneller op te lossen (de optimizer state of krommingsgeheugen).

Normaal gesproken proberen we, wanneer we willen dat een AI een stukje slechte data "ontleert" (zoals een privéfoto of een fout), alleen de antwoorden van de student aan te passen zodat het lijkt alsof ze die foto nooit hebben gezien. We gaan ervan uit dat als de antwoorden goed zijn, de student "schoon" is.

Dit artikel betoogt dat dit verkeerd is.

De auteurs stellen dat voor geavanceerde AI-learners (specifiek diegenen die een methode genaamd online L-BFGS gebruiken), de "vuistregels" in het notitieboek net zo belangrijk zijn als de antwoorden. Als je de antwoorden corrigeert maar de "vuistregels" die gebaseerd zijn op de slechte data laat staan, wordt de student nog steeds in het geheim beïnvloed door wat ze vergeten zouden moeten zijn. Ze zijn niet uitgelijnd.

Het Kernprobleem: De "Geest" in de Machine

Het artikel introduceert een concept genaamd State Alignment (Toestandsuitlijning). Denk hierover na als volgt:

De Reële Wereld: De student leert van een stroom van gebeurtenissen.
Het Contrafeit (Het "Wat Als"): Stel je een parallel universum voor waarin de slechte data nooit heeft bestaan. In dit universum heeft de student een andere set antwoorden én een andere set "vuistregels".
Het Doel: Wanneer we data in de reële wereld verwijderen, willen we niet alleen dat de antwoorden overeenkomen met het "Wat Als"-universum. We willen dat het hele notitieboek (antwoorden + regels) exact overeenkomt met wat de student zou hebben gehad als ze de slechte data in eerste instantie nooit hadden gezien.

Het artikel stelt dat huidige methoden alleen de antwoorden (parameters) corrigeren. Ze negeren de regels (geheugen). Dit creëert een "Frankenstein"-student: ze hebben de juiste antwoorden voor een wereld die niet bestaat, maar ze gebruiken de verkeerde afkortingen om daar te komen.

De Twee Soorten Geheugen

De auteurs ontdekten dat het geheugen van de AI in twee lagen werkt:

Direct Geheugen (De Expliciete Lijst): Dit is de lijst met specifieke voorbeelden die de AI momenteel in zijn korte-termijngeheugen vasthoudt. Als je een foto verwijdert, valt deze uiteindelijk van deze lijst af.
Indirect Geheugen (Het Kruipeffect): Zelfs nadat de foto van de lijst is gevallen, kan de manier waarop de student ervan heeft geleerd, hebben veranderd hoe ze toekomstige foto's interpreteren. De "golfbeweging" van de slechte data blijft de toekomstige beslissingen van de student beïnvloeden, zelfs als de originele foto weg is.

De Analogie: Stel je voor dat je een auto bestuurt.

Direct Geheugen is de GPS-route die momenteel op het scherm staat. Als je een bestemming verwijdert, verdwijnt deze van het scherm.
Indirect Geheugen is de spiergeheugen die je hebt opgebouwd tijdens het rijden van die route. Zelfs als je de bestemming verwijdert, kunnen je handen de stuurwiel nog steeds vasthouden op een manier die verwacht dat je bij de volgende kruising linksaf slaat, omdat je gisteren die route hebt gereden.

Het artikel toont aan dat het simpelweg verwijderen van de GPS-bestemming (de data) niet genoeg is; je moet ook je spiergeheugen (de optimizer state) resetten.

De Experimenten: Wat Ergebeurt Als Je Probeer te "Ontleren"?

De onderzoekers testten verschillende manieren om de AI te herstellen na het verwijderen van data:

De "Alleen-Parameters"-Oplossing: Ze veranderden de antwoorden maar lieten de regels onaangetast.
- Resultaat: De student zag er eerst goed uit, maar naarmate ze bleven leren, begonnen ze vreemde fouten te maken omdat hun antwoorden en hun regels niet overeenkwamen. Ze waren "niet uitgelijnd".
De "Alleen-Geheugen"-Oplossing: Ze wisten de regels uit maar lieten de antwoorden onaangetast.
- Resultaat: De student had schone regels maar zat vast aan antwoorden die verkeerd waren voor de nieuwe situatie.
De "Replay"-Oplossing (De Winnaar): Ze namen de student terug, wisten de slechte data uit de geschiedenis en lieten ze de laatste paar stappen opnieuw van scratch leren.
- Resultaat: Dit was de enige manier om de student perfect te laten overeenkomen met het "Wat Als"-universum. De antwoorden en de regels waren perfect gesynchroniseerd.

De Belangrijkste Conclusie

Het artikel concludeert dat Machine Unlearning niet alleen een wiskundig probleem is van het veranderen van getallen; het is een meetkundig probleem van het uitlijnen van toestanden.

Als je data echt wilt verwijderen uit een AI die geavanceerde geheugentechnieken gebruikt, kun je niet alleen de uiteindelijke output aanpassen. Je moet ervoor zorgen dat het interne "spiergeheugen" en de "afkortingen" van de AI ook worden gereset om overeen te komen met een tijdlijn waarin die data nooit heeft bestaan. Als je dit niet doet, is de AI technisch gezien alleen in naam "ontleerd", maar draagt het nog steeds de geest van de verwijderde data in zijn toekomstige gedrag.

Kortom: Je kunt de notitie niet alleen wissen; je moet de les wissen.

Technische Samenvatting: Vorm en Functie: Machine Unlearning als een Probleem van Uitgelijnde Staten

Probleemdefinitie

Het artikel adresseert een kritieke kloof in de evaluatie van machine unlearning: de focus op modelprestaties (functie) verwaarloost vaak de interne geometrie en de staat van het model (vorm). Dit is vooral acuut voor stateful optimizers zoals online L-BFGS, die niet alleen parametervectoren ( $w_t$ ) behouden, maar ook een eindig geheugen van krommingsparen ( $Z_t$ ) dat wordt gebruikt om de inverse Hessian te benaderen.

De auteurs betogen dat huidige unlearning-methoden, die unlearning vaak behandelen als een probleem van parametercorrectie, ontoereikend zijn. Bij stateful optimizers beïnvloedt verwijderde data de trajectorie van toekomstige krommingsparen en update-richtingen, zelfs nadat de expliciete krommingsparen die die data bevatten, uit het geheugenvenster zijn geroteerd. Bijgevolg kan een model dat data in zijn parameters heeft "vergeten", nog steeds een gekoppelde staat (parameters + geheugen) bezitten die geometrisch inconsistent is met de contrafactuele staat die zou zijn ontstaan als de data nooit was verwerkt. Het kernprobleem wordt herformuleerd als een contrafactueel staat-uitlijningsprobleem: het doel is om de daadwerkelijke optimizer-staat uit te lijnen met de staat die wordt gegenereerd door een stroom van gebeurtenissen die een verwijdering bevat.

Methodologie

Theoretisch Kader

Het artikel formuleert unlearning voor online L-BFGS (o-LBFGS) binnen een sequentiële leeromgeving.

Gebeurtenisstromen: De auteurs onderscheiden tussen de werkelijke gebeurtenisstroom ( $H_t$ ) en de verwijderings-geëditteerde contrafactuele stroom ( $H_t^{-D}$ ), die specifieke steekproeven uitsluit.
Staatdefinitie: De leer-staat wordt gedefinieerd als $\theta_t = (w_t, Z_t)$ , waarbij $Z_t$ de krommingsparen $\{(v_i, r_i)\}$ bevat.
Staat-uitlijningsfout: Een nieuwe metriek, $\Delta_t$ , wordt geïntroduceerd om de afstand tussen de unlearned staat en de contrafactuele orakelstaat te meten.
Recursieve Grenzen: Onder aannames van sterke convexiteit, gladheid, begrenste gradiënten en contractieve updates, leiden de auteurs een recursieve grens af voor de staatdeviatie. Zij tonen aan dat de fout uit twee componenten bestaat:
1. Direct Geheugen: Expliciete krommingsparen die verwijderde data bevatten, die verdwijnen na $\tau$ updates (de grootte van het geheugenvenster).
2. Indirect Geheugen: Residuïele invloed die aanhoudt via de parametertrajectorie, wat nieuwe krommingsparen en update-richtingen genereert. Deze invloed neemt geometrisch af, maar blijft bestaan buiten het directe geheugenvenster.

Certificaten voor Unlearning

Het artikel stelt een methode voor voor Staat-gecertificeerde Unlearning. In tegenstelling tot eerdere werken die ruis kalibreren op basis van uitsluitend parametersensitiviteit, kalibreert deze aanpak ruisinjectie op basis van de totale staatdeviatiegrens ( $\alpha_t$ ). Deze grens houdt rekening met zowel de initiële verstoring als het residuïele indirecte geheugen, waardoor wordt gegarandeerd dat de gerandomiseerde unlearned staat binnen een gedefinieerde probabilistische garantie niet te onderscheiden is van het contrafactuele ideaal.

Experimenteel Benchmark

De auteurs introduceren een state-aware benchmark die unlearning-interventies evalueert aan de hand van vier distincte foutmetrieken:

Parameterfout: Afwijking in de gewichtsvector.
Geheugen-operatorfout: Afwijking in de krommingsgeheugen/inverse-Hessian-benadering.
Gecombineerde staatfout: De gezamenlijke afwijking van $(w_t, Z_t)$ .
Update-richtingsfout: De divergentie in toekomstige gradiënt-update-richtingen.

Geteste interventies omvatten:

Orakel Replay: Opnieuw trainen op de exacte contrafactuele stroom (grondwaarheid).
Venster Replay: Het opnieuw afspelen van een recent venster van gebeurtenissen om de staat te reconstrueren.
Alleen-parametercorrectie: Aanpassen van $w_t$ terwijl $Z_t$ onaangetast blijft.
Alleen-geheugencorrectie: Resetten of verwijderen van verontreinigde krommingsparen terwijl $w_t$ onaangetast blijft.
Verontreinigd paar-dropping: Verwijderen van specifieke krommingsparen.
Drop-and-Refill: Verwerpen van zowel parameters als geheugen, en vervolgens doorgaan.

Belangrijkste Resultaten

1. Parameteruitlijning onderschrijft persistentie

Experimenten op kwadratische en ridge-logistische verliesoppervlakken tonen aan dat het corrigeren van alleen de parametervector ( $w_t$ ) geen echt unlearning bereikt. Hoewel interventies die alleen parameters betrekken de parameterfout kunnen verminderen, laten ze het krommingsgeheugen ( $Z_t$ ) verontreinigd achter. Dit creëert een "hybride staat" waarbij de parameters aannemen dat de data is verwijderd, maar het geheugen nog steeds update-richtingen codeert die gebaseerd zijn op de oorspronkelijke trajectorie. Deze misalignatie resulteert in de grootste toekomstige trajectoriefout onder niet-orakelmethoden, die vaak de fout van het niet uitvoeren van enige correctie overtreft.

2. Indirect geheugen en de verwijderingshorizon

De studie bevestigt dat verwijderde data aanhoudt via indirect geheugen. Zelfs nadat verontreinigde krommingsparen uit het L-BFGS-venster zijn geroteerd (directe geheugenopruiming), genereert de gewijzigde parametertrajectorie nieuwe krommingsparen die de "geest" van de verwijderde data dragen.

Geheugengrootte-trade-off: Grotere geheugenvensers ( $\tau$ ) houden directe contaminatie langer vast, maar vertragen ook de snelheid van staatuitlijning. Kleinere vensters verkorten de verwijderingshorizon, maar kunnen de optimalisatie-efficiëntie in gevaar brengen.
Verval-dynamiek: Staatdeviatie verdwijnt niet onmiddellijk bij geheugenopruiming; het valt geometrisch af over tijd, afhankelijk van de contractiviteit van de optimizer.

3. ontoereikendheid van lokale interventies

Lokale edits (wijzigen van alleen parameters of alleen geheugen) falen in het reconstrueren van de contrafactuele staat.

Alleen-geheugen reset: Hoewel het directe contaminatie verwijdert, faalt het in het reconstrueren van de parametertrajectorie die op natuurlijke wijze het contrafactuele geheugen zou hebben gegenereerd, wat leidt tot significante update-richtingsfouten.
Drop-and-Refill: Aggressief verwijderen van data kan schadelijk zijn, waardoor de optimizer verder van de contrafactuele trajectorie komt dan bij het niets doen, omdat het nuttige informatie vernietigt die zowel door de werkelijke als de contrafactuele geschiedenis wordt gedeeld.

4. Succes van strategische replay

Venster Replay is de enige niet-orakelmethode die betrouwbare benadering van exact herstel toont. Door de gezamenlijke parameter-geheugenstaat te reconstrueren vanuit een venster van data dat consistent is met de verwijderingsaanvraag, lijnt het zowel vorm als functie uit. De effectiviteit is het grootst wanneer de verwijderde data binnen het replay-venster valt. Naarmate data van direct naar indirect geheugen verschuift, neemt de efficiëntie van replay af, maar het blijft superieur aan partiële correcties.

Betekenis en Claims

Het artikel claimt dat machine unlearning voor stateful optimizers fundamenteel een staat-reconstructieprobleem is, en niet louter een probleem van parametercorrectie.

Ontologische verschuiving: De auteurs betogen dat unlearning moet worden geëvalueerd op basis van of het systeem de "vorm en functie" van het contrafactuele ideaal kan aannemen. Een model dat goed presteert maar een misgelijkte interne staat bezit, is niet echt unlearned.
Nieuwe evaluatiestandaard: Het artikel introduceert state-aware metrieken die de ontoereikendheid van huidige parametercentrische evaluatiemethoden blootleggen, die vaak residuïele informatie missen die is opgeslagen in het geometrische geheugen van de optimizer.
Theoretische bijdrage: Het biedt de eerste recursieve grenzen voor contrafactuele staatdeviatie voor online L-BFGS, onderscheidt tussen directe en indirecte geheugeneffecten, en biedt een kader voor staat-gecertificeerde unlearning dat rekening houdt met de volledige optimizer-staat.
Praktische implicatie: De resultaten suggereren dat betrouwbaar unlearning in online, geheugenbeperkte omgevingen vereist ofwel volledige staat-reconstructie (via replay) of een meer verfijnd begrip van hoe krommingsgeheugen verwijderingseffecten voortplant, in plaats van eenvoudige parameterperturbatie.

De auteurs bewaren bescheidenheid met betrekking tot hun reikwijdte, en merken op dat hun theoretische grenzen afhankelijk zijn van convexiteitsaannames en dat hun experimenten synthetische stromen gebruiken, waardoor de toepassing op grote schaal, niet-convexe, ingezette modellen als toekomstig werk achterblijft.