🤖 machine learning

Shape of Memory: a Geometric Analysis of Machine Unlearning in Second-Order Optimizers

Dit onderzoek stelt dat huidige definities van machine unlearning ontoereikend zijn voor tweede-orde optimizers, omdat deze methoden weliswaar de gewichten aanpassen, maar via hun interne staat (optimizer state) nog steeds residuele informatie vasthouden die alleen door geometrische verstoring kan worden gewist.

Oorspronkelijke auteurs: Kennon Stewart

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kennon Stewart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Geest van de Machine: Waarom "Vergeten" veel moeilijker is dan je denkt

Stel je voor dat je een nieuwe taal leert. Je leert niet alleen de woorden (de feiten), maar je hersenen passen zich ook aan: je krijgt een soort "gevoel" voor de ritme en de structuur van de taal. Als iemand je vraagt om een specifiek woord te vergeten, is dat makkelijk: je wist het woord uit je hoofd. Maar het gevoel voor de structuur van die taal? Dat blijft in je hersenen zitten, ook al weet je het woord niet meer.

Dit is precies waar dit wetenschappelijke onderzoek over gaat.

De twee soorten leerlingen: De 'Snelkookpan' vs. de 'Bibliothecaris'

In de wereld van Kunstmatige Intelligentie (AI) hebben we verschillende manieren waarop computers leren. Het onderzoek vergelijkt twee soorten:

De Snelkookpan (First-Order Optimizer): Dit is een simpele leerling. Hij kijkt naar de huidige situatie, leert een beetje, en kijkt dan weer naar de volgende stap. Hij heeft geen geheugen voor hoe het gisteren ging. Als je hem vraagt iets te vergeten, is dat simpel: hij heeft het toch al niet meer in zijn achterhoofd.
De Bibliothecaris (Second-Order Optimizer): Dit is een super-slimme leerling. Hij onthoudt niet alleen de feiten, maar hij bouwt een hele interne "kaart" (de geometrie) van hoe de informatie in elkaar zit. Hij begrijpt de diepere structuur en de verbanden. Dit maakt hem razendsnel en heel efficiënt, maar hij bouwt een enorm intern archief op.

Het probleem: De "Geest in de Machine"

Het onderzoek kijkt naar Machine Unlearning: het proces waarbij we een AI dwingen om specifie的に bepaalde gegevens te vergeten (bijvoorbeeld om iemands privacy te beschermen).

De onderzoekers ontdekten iets verontrustends: bij de slimme "Bibliothecaris" werkt vergeten niet zoals we dachten. Als we de AI vertellen dat hij een bepaald datapunt moet vergeten, passen we de "feiten" aan, maar de interne kaart (de geometrie) van de AI blijft vervormd.

De metafoor van de GPS:
Stel je voor dat je een GPS-systeem hebt dat een route plant. Je vertelt de GPS: "Vergeet dat die weg bij de supermarkt geblokkeerd is." De GPS zegt: "Oké, ik neem een andere weg." Maar diep vanbinnen heeft de GPS nog steeds de ervaring dat die weg een belangrijke route was. De "vorm" van zijn geheugen is nog steeds gebouwd rondom die supermarkt. De route die hij nu kiest, is weliswaar anders, maar de manier waarop hij denkt over de kaart is nog steeds beïnvloed door de weg die hij eigenlijk had moeten vergeten.

De belangrijkste ontdekkingen

Schijnveiligheid: Als je naar de prestaties van de AI kijkt (hoe goed hij de volgende stap voorspelt), lijkt het alsof hij het vergeten is. Hij doet het weer even goed als voorheen. Maar dat is een illusie!
Onzichtbare sporen: Als je dieper in de "hersenen" van de AI kijkt (de wiskundige structuur), zie je dat de sporen van de verwijderde data nog steeds aanwezig zijn in de vorm van "onrust" of "trillingen" in zijn interne systeem. De informatie is niet weg; ze is alleen veranderd in een soort onzichtbare vervorming van zijn logica.
Hardhandig wissen helpt (een beetje): De onderzoekers probeerden de interne kaart van de AI een beetje te "slopen" of te versimpelen (het resetten van de geometrie). Dat hielp om de sporen beter te wissen, maar het maakte de AI ook weer wat minder slim en stabiel.

Waarom is dit belangrijk?

Dit onderzoek is een waarschuwing voor de toekomst van privacy. Als we AI-systemen gebruiken die heel slim en efficiënt zijn (zoals de "Bibliothecaris"), kunnen we er niet op vertrouwen dat ze echt iets vergeten zijn, alleen maar omdat ze de juiste antwoorden geven. De "geest" van de data kan nog steeds in de structuur van de machine rondspoken.

De conclusie van de wetenschappers: We moeten niet alleen leren hoe we de antwoorden van een computer kunnen wissen, maar we moeten leren hoe we zijn hele denkwijze (zijn geometrie) kunnen herstellen.

Technische Samenvatting: Shape of Memory

1. Het Probleem: De Blinde Vlek van Machine Unlearning

Het huidige onderzoek naar machine unlearning (het verwijderen van de invloed van specifieke data uit een getraind model) richt zich bijna uitsluitend op first-order optimizers (zoals Gradient Descent). In die context wordt succes gedefinieerd als het bereiken van parameters die ononderscheidbaar zijn van een model dat nooit de verwijderde data heeft gezien.

Dit paper stelt dat deze definitie tekortschiet voor second-order optimizers (zoals Online Newton Step - ONS). Second-order methoden slaan niet alleen parameters op, maar onderhouden een interne "optimizer state" (een matrix die de kromming van de verliesfunctie representeert). Deze staat fungeert als een geometrisch geheugen van de volledige trainingshistorie. Het probleem is dat zelfs als de parameters ( $w$ ) lijken te herstellen na een verwijdering, de interne geometrie ( $A_t$ ) nog steeds informatie over de verwijderde data kan bevatten. Dit creëert een risico voor de privacy dat niet wordt gedetecteerd door standaard prestatie-analyses.

2. Methodologie

De auteurs voeren een gecontroleerd experiment uit binnen het kader van Online Convex Optimization onder adversariële verwijderingen.

Modellen: Er wordt een vergelijking gemaakt tussen:
- Online Gradient Descent (OGD): De first-order baseline (geheugenloos).
- Online Newton Step (ONS): De second-order optimizer die een positief-definiete matrix $A_t$ bijhoudt om de kromming te modelleren.
Experimenteel Design: Een leerproces over $T=400$ rondes in een 2D-ruimte, waarbij op tijdstip $\tau=200$ een verwijdering plaatsvindt (10 recente observaties worden gewist). Er wordt getest in zowel stationaire als "drifting" (niet-stationaire) omgevingen.
Interventies (Second-Order State Intervention): Om de unlearning te forceren, worden er twee soorten spectrale behandelingen toegepast op de ONS-matrix $A_t$ $A_{t}$ :
1. Partial Reset: Het aftrekken van een constante $\alpha$ van de eigenwaarden.
2. Eigenvalue Decay: Het schalen van het spectrum met een factor $\beta$ .
Metrieken: Naast standaard metrieken zoals regret (verlies) en tracking error (afstand tot het ideale model), worden spectrale diagnostieken gebruikt: de condition number (gevoeligheid) en cosine alignment (geometrische oriëntatie).

3. Belangrijkste Resultaten

De resultaten onthullen een fundamenteel verschil tussen first-order en second-order unlearning:

First-order herstel: OGD herstelt relatief snel na een verwijdering. De parameters volgen weer het ideale pad, simpelweg omdat er geen extra geheugen is om te corrigeren.
De "Schijnveiligheid" van ONS: ONS vertoont een verrassend gedrag: de regret (prestatie) herstelt vrijwel onmiddellijk naar het normale niveau. Echter, dit is misleidend. Hoewel het model weer goed presteert, blijft de interne staat ( $A_t$ ) significant afwijken van de ideale "counterfactual" staat (de staat die het model zou hebben gehad zonder de verwijderde data).
Geometrische Hysteresis: De auteurs ontdekken dat verwijderde informatie persisteert als volatiliteit in de optimizer state. De interventies (reset/decay) veranderen de geometrie van de leerruimte, wat leidt tot een afwijkend traject dat niet overeenkomt met het ideale model, zelfs als de prestaties (regret) goed lijken.
Effect van interventies: Sterkere spectrale onderdrukking (agressieve eigendecay) leidt tot een betere uitlijning van de geometrie met het ideale model, maar introduceert tegelijkertijd grotere discontinuïteiten in het leerproces.

4. Bijdragen en Significante Implicaties

De belangrijkste bijdragen van dit werk zijn:

Herdefinitie van Unlearning: Het paper betoogt dat voor stateful optimizers, unlearning niet alleen een kwestie is van parameter similarity, maar van state alignment. Een model kan "vergeten" op het gebied van voorspellingen, maar nog steeds "onthouden" op het gebied van geometrie.
Identificatie van een nieuw privacyrisico: Er bestaat een vorm van residuele informatie die onzichtbaar is voor traditionele evaluatiemethoden die alleen naar de loss of de parameters kijken.
Inzicht in de trade-off van optimizers: Er is een fundamentele spanning tussen de snelheid van adaptatie (die profiteert van een rijke second-order staat) en de moeilijkheid van unlearning (die wordt bemoeilijkt door diezelfde staat).

Conclusie: Het werk legt de basis voor een nieuwe generatie "geometrisch gecertificeerde" unlearning-methoden, die niet alleen kijken naar wat een model doet (output), maar ook naar hoe een model denkt (interne geometrie).