🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

Dit artikel introduceert RULER, een reeks representatieniveau-verificatiemetrics die aanzienlijke resterende memorisatie blootleggen in methoden voor machine-unlearning die onder traditionele outputniveau-evaluaties succesvol lijken.

Oorspronkelijke auteurs: Georgina Cosma, Axel Finke

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Georgina Cosma, Axel Finke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme student voor die een enorme studieboek heeft bestudeerd om expert te worden. Op een dag zegt de uitgever tegen de student: "Vergeet alsjeblieft alles wat je hebt geleerd over Hoofdstuk 5." De student wil gehoorzamen, maar kan het boek niet zomaar verbranden en opnieuw beginnen; dat zou te veel tijd en energie kosten. Dus proberen ze Hoofdstuk 5 te "ontleren" door die specifieke pagina's mentaal uit te wissen, terwijl ze hun kennis van de rest van het boek intact houden.

Dit artikel, RULER, gaat over het controleren of de student het vergeten daadwerkelijk goed heeft gedaan.

Het Probleem: De "Valse Vergetenheid"

Momenteel controleren leraren (of auditors) of de student iets is vergeten door twee simpele vragen te stellen:

De Toets: Kan de student nog steeds vragen over de rest van het boek correct beantwoorden? (Ja, dat kan.)
Het Raadselspel: Als we de student een zin uit Hoofdstuk 5 tonen en vragen: "Heb jij dit bestudeerd?", kunnen ze ons dat vertellen? (Idealiter zouden ze willekeurig moeten raden, net als het opgooien van een munt.)

De auteurs vonden een hiaat. Ze ontdekten dat een student beide tests perfect kan doorstaan, maar toch nog steeds de "geest" van Hoofdstuk 5 in hun brein heeft. Het is als een goochelaar die succesvol een konijn uit een hoed laat verdwijnen (de output), maar nog steeds stiekem het konijnenvel in zijn zak houdt (het interne geheugen). De antwoorden van de student zien er schoon uit, maar hun denkproces herinnert zich nog steeds het verboden hoofdstuk.

De Oplossing: RULER (De "Röntgen" Bril)

De auteurs hebben een nieuwe set tools ontwikkeld genaamd RULER (Representation-Level Verification). In plaats van alleen naar de antwoorden van de student te luisteren, kijkt RULER in het brein van de student om te zien hoe hun gedachten zijn georganiseerd.

Ze gebruiken twee hoofd-"lenzen" (metrieken) om dit te controleren:

Lens 1: De "Gouden Standaard" Vergelijking (Metriek M2)

Stel je een "Gouden Standaard" student voor die Hoofdstuk 5 nooit heeft gezien.

De Test: RULER vergelijkt de "denkpatronen" van de student die probeerde Hoofdstuk 5 te vergeten, met die van de Gouden Standaard-student.
De Bevinding: Hoewel de "vergetende" student de toets haalt, behandelt hun brein Hoofdstuk 5 nog steeds anders dan de Gouden Standaard-student. Het is als het vergelijken van twee kaarten: de ene is een perfecte kaart van een stad zonder een specifiek park, en de andere is een kaart waarop iemand probeerde het park te wissen, maar een vaag, spookachtig omtrekje achterliet. De omtrekken komen niet overeen.
Het Resultaat: In hun experimenten lieten bijna alle methoden die werden gebruikt om te "ontleren" deze spookachtige omtrekken achter. De studenten haalden de toets, maar faalden bij de hersenscan.

Lens 2: De "Geen-Orakel" Detective (Metriek M4)

Soms heb je geen Gouden Standaard-student om mee te vergelijken. Dus heeft RULER een manier bedacht om het brein van de student te controleren met alleen het eigen geheugen van de student.

De Test: RULER kijkt naar de "gedachten" over het vergeten hoofdstuk en vraagt: "Lijken deze gedachten alsof ze bij de rest van het boek horen, of vallen ze op als een zere teen?"
De Analogie: Stel je een menigte mensen voor die blauwe shirts dragen (de behouden data). Je vraagt de student om een specifieke persoon met een rood shirt te vergeten (de vergeet-data).
- Als ze het succesvol vergeten, zou de persoon met het rode shirt zo goed moeten opgaan dat ze eruitzien als de blauwe shirts.
- Als ze het niet haalden, gloeit het rode shirt nog steeds, of erger: de student duwde het rode shirt zo ver weg dat het nu in de ruimte zweeft (over-verplaatsing).
De Bevinding: RULER ontdekte dat in veel gevallen de "vergeten" data niet opging. Het stak óf op als een herinnering, óf het werd te ver weggeduwd, wat een vreemde vervorming in het brein van de student veroorzaakte.

Wat Ze Testten

De onderzoekers testten dit op vier verschillende "ontleer"-technieken (zoals verschillende manieren om een herinnering te proberen te wissen):

Gradient Ascent: Proberen de herinnering actief weg te duwen.
NegGrad+: Een mix van wegduwen en de rest versterken.
Fine-Tuning: Gewoon de rest van het boek opnieuw bestuderen, in de hoop dat de oude herinnering vanzelf vervaagt.
SCRUB: Een complexe methode waarbij een "leraar" het vergeten begeleidt.

Het Vonnis: Alle vier de methoden haalden de standaard "Toets" en "Raadselspel"-tests. Maar toen RULER in hun breinen keek, faalden alle vier de methoden. Ze lieten allemaal aanzienlijke sporen van de vergeten data achter.

Een Speciaal Geval: Gezichtsherkenning

Het artikel testte dit ook op een gezichtsherkenningssysteem (zoals een beveiligingscamera).

Het Scenario: Het systeem was getraind om mensen te herkennen, maar kreeg toen de opdracht om een specifieke persoon te "vergeten" (een GDPR "recht op vergetelheid" verzoek).
Het Resultaat: Zelfs na het ontleeren herkende het systeem nog steeds de gezichtsstructuur van die specifieke persoon. Het was als proberen een vriend niet meer te herkennen; het systeem kon zeggen "Ik weet niet wie dit is", maar de interne "gezichtskaart" had nog steeds een perfecte schets van die persoon. Geen enkele geteste methode kon dit identiteitsniveau-geheugen volledig wissen.

De Grote Conclusie

Het artikel concludeert dat huidige methoden voor "machine unlearning" niet zo grondig zijn als we dachten. Ze zijn goed in het schoonmaken van de antwoorden die een model geeft, maar ze zijn slecht in het schoonmaken van de interne herinneringen die die antwoorden produceren.

RULER fungeert als een waarheidsverteller, die ons laat zien dat het feit dat een model zegt dat het iets is vergeten, niet betekent dat het dat daadwerkelijk heeft gedaan. Om privacy echt te beschermen, moeten we de interne "gedachten" van de AI controleren, niet alleen de uiteindelijke output.

Technische Samenvatting: RULER – Representatieniveau-Verificatie van Machine Unlearning

Probleemstelling

Machine unlearning heeft tot doel de invloed van specifieke trainingsrecords (de forget set) uit een ingezet model te verwijderen zonder de rekenkosten van een volledige hertraining, terwijl de modelprestaties op de overige data (de retain set) behouden blijven. Huidige evaluatieprotocollen vertrouwen op output-niveau criteria:

Accuracy van Membership Inference Attacks (MIA): Moet dicht bij 0,50 liggen (kansniveau).
Accuracy van de retain set: Moet behouden blijven.
Accuracy van de forget set: Moet overeenkomen met een retrain oracle (een model dat vanaf nul is getraind op alleen de retain set).

De auteurs identificeren een kritieke beperking in deze protocollen: een model kan voldoen aan alle drie de output-niveau criteria en toch informatie over de vergeten records coderen in zijn interne representaties. Bestaande metrieken onderzoeken niet hoe een model intern informatie over individuele records organiseert, wat potentieel een "valse schijn van privacy" achterlaat waarbij het model zich correct gedraagt op output-niveau, maar structurele sporen behoudt van de data die het vergeten zou moeten hebben.

Methodologie: RULER

Het artikel introduceert RULER (Representation-Level Verification of Machine Unlearning), een raamwerk dat twee perspectieven van verificatiemetrieken omvat, gebaseerd op cosinusgelijkenis op de voorlaatste laag. Het raamwerk werkt op embeddings $h_\theta(x)$ direct voorafgaand aan de taakspecifieke output-head.

Perspectief 1: Oracle-Comparatieve Metrieken (Vereist een Retrain Oracle)

Deze metrieken vergelijken het unlearned model ( $\theta_u$ ) met een retrain oracle ( $\theta_r$ ) die vanaf nul is getraind op de retain set. Om te waarborgen dat representatieve verschillen het unlearning-proces weerspiegelen en niet willekeurige initialisatie, delen het originele model ( $\theta_o$ ) en de oracle ( $\theta_r$ ) dezelfde willekeurige seed.

M1 (Oracle-Comparatieve Gelijkenis): De gemiddelde cosinusgelijkenis tussen records van de forget set in $\theta_u$ en $\theta_r$ . Hoewel hoge gelijkenis gewenst is, mist M1 een vaste nulwaarde voor significantietests.
M2 (Gesigneerde Kalibratiekloof): De primaire metriek van Perspectief 1. Deze berekent het verschil tussen de gemiddelde gelijkenis van records van de forget set en de mediaan gelijkenis van records van de retain set tussen $\theta_u$ $θ_{u}$ en $\theta_r$ $θ_{r}$ .
- Nulhypothese: $M2 = 0$ .
- Interpretatie: Negatieve waarden geven residuale memorisatie aan (records van de forget set zijn minder vergelijkbaar met de oracle dan records van de retain set). Positieve waarden geven overcorrectie aan. De mediaan wordt gebruikt voor de retain-basislijn om inflatie door rechts-scheve verdelingen te voorkomen.
M3 (Representatieverschuiving): Meet de verandering in gelijkenis met de oracle voor en na unlearning. Positieve waarden geven aan dat het unlearning-proces de representaties dichter naar de oracle heeft bewogen; negatieve waarden geven aan dat ze verder weg zijn bewogen.

Perspectief 2: Oracle-Vrije Metriek (Geen Retrain Oracle Vereist)

M4 (Percentielrang): Deze metriek werkt uitsluitend op de interne geometrie van het unlearned model $\theta_u$ $θ_{u}$ . Voor elke forget-record wordt de dichtstbijzijnde buur in de retain set gevonden en hun cosinusgelijkenis gemeten. Deze gelijkenis wordt vervolgens gerangschikt tegen de verdeling van dichtstbijzijnde-buur-gelijkheden onder de retain-records zelf (leave-one-out).
- Nulhypothese: $M4 = 0,50$ .
- Interpretatie: Een waarde van 0,50 impliceert dat de forget-record geometrisch niet te onderscheiden is van een retain-record. Waarden $> 0,50$ geven residuale memorisatie aan (de forget-record is te vergelijkbaar met de retain set). Waarden $< 0,50$ geven over-verplaatsing aan (het record is te ver van de retain-verdeling geduwd).

Experimentele Opzet

Datasets: Tien tabulaire classificatiedatasets (bijv. Adult Income, Breast Cancer, German Credit) werden gebruikt als de primaire setting. Het raamwerk werd ook toegepast op grootschalige tabulaire data, beeldclassificatie (CIFAR-10, SVHN, CIFAR-100), klinische tekst (MTSamples met Bio_ClinicalBERT) en gezichtsidentiteit-unlearning (LFW).
Modellen: Een vast MLP met twee verborgen lagen (TabularMLP) voor tabulaire data; CNN's en ResNet-18 voor afbeeldingen; op BERT gebaseerde modellen voor tekst.
Unlearning-methoden: Vier benaderende methoden werden geëvalueerd: Gradient Ascent, NegGrad+, Fine-Tuning en SCRUB (op distillatie gebaseerd). Een vijfde methode, Bad Teacher, werd opgenomen om structurele versus methode-specifieke discordantie te testen.
Protocol: Experimenten gebruikten 10 datasets, 10 training seeds en drie forget-fracties ( $1\%, 5\%, 10\%$ ). Statistische analyse maakte gebruik van Lineaire Gemengde-effectenmodellen (LMM) met dataset als willekeurig intercept, naast Wilcoxon-signed-ranktests.

Belangrijkste Resultaten

1. Discordantie tussen Output- en Representatieniveau

Alle vier de benaderende unlearning-methoden slaagden voor standaard output-niveau evaluaties (MIA-accuracy binnen $\pm 0,05$ van 0,50, behouden retain-accuracy). Echter, M2 detecteerde statistisch significante residuen in 10 van de 12 condities ( $p < 0,05$ ).

Directionaliteit: M2 was consistent negatief over alle methoden en forget-fracties heen, wat aangeeft dat records van de forget set verder van de representatie van de oracle verwijderd blijven dan retain-records.
Effectgrootte: Effectgroottes ( $r_{rb}$ ) groeiden naarmate de forget-fractie toenam, en bereikten grote magnitudes ($0,90 - 0,96$) bij een forget-fractie van $10\%$ .
Methode-onafhankelijkheid: Post-hoc tests toonden geen significant verschil tussen de vier methoden op M2, M4 of MIA. De discordantie is een eigenschap van de unlearning-taak zelf, niet van een specifiek algoritme.

2. De Bad Teacher Validatie

De Bad Teacher-methode, die een fundamenteel ander mechanisme gebruikt (het trainen van een student om een willekeurig geïnitieerde teacher te matchen op forget-records), slaagde ook voor output-niveau checks maar vertoonde significante negatieve M2-waarden. Dit bevestigt dat het niet wissen van intermediaire representaties een structurele beperking is van huidige benaderende unlearning-aanpakken, en geen artefact van specifieke op gradiënten gebaseerde of distillatie-technieken.

3. Diagnostische Nut van M4

Tabulaire/Algemene Data: M4 toonde gemiddelde rangen iets boven 0,50, gedreven door datasets met detecteerbare memorisatie (bijv. Breast Cancer, Heart Disease).
Gezichtsidentiteit (LFW): In een gezichtsidentiteit-setting waarbij het model was getraind voor geslachtsclassificatie maar incidenteel identiteit codeerde, waren de pre-unlearning M4-waarden extreem hoog ($0,73 - 0,94$), wat sterke memorisatie op identiteitsniveau bevestigde. Na unlearning wist geen enkele methode dit signaal volledig; Gradient Ascent en Fine-Tuning lieten het grotendeels intact, terwijl SCRUB over-verplaatsing veroorzaakte bij lage forget-fracties.
Grootschalig/Zwakke Memorisatie: Op grootschalige tabulaire en beelddatasets waar originele modellen een M4 $\approx 0,50$ toonden (geen detecteerbare memorisatie), introduceerden unlearning-methoden soms artefacten (over-verplaatsing of verplaatsing), wat suggereert dat unlearning de kwaliteit van representaties kan degraderen wanneer het strikt genomen niet noodzakelijk is.

Betekenis en Beweringen

Het artikel beweert dat output-niveau evaluatie onvoldoende is voor het verifiëren van machine unlearning. Een model kan voldoen aan alle standaard privacy- en nutscriteria terwijl het meetbare sporen van vergeten data behoudt in zijn interne representaties.

RULER als Verificatietool: De auteurs stellen M2 en M4 voor als noodzakelijke toevoegingen aan het evaluatieprotocol. M2 biedt een populatieniveau-test op residuale memorisatie tegen een oracle, terwijl M4 dient als een oracle-vrije diagnose voor zowel pre-unlearning (beoordelen of unlearning noodzakelijk is) als post-unlearning (detecteren van onvolledige uitwissing of over-verplaatsing).
Beperkingen van Huidige Methoden: De consistente negatieve M2 over diverse methoden en architecturen suggereert dat huidige benaderende unlearning-doelstellingen geoptimaliseerd zijn voor output-gedrag, maar falen in het beperken van intermediaire representaties.
Bescheiden Scope: De auteurs stellen expliciet dat deze metrieken technische verificatietools zijn, geen juridische conformiteitstests voor Artikel 17 van de AVG. Ze karakteriseren representatieve residuen maar claimen niet om regelgevende adequaatheid te definiëren. Bovendien vertrouwen de metrieken op cosinusgelijkenis, die niet rotatie-invariant is, wat het gepaarde-seed-ontwerp voor M2 noodzakelijk maakt.

Concluderend toont het artikel aan dat "vergeten" in machine learning momenteel voor veel benaderende methoden een output-niveau illusie is, en dat ware uitwissing verificatie op representatieniveau vereist.