💻 computer science

POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse

Dit artikel introduceert POUR, een wiskundig bewezen optimale geometrische projectiemethode voor machine-unlearning die specifieke visuele concepten op representatieniveau verwijdert door gebruik te maken van de Neural Collapse-theorie om een evenwicht te vinden tussen vergeet-effectiviteit, behoudstrouw en klassescheiding, waardoor het bestaande state-of-the-art-benaderingen overtreft.

Oorspronkelijke auteurs: Anjie Le, Can Peng, Yuyuan Liu, J. Alison Noble

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anjie Le, Can Peng, Yuyuan Liu, J. Alison Noble

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hoogopgeleide bibliothecaris hebt die de volledige inhoud van een enorme bibliotheek uit het hoofd kent. Op een dag eist een wettelijke verplichting (zoals het "Recht op Vergetelheid") dat de bibliothecaris alles over een specifiek boek, zeg maar een kookboek, volledig vergeet, zonder hun hele brein van scratch opnieuw te trainen.

De meeste huidige methoden proberen dit op te lossen door de bibliothecaris simpelweg te vertellen: "Als iemand iets vraagt over het kookboek, rad dan gewoon willekeurig of zeg dat je het niet weet." Maar het probleem is dat het brein van de bibliothecaris de gedetailleerde recepten en afbeeldingen van het kookboek nog steeds bevat, diep van binnen. Als je de juiste vragen stelt, kunnen ze die vergeten details per ongeluk onthullen. Dit is als proberen een boek te verbergen door er een "Niet Lezen"-bord op te plakken, terwijl het boek open op de plank ligt.

Het artikel "POUR" stelt een slimmere, meer chirurgische oplossing voor. Het verandert niet alleen de antwoorden van de bibliothecaris; het reorganiseert daadwerkelijk de mentale kaart van de bibliotheek van de bibliothecaris om het gedeelte met het kookboek fysiek te verwijderen, terwijl de rest van de bibliotheek perfect georganiseerd blijft.

Hier is hoe ze dit deden, opgesplitst in eenvoudige concepten:

1. De "Perfecte Rangschikking" (Neurale Collaps)

De auteurs merkten op dat wanneer AI-modellen goed worden getraind, de manier waarop ze informatie organiseren niet rommelig is. Het is als een perfect symmetrisch geometrisch vorm. Stel je voor dat alle verschillende soorten boeken (katten, honden, auto's, enz.) worden weergegeven als punten in de ruimte. In een goed getraind model rangschikken deze punten zich als de hoekpunten van een perfecte, symmetrische piramide (wiskundig een Simplex Equiangular Tight Frame genoemd). Elke categorie is even ver verwijderd van elke andere categorie, waardoor een perfect gebalanceerde structuur ontstaat.

2. De "Chirurgische Snede" (De POUR-methode)

De kernidee van POUR is om deze perfecte geometrie te gebruiken om een "chirurgische snede" uit te voeren.

Het Probleem: Als je gewoon de "kookboek"-hoek van de piramide verwijdert, kunnen de overige hoekpunten instorten of rommelig worden, waardoor het vermogen van de bibliothecaris om tussen de andere boeken te onderscheiden, wordt verstoord.
De Oplossing: De auteurs ontdekten een wiskundige truc. Als je deze perfecte piramide hebt en je "projecteert" (of schijnt een licht op) de overige hoekpunten op een vlakke ondergrond die de kookboek-hoek negeert, vormen de overige hoekpunten automatisch een nieuwe, kleinere, maar nog steeds perfect symmetrische piramide.

Denk hierbij aan een 3D-sculptuur van een ster. Als je voorzichtig één punt van de ster afsnijdt en de overgebleven vorm vanuit een specifiek perspectief bekijkt, vormen de overgebleven punten nog steeds een perfecte, gebalanceerde vorm. De auteurs noemen dit POUR (Provably Optimal Unlearning of Representations). Het is "wiskundig bewezen optimaal" omdat wiskunde aantoont dat dit de enige manier is om specifieke informatie te verwijderen terwijl de rest van de structuur perfect intact blijft.

3. Twee Manieren om Het Te Doen

Het artikel biedt twee versies van deze "chirurgische snede":

POUR-P (De Directe Snede): Dit is een eenmalige wiskundige bewerking. Je neemt de bestaande kennis van het model en past direct de projectie toe. Het is als een foto van de bibliotheek te maken en het kookboekgedeelte in één klik digitaal te wissen. Het is snel en vereist geen hertraining.
POUR-D (De Geleide Opruiming): Dit is iets grondiger. Het gebruikt het model van de "Directe Snede" als leraar en traint het oorspronkelijke model om deze nieuwe, schonere versie na te bootsen. Het is alsof de bibliothecaris oefent om door de nieuwe "lens" naar de bibliotheek te kijken om ervoor te zorgen dat ze het kookboek echt vergeten en het later niet per ongeluk weer herinneren.

4. Hoe Weten We Dat Het Werkte? (Het Scorebord)

De auteurs creëerden een nieuwe score genaamd RUS (Representation Unlearning Score).

Oude methoden waren als controleren of de bibliothecaris "Ik weet het niet" zegt als er iets over het kookboek wordt gevraagd. Maar de bibliothecaris denkt misschien nog steeds na over de recepten.
De methode van POUR controleert de hersenstructuur van de bibliothecaris. Het verifieert dat de mentale "kaart" van het kookboek volledig is gewist, terwijl de kaarten voor katten, honden en auto's scherp en duidelijk blijven.

De Resultaten

Het team testte dit op verschillende datasets (zoals afbeeldingen van dieren en medische scans). Ze ontdekten dat:

Totale Uitwissing: Het model vergat de doelcategorie volledig. Als er naar werd gevraagd, raadde het model niet alleen; het interne "signaal" voor die categorie verdween volledig.
Perfecte Behoud: Het model raakte niet in de war over de andere categorieën. Het onthield ze net zo goed als daarvoor, of zelfs beter, omdat het "ruis" van de vergeten categorie was verwijderd.
Beter Dan De Rest: In vergelijking met andere methoden die alleen de uiteindelijke antwoorden aanpassen, ruimde POUR daadwerkelijk het interne geheugen op, waardoor het veel moeilijker werd voor iemand om de vergeten informatie te "reverse engineeren".

Samenvatting

Kortom, POUR is een methode die machine-unlearning niet behandelt als een spelletje "fout gokken", maar als een geometrische chirurgie. Door te begrijpen dat AI-modellen data organiseren in perfecte, symmetrische vormen, vonden de auteurs een manier om een specifiek stukje kennis chirurgisch te verwijderen, terwijl ervoor wordt gezorgd dat de rest van de structuur perfect gebalanceerd en functioneel blijft. Het is het verschil tussen een student vertellen dat ze moeten "doen alsof ze het antwoord niet weten" versus het hoofdstuk daadwerkelijk uit hun leerboek verwijderen, zodat ze het onmogelijk kunnen onthouden.

1. Probleemdefinitie

Machine Unlearning (machine-ontleren) heeft tot doel de invloed van specifieke trainingsdata (bijvoorbeeld een specifieke klasse of subset) uit een getraind model te verwijderen zonder het model vanaf nul opnieuw te trainen. Dit is cruciaal voor naleving van regelgeving (bijvoorbeeld het "recht om vergeten te worden" van de AVG) en voor veiligheid in gevoelige domeinen.

De Kernuitdaging:
Bestaande methoden richten zich voornamelijk op zwak ontleren (weak unlearning), waarbij wordt gegarandeerd dat de uiteindelijke voorspellingssannemelijkheden (logits) van het ontleerde model niet te onderscheiden zijn van die van een opnieuw getraind model. Echter, recente studies geven aan dat deze methoden vaak interne feature-representaties intact laten. Bijgevolg kan vergeten informatie alsnog worden hersteld via lineaire probing of feature-inversie, wat leidt tot privacylekken. Er ontbreekt een methode die vergeten garandeert op het representatieniveau (binnen de feature-extractor), terwijl de geometrische structuur die nodig is voor de overige klassen behouden blijft.

2. Methodologie: POUR

De auteurs stellen POUR (Provably Optimal Unlearning of Representations) voor, een geometrische projectiemethode die is gebaseerd op de theorie van Neural Collapse (NC).

A. Theoretische Grondslag: Neural Collapse & ETF

De methode steunt op de observatie dat diepe classifiers die zijn getraind met cross-entropy-verlies convergeren naar een Neural Collapse-toestand, waarbij:

Klasseneigenschappen (class features) instorten tot hun klassenmiddelpunten.
Klassennmiddelpunten een Simplex Equiangular Tight Frame (ETF) vormen: een verzameling vectoren die maximaal gescheiden en symmetrisch zijn gerangschikt in de feature-ruimte.
Classificatieweegs aligneren met deze klassenmiddelpunten.

De auteurs stellen twee kritieke theoretische eigenschappen vast:

Bayes-Optimaliteit: De Simplex ETF-geometrie is niet slechts een trainingsartefact, maar een voldoende voorwaarde voor Bayes-optimaliteit bij gebalanceerde classificatie onder isotrope Gaussische aannames.
Projectie-invariantie: De orthogonale projectie van een Simplex ETF (waarbij één hoekpunt wordt verwijderd) op het orthogonale complement van dat hoekpunt levert een kleinere Simplex ETF op. Dit betekent dat het verwijderen van een klasse via projectie de optimale geometrische scheiding van de overige klassen behoudt.

B. Het POUR-algoritme

POUR biedt twee varianten om ontleren op representatieniveau te bereiken:

POUR-P (Gesloten-formule Projectie):
- Mechanisme: Past een orthogonale projectie-operator $P = I - \frac{w_u w_u^\top}{\|w_u\|^2}$ direct toe op de feature-ruimte (penultimate laag), waarbij $w_u$ de weegvector is van de te vergeten klasse.
- Effect: Dit projecteert de features van de te vergeten klasse naar de oorsprong (zet ze op nul) terwijl het de features van behouden klassen afbeeldt op een lager-dimensionale deelruimte die de Simplex ETF-structuur behoudt.
- Voordeel: Direct, vereist geen hertraining en wiskundig bewezen optimaal.
POUR-D (Projectie-gestuurde Distillatie):
- Mechanisme: Gebruikt het geprojecteerde model (POUR-P) als "leraar". Een studentmodel (feature-extractor) wordt fijngefineerd (fine-tuned) uitsluitend op de forget set om de $L_2$ -afstand tussen zijn features en de geprojecteerde leraar-features te minimaliseren.
- Effect: Verspreidt het vergeten dieper in de feature-extractor, waardoor de interne representaties aligneren met de optimale ETF-geometrie van de behouden klassen.

C. Nieuwe Metriek: Representation Unlearning Score (RUS)

Om ontleren verder dan logits te evalueren, introduceren de auteurs RUS, dat de afweging kwantificeert tussen:

Vergeten-effectiviteit: Hoe dicht de features van het ontleerde model bij die van het opnieuw getrainde model liggen op de forget set.
Behoudstrouw: Hoe goed het ontleerde model features voor de retain set behoudt.
Klassescheiding: Hoe goed de behouden klassen gescheiden blijven.
RUS maakt gebruik van Centered Kernel Alignment (CKA) om representatiegelijkenis te meten, waardoor het robuust is tegen willekeurige initialisatie en rotatie.

3. Belangrijkste Bijdragen

Reformulering op Representatieniveau: Verplaatst het paradigma van ontleren van output-logits naar interne feature-verdelingen, en definieert "Representation-Level Weak Unlearning".
Theoretische Garanties: Bewijst dat orthogonale projectie van een Simplex ETF de ETF-structuur behoudt, en biedt zo een wiskundig bewezen optimaal vergeten-operator die Bayes-optimaliteit voor behouden klassen handhaaft.
RUS-metriek: Introduceert een principiële metriek om vergeten en behoud op representatieniveau te kwantificeren, waarmee de beperkingen van bestaande evaluatieprotocollen worden aangepakt.
POUR-algoritme: Stelt een gesloten-formule-methode (POUR-P) en een op distillatie gebaseerde methode (POUR-D) voor die state-of-the-art baselines overtreffen.

4. Experimentele Resultaten

De auteurs hebben POUR geëvalueerd op CIFAR-10, CIFAR-100 en PathMNIST (medische beeldvorming), en dit vergeleken met baselines zoals Gradient Ascent, Boundary Shrink, DELETE en Fine-tuning.

Classificatiemetrieken: POUR bereikt bijna perfect vergeten (nauwkeurigheid op forget set $\approx 0$ ) terwijl het een hoge nauwkeurigheid behoudt op behouden klassen, en presteert vaak beter dan methoden die toegang tot de retain set vereisen.
Representatiemetrieken (RUS & CKA): POUR presteert aanzienlijk beter dan alle baselines op RUS-scores. Terwijl andere methoden (zoals Gradient Ascent) de geometrie van behouden klassen verstoren, behoudt POUR de ETF-structuur, wat resulteert in feature-verdelingen die niet te onderscheiden zijn van een opnieuw getraind model.
Domeinverschuiving (PathMNIST): In een setting met domeinverschuiving (interne versus externe testsets) toonde POUR robuuste generalisatie, terwijl methoden zoals "Random Label" faalden in generalisatie. Dit suggereert dat ze de forget set slechts "maskeren" in plaats van kennis te wissen.
Cross-modaal & Segmentatie: De methode is succesvol uitgebreid naar CLIP (tekst-naar-afbeelding ontleren) en Semantische Segmentatie (VOC2012), wat de generaliteit ervan aantoont buiten standaard classificatie.

5. Betekenis

Privacy & Beveiliging: Door te garanderen dat vergeten plaatsvindt op representatieniveau, vermindert POUR het risico op informatielekken via feature-inversie, een kritieke kwetsbaarheid in huidige ontleringsmethoden.
Theoretisch Inzicht: Het overbrugt de kloof tussen Neural Collapse-theorie en praktisch ontleren, en toont aan dat de geometrische structuur van diepe netwerken wiskundig kan worden gemanipuleerd om optimaal vergeten te bereiken zonder hertraining.
Efficiëntie: Het gesloten-formule-karakter van POUR-P maakt direct ontleren mogelijk, wat het zeer schaalbaar maakt voor grote foundation-modellen waar hertraining onhaalbaar is.

Kortom, POUR biedt een geometrisch principiële, theoretisch optimale en empirisch superieure framework voor machine unlearning, waarbij wordt gegarandeerd dat modellen specifieke concepten echt "vergeten" terwijl ze hun nut voor andere taken behouden.