Technische Samenvatting: Representatievergeten: Vergeten door Informatiecompressie

Probleemdefinitie

Moderne machine learning-systemen staan onder toenemende regelgevende en ethische druk om op verzoek de invloed van specifieke trainingsdata (de "vergetelset", $D_f$) te verwijderen, een vereiste die is verankerd in kaders zoals de AVG en CCPA. Het eenvoudig verwijderen van ruwe data is onvoldoende, omdat diepe netwerken trainingsvoorbeelden vaak memoriseren en statistische sporen behouden in hun parameters.

Bestaande benaderingen voor machine unlearning nemen doorgaans een parametergerichte perspectief, waarbij ze proberen modelgewichten ($\theta$) te wijzigen om een model te benaderen dat uitsluitend is getraind op de "behoudset" ($D_r$). Deze methoden lopen echter tegen aanzienlijke beperkingen aan:

1. Schaalbaarheid: Ze hebben moeite om de bruikbaarheid van het model te behouden bij grootschalige architecturen en complexe datasets.
2. Rekenkosten: Veel methoden vereisen dure tweede-orde informatie of meerdere terugwaartse passes, waardoor het efficiëntieverschil met naïef hertrainen kleiner wordt.
3. Instabiliteit: Het wijzigen van de volledige parameterruimte kan leiden tot zware GPU-belasting en onstabiele updates.
4. Beperkingen in Data-toegang: Veel methoden impliceren toegang tot zowel $D_r$ als $D_f$, terwijl realistische scenario's vaak de toegang tot $D_r$ beperken vanwege privacy- of opslagbeperkingen (de "zero-shot" setting).

Methodologie: Representatievergeten

De auteurs stellen Representatievergeten voor, een kader dat de unlearning-operatie verschuift van de hoogdimensionale parameterruimte naar de lagerdimensionale representatieruimte ($Z$). In plaats van netwerkgewichten opnieuw te optimaliseren, leert de methode een lichtgewicht transformatie $f_\phi$ die originele representaties $Z$ afbeeldt op nieuwe representaties $Z'$.

Kerndoel: Informatiefles

De transformatie $f_\phi$ wordt getraind om een informatiefles af te dwingen met twee concurrerende doelen:

1. Behoud: maximaliseren van de wederzijdse informatie tussen de getransformeerde representatie $Z'$ en de behouddata $X_r$ (d.w.z. $I(Z'; Z | X_r) \approx 0$, wat betekent dat geen informatie relevant voor $D_r$ wordt weggegooid).
2. Vergeten: onderdrukken van de wederzijdse informatie tussen $Z'$ en de vergeteldata $X_f$ (d.w.z. $I(Z'; X_f) \approx 0$, wat betekent dat $Z'$ statistisch onafhankelijk is van $D_f$).

Variatiele Surrogaten

Omdat wederzijdse informatie direct niet berekenbaar is, leiden de auteurs variatiele bovengrenzen af om optimaliseerbare verliesfuncties te creëren. Ze behandelen twee distincte data-toegangregimes:

1. Standaard Setting (Toegang tot $D_r$ en $D_f$)

• Behoudverlies ($L_r$): Minimaliseert de KL-divergentie tussen de getransformeerde verdeling en de originele encoderverdeling voor behoudstalen. Onder Gaussische aannames vereenvoudigt dit tot een gemiddelde kwadratische fout (MSE) tussen originele en getransformeerde representaties: $\|z_r - f_\phi(z_r)\|_2^2$.
• Vergetelverlies ($L_f$): Minimaliseert de KL-divergentie tussen de getransformeerde vergetelverdeling en de marginale verdeling van de volledige dataset. Dit dwingt vergetelrepresentaties om aggregaatstatistieken te matchen, waardoor ze ononderscheidbaar worden van de algemene populatie.

2. Zero-Shot Setting (Alleen toegang tot $D_f$)

In scenario's waar $D_r$ niet beschikbaar is, vertrouwt het kader op Neurale Ineenstorting (Neural Collapse) en metadata (aantal klassen) om proxies te construeren:

• Behoudproxy: In plaats van $D_r$ te bemonsteren, gebruikt de methode klassencentroïden (afgeleid van classifier-gewichten $w_c$) als proxies voor klassenmiddelpunten. Het behoudverlies straft afwijkingen van getransformeerde klassenprototypen van hun oorspronkelijke posities.
• Vergetelproxy: Het vergetelverlies minimaliseert de gewogen afstand van getransformeerde vergetelstalen tot alle klassenprototypen, waardoor specifieke instantie-informatie effectief "verdrinkt" in de verdeling van de globale labelruimte.

Architectuur

De transformatie $f_\phi$ is beperkt tot een lichtgewicht lineaire kaart of een ondiepe Multi-Layer Perceptron (MLP), gebruikmakend van de "Lineaire Representatiehypothese" die suggereert dat semantische informatie lineair scheidbaar is in diepe lagen.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Introduceert een representatiegerichte unlearning-kader dat de instabiliteit en rekenkundige knelpunten van updates op parameterniveau vermijdt.
2. Zero-Shot Capaciteit: Demonstreert een nieuwe aanpak voor unlearning zonder toegang tot behouddata, waarbij hypothesen over neurale ineenstorting worden gebruikt om het semantische manifold te verankeren.
3. Theoretische Formulering: Leidt hanteerbare variatiele surrogaten af voor informationeel-theoretische doelen, waarbij behoud en vergeten in evenwicht worden gebracht via een regularisatieparameter $\beta$.
4. Efficiëntie: Bereikt unlearning via een lichtgewicht transformatielaag in plaats van volledige modelhertraining of complexe gradiëntmanipulatie.

Experimentele Resultaten

Het kader werd geëvalueerd op CIFAR-10, CIFAR-100 en Tiny ImageNet tegen baselines waaronder SISA, SCRUB, Bad Teacher en diverse zero-shot methoden (Boundary Shrinking, EMMN, GKT).

• Bruikbaarheid en Vergeten: Representatievergeten bereikt bijna perfect vergeten (lage nauwkeurigheid op $D_f$) terwijl het hoge bruikbaarheid behoudt op $D_r$. In de zero-shot setting presteert het aanzienlijk beter dan baselines, die vaak lijden aan catastrofale vergetelheid of volledig falen om te vergeten.
• Rekenkundige Efficiëntie: De methode biedt enorme snelheidswinsten ten opzichte van volledige hertraining. Op Tiny ImageNet bereikt de zero-shot variant een 757$\times$ snelheidswinst ten opzichte van hertraining. Het presteert consistent beter dan alle concurrerende baselines in uitvoeringstijd.
• Ressource-efficiëntie: De aanpak vereist aanzienlijk minder piek-GPU-geheugen (bijv. ~1,9 GB op Tiny ImageNet versus ~8,3 GB voor hertraining), waardoor het geschikt is voor omgevingen met beperkte middelen.
• Robuustheid: De methode blijft stabiel over verschillende datasetcomplexiteiten en unlearning-scenario's (klassen- versus willekeurig vergeten).

Betekenis en Beperkingen

Het artikel positioneert Representatievergeten als een praktische, schaalbare oplossing voor grootschalige unlearning-implementaties. Door de effectiviteit van unlearning te ontkoppelen van hoge hardware-eisen en parameterinstabiliteit, biedt het een superieur stabiliteit-plasticiteit-evenwicht.

Bescheiden Claims en Beperkingen:

• Black-Box Threat Model: De methode werkt als een downstream transformatie. De ruwe encoderparameters blijven ongewijzigd, wat betekent dat de originele representatie $Z$ de vergetelset nog steeds codeert. Het systeem is kwetsbaar voor white-box herstel-aanvallen als de ruwe encoder toegankelijk is; het beveelt de output $Z'$, niet de interne gewichten.
• Inferentie-Overhead: De introductie van de transformatielaag $f_\phi$ voegt een permanente, zij het microseconde-schaal, inferentie-overhead toe.
• Afhankelijkheid van Neuraal Ineenstorten: De zero-shot variant vertrouwt op de hypothese van neurale ineenstorting. Als het vooringestelde model geen sterke ineenstorting vertoont (d.w.z. classifier-gewichten zijn slechte proxies voor klassencentra), degradeert de kwaliteit van de zero-shot unlearning, hoewel de methode op een "vriendelijke" manier afwegingen maakt in behoudsbruikbaarheid in plaats van te falen in het vergeten.

De auteurs suggereren dat toekomstig werk deze verliesfuncties kan toepassen om de volledige encoder fijn te tunen (om de white-box kwetsbaarheid op te lossen) of het kader kan uitbreiden naar Large Language Models (LLM's) voor het vergeten van complexe gedragingen.