Technische Samenvatting: Exact Vergeten via Proxies Leidt tot Nauwkeurigheidsgaranties voor Benaderend Vergeten

Probleemstelling

Machine vergeten (machine unlearning) heeft tot doel de invloed van specifieke trainingsdata (de "vergetelset", $D_f$) te verwijderen uit een getrainde classifier zonder het model vanaf nul opnieuw te trainen op de overgebleven data (de "behoudset", $D_r$). Hoewel exact vergeten de gouden standaard is, is dit voor grote diepe netwerken vaak computationeel onhaalbaar. Huidige benaderende methoden, die voornamelijk gebaseerd zijn op eerste-orde gradiëntupdates (bijvoorbeeld gradiëntascentie op de vergetelset), lijden onder verschillende beperkingen:

1. Gebrek aan Interpretatie: Ze vertrouwen op optimalisatetrajecten die geen gesloten-vorm karakterisering bieden van de resulterende voorspellende verschuiving in termen van data-distributies.
2. Instabiliteit: Iteratieve updates missen vaak duidelijke stopcriteria, wat leidt tot over-vergeten of catastrofaal vergeten.
3. Evaluatiekloven: Prestaties worden frequent beoordeeld aan de hand van lidmaatschapsinference-aanvallen (MIAs) of nauwkeurigheidsmetrieken, die mogelijk de statistische afstand tot het ideaal opnieuw getrainde model niet nauwkeurig weerspiegelen.
4. Sub-optimaliteit: Bestaande theoretische grenzen hangen vaak af van eigenschappen van neurale netwerken (bijvoorbeeld Hessiaan-benaderingen) in plaats van van de kwaliteit van de onderliggende modellen voor data-distributies.

Methodologie

Het artikel stelt een paradigma-verschuiving voor: in plaats van netwerkgewichten direct via gradiënten bij te werken, modelleren de auteurs het exacte vergetenssignaal als een verschuiving in de logit-ruimte, afgeleid uit expliciete wiskundige modellen van de data-distributies.

1. Het Vergetenssignaal als Logit-verschuiving

Het kernidee is om het vergetendoel niet te definiëren via een optimalisatepad, maar via het verschil tussen de posterior-distributies van de behoudset en de oorspronkelijke dataset.

• Laat $P$ de ware distributie zijn van de oorspronkelijke data en $P_r$ de ware distributie van de behoudset.
• De auteurs introduceren parametrische proxies ($\bar{P}$ en $\bar{P}_r$) om de klasse-voorwaardelijke distributies $P(X|Y)$ en $P_r(X|Y)$ te modelleren.
• Deze proxies induceren posterior-distributies en bijbehorende logit-vector $M(x)$ en $M_r(x)$.
• Het vergetenssignaal wordt gedefinieerd als de verschuiving $\Delta M(x) = M_r(x) - M(x)$.
• De logits van het vergeten model worden geconstrueerd als een lineaire combinatie: $\tilde{f}_\eta(x) = f_\theta(x) + \eta \Delta M(x)$, waarbij $\eta$ een schalingsfactor is.

2. Theoretisch Kader en Garanties

Het artikel stelt theoretische grenzen vast voor de Kullback-Leibler (KL)-divergentie tussen het vergeten model en het ideaal opnieuw getrainde model ($P_r$).

• Toelaatbaarheidscriterium: Een paar proxies is "toelaatbaar" als de initiële proxy $\bar{P}$ een betere benadering is van de ware distributie $P$ dan de behoud-proxy $\bar{P}_r$ dat is van $P_r$. Dit is een verifieerbare voorwaarde.
• Veiligheidsregime ($\eta_{max}$): De auteurs bewijzen het bestaan van een maximale schalingsfactor $\eta_{max}$ zodat voor elke $\eta \in [0, \eta_{max}]$ het vergetenproces de KL-divergentie naar het ideale model strikt verlaagt, mits het toelaatbaarheidscriterium geldt.
• Grenzen: Propositie 1 biedt een strakke grens voor de KL-divergentie, waarbij wordt aangetoond dat de fout afhangt van de initiële divergentie en de "modelleringsschuiving" (het verschil in hoe goed de proxies hun respectievelijke doelen modelleren). Propositie 2 biedt een intuïtieve grens die de fout koppelt aan de kwaliteit van de klasse-voorwaardelijke modellering.

3. Constructie van Proxies

Het artikel onderzoekt verschillende families van proxies om de data-structuur te benaderen:

• Naive Modellen: Standaard LDA (Lineaire Discriminantanalyse) en QDA (Kwadratische Discriminantanalyse) die de hele dataset behandelen als één enkele distributie per klasse.
• Mengmodellen (LDA-Mix, QDA-Mix): Het modelleren van de oorspronkelijke distributie als een mengsel van behoud- en vergetel-subpopulaties binnen elke klasse.
• Labelverdubbeling (LDA-2C, DIR-2C): Een nieuwe aanpak waarbij het labelruimte wordt verdubbeld naar $(y, s)$, waarbij $s \in \{behoud, vergeten\}$. Dit stelt het model in staat om intrinsiek de overlap tussen behoud- en vergeteldistributies te vangen en de waarschijnlijkheid te schatten dat een steekproef tot de vergetelset behoort.
  • DIR-2C: Gebruikt empirische Dirac-distributies op de verdubbelde labelruimte. Hoewel de directe toepassing agressief is, dient het als een krachtige "leraar" voor de distillatiestap.

4. Implementatie via Distillatie

De geconstrueerde logit-verschuiving $\eta_{max} \Delta M(x)$ wordt geïmplementeerd in het neurale netwerk via Kennisdistillatie. Het oorspronkelijke netwerk $f_\theta$ fungeert als student, getraind om de KL-divergentie tussen zijn output en de doellits $\tilde{f}_{\eta_{max}}$ te minimaliseren. Deze stap vertaalt de gesloten-vorm distributiecorrectie naar netwerkparameters.

Belangrijkste Bijdragen

1. Exact Vergetenssignaal via Proxies: Het artikel introduceert een gesloten-vorm, interpreteerbaar vergetenssignaal afgeleid van expliciete wiskundige modellen van data-distributies, in plaats van gradiënttrajecten.
2. Theoretische Garanties: Het biedt verifieerbare toelaatbaarheidscriteria en strakke theoretische grenzen voor de KL-divergentie tot het ideaal opnieuw getrainde model, waarbij de prestaties van het vergeten direct worden gekoppeld aan de kwaliteit van de data-proxies.
3. Gefragmenteerde Proxies: Het stelt specifieke modelleringstechnieken voor (Mengmodellen en Labelverdubbeling) die lidmaatschapsafhankelijkheden leren uit de data-structuur. Opmerkelijk zijn LDA-2C en DIR-2C effectieve methoden gebleken voor het vangen van intra-klasse-structuur.
4. Stein-grens voor Evaluatie: Het artikel stelt voor om de KL-divergentie te gebruiken om een "Stein-grens" af te leiden voor het aantal queries dat een aanvaller nodig heeft om het vergeten model te onderscheiden van het opnieuw getrainde model, wat een stabielere en interpreteerbaarder alternatief biedt voor empirische Lidmaatschapsinference-aanvallen.

Experimentele Resultaten

De methode werd geëvalueerd op CIFAR-10 en CIFAR-100 in drie scenario's voor vergeten:

• Willekeurig: Willekeurige steekproeven vergeten.
• Klasse: Een hele klasse vergeten.
• Subklasse: Een subset van een klasse vergeten (bijvoorbeeld "vliegtuigen" binnen "voertuigen"), wat wordt aangemerkt als het meest uitdagende en realistische scenario waar gradiëntascentie-baselines vaak falen.

Vondsten:

• Nabijheid tot Ideaal: De voorgestelde methoden (specifiek LDA-2C en DIR-2C) produceerden consequent vergeten modellen die het dichtst bij het ideaal opnieuw getrainde model ($p_{\theta_r}$) lagen in termen van KL-divergentie ($KL_t$ en $KL_f$), en presteerden beter dan state-of-the-art baselines zoals SCRUB, SalUn en GA+FT.
• Stabiliteit: In tegenstelling tot iteratieve baselines die onstabiele trajecten of catastrofaal vergeten toonden (bijvoorbeeld SalUn dat de nauwkeurigheid voor vergeten items tot bijna nul verlaagde), convergeerde de voorgestelde methode snel en stabiel.
• Efficiëntie: De methoden behaalden deze resultaten met een runtime-efficiëntie (RTE) van ongeveer 5% van de tijd die nodig is voor volledige hertraining.
• Effectiviteit van Proxies: De "Labelverdubbeling"-proxies (LDA-2C, DIR-2C) presteerden over het algemeen beter dan standaard mengmodellen, met name in het Subklasse-scenario, door de distributie-overlap tussen behoud- en vergetelsets beter te vangen.

Betekenis en Beweringen

Het artikel beweert dat zijn kader een paradigma-verschuiving biedt door machine vergeten te verankeren in de structuur van data-distributies in plaats van in updates van neurale netwerkparameters.

• Klankbaarheid: De theoretische grenzen tonen aan dat als de proxies voldoende nauwkeurig zijn (verifieerbaar via het toelaatbaarheidscriterium), het vergetenproces gegarandeerd het model dichter bij de ideaal opnieuw getrainde staat brengt.
• Interpretatie: De methode biedt een gesloten-vorm decompositie van de vergetenfout, wat weg beweegt van het "black box"-karakter van iteratieve gradiëntupdates.
• Praktijktoepasbaarheid: Door distillatie te gebruiken, kan de methode worden toegepast op black-box netwerken die logits outputteren, waardoor het veelzijdig is.
• Beperkingen: De auteurs erkennen bescheiden beperkingen, waaronder de aanname dat de behoudset $D_r$ beschikbaar is om de proxy $P_r$ te fitten, potentiële slecht-geconditioneerde situaties in hoogdimensionale kenmerkruimtes (gemitigeerd door dimensiereductie), en het feit dat het toelaatbaarheidscriterium empirisch wordt gecontroleerd op het initiële model in plaats van op de ware distributie.

Kortom, het artikel betoogt dat door de data-distributie expliciet te modelleren, men een exact vergetenssignaal kan afleiden dat, wanneer het in een netwerk wordt gedistilleerd, een model oplevert dat statistisch niet te onderscheiden is van een model dat vanaf nul opnieuw is getraind, met bewezen garanties en superieure empirische prestaties.