Towards Certified Unlearning for Deep Neural Networks

Probleemstelling

In het veld van machine learning is de "right to be forgotten" (recht op vergetelheid), gesteund door wetgeving zoals de GDPR en CCPA, een cruciale vereiste geworden. Dit betekent dat gebruikers kunnen vragen om hun data uit een getraind model te verwijderen.

• Huidige uitdaging: De meest strikte vorm van machine unlearning is het opnieuw trainen van het model vanaf nul (retraining) zonder de te verwijderen data. Hoewel dit theoretisch perfect is, is het computatiekundig te duur voor grote datasets en complexe modellen.
• Specifiek voor DNN's: Bestaande methoden voor "gecertificeerd unlearning" (waarbij wiskundig bewezen wordt dat het verwijderde model statistisch ononderscheidbaar is van een hergetraind model) zijn voornamelijk ontwikkeld voor convexe modellen (zoals lineaire regressie). Deep Neural Networks (DNN's) zijn echter niet-convex, wat de toepassing van deze theoretische garanties onmogelijk maakt met bestaande technieken. Bestaande benaderingen voor DNN's missen vaak theoretische certificering of maken onrealistische aannames over convexiteit.

Methodologie

De auteurs stellen een raamwerk voor om gecertificeerd unlearning toe te passen op niet-convexe doelfuncties (DNN's) zonder de theoretische garanties te verliezen. De aanpak is gebaseerd op twee hoofdstappen: het schatten van het hergetrainde model en het toevoegen van ruis om de certificering te waarborgen.

1. Schatting van het hergetrainde model (Newton-update aanpassing)
In plaats van het model volledig opnieuw te trainen, gebruiken de auteurs een aangepaste Newton-update om de parameters van het hergetrainde model ($\tilde{w}^*$) te benaderen op basis van het originele model ($w^*$):

• Niet-convexe aanpassing: Voor niet-convexe functies kan de Hessiaan-matrix (tweede afgeleide) singulair zijn of negatieve eigenwaarden hebben. De auteurs introduceren lokale convexe approximatie door een $\ell_2$-regularisatieterm ($\lambda$) toe te voegen aan de Hessiaan. Dit maakt de lokale doelfunctie sterk convex.
• Beperking van parameters: Om de afstand tussen het originele en het hergetrainde model te begrenzen, wordt een constraint opgelegd op de norm van de parameters ($\|w\|_2 \leq C$). Dit wordt opgelost met Projected Gradient Descent tijdens het oorspronkelijke trainen.
• Efficiëntie (Inverse Hessiaan): Het berekenen van de inverse Hessiaan is voor DNN's te duur ($O(p^3)$). De auteurs gebruiken de LiSSA-algoritme (Linear-time Stochastic Second-order Approximation) om de inverse Hessiaan te schatten via Hessiaan-vector producten, wat de complexiteit verlaagt tot $O(sp^2)$.
• Gradiënt-benadering: In plaats van de gradiënt over de volledige dataset te berekenen, wordt deze benaderd door alleen de gradiënt over de te verwijderen data ($D_u$) te gebruiken, aangezien de gradiënt over de totale dataset nul is (bij een optimaal punt).

2. Toevoegen van ruis voor certificering
Volgens Theorem 2.3 (gebaseerd op Differentiële Privacy) wordt een ruisvariabele $Y \sim \mathcal{N}(0, \sigma^2 I)$ toegevoegd aan de geschatte parameters. De grootte van de ruis ($\sigma$) wordt bepaald door de bovengrens van de benaderingsfout ($\Delta$). Als de fout begrensd is, is het resultaat een $\epsilon-\delta$ gecertificeerd unlearning-proces.

3. Praktische scenario's
De methode wordt uitgebreid naar twee complexe situaties:

• Niet-convergentie training: In de praktijk stoppen DNN's vaak voordat ze een exact minimum bereiken (bijv. door early stopping). De auteurs passen de foutgrenzen aan rekening houdend met de resterende gradiëntnorm.
• Sequentieel unlearning: Wanneer gebruikers op verschillende tijdstippen verzoeken om verwijdering, wordt het proces iteratief toegepast op het reeds "ongeleerde" model. De auteurs bewijzen dat de foutgrenzen ook hier geldig blijven.

Kernbijdragen

1. Uitbreiding naar niet-convexe modellen: Het is de eerste studie die gecertificeerd unlearning succesvol toepast op Deep Neural Networks zonder de aannames van convexiteit te maken, door gebruik te maken van lokale convexe approximatie en parameterbeperkingen.
2. Efficiëntie zonder compromissen: Door LiSSA en gradiënt-benadering wordt de berekeningstijd drastisch verlaagd, terwijl de theoretische garanties (de foutgrens) behouden blijven.
3. Theoretische uitbreiding: De auteurs bieden theoretische garanties voor realistische scenario's zoals niet-convergente training en sequentieel unlearning, wat vaak wordt genegeerd in eerdere werken.
4. Robustheid: De methode is robuust tegen opeenvolgende verwijderingsverzoeken, waarbij de foutgrens niet explodeert naarmate meer data wordt verwijderd.

Resultaten

De auteurs hebben hun methode getest op drie real-world datasets (MNIST, CIFAR-10, SVHN) met verschillende architecturen (MLP, All-CNN, ResNet18) en vergeleken met baselines zoals "Fine-tuning", "Negative Gradient", "Fisher Forgetting" en "L-CODEC".

• Unlearning Performance: De methode presteert het dichtst bij het volledig hergetrainde model (de "gouden standaard") op de verwijderde dataset ($D_u$), terwijl de prestaties op de behouden dataset ($D_r$) en de testset ($D_t$) behouden blijven.
• Privacy: Meten zoals Membership Inference Attacks tonen aan dat de methode effectiever is in het verwijderen van informatie over de verwijderde samples dan andere baselines. De aanvalssuccespercentages zijn lager dan bij andere methoden.
• Efficiëntie: De methode is meer dan 10 keer sneller dan het volledig opnieuw trainen van het model, maar significant effectiever dan snellere methoden zoals "Negative Gradient" die vaak de privacy van de verwijderde data niet goed genoeg beschermen.
• Ablatie studies: Experimenten bevestigen dat zowel de lokale convexe approximatie (via $\lambda$) als de parameterbeperking (via $C$) essentieel zijn om de benaderingsfout te verkleinen.

Betekenis en Impact

Dit werk is een belangrijke stap in de richting van praktische, wettelijk conforme machine learning. Het lost het fundamentele probleem op dat gecertificeerd unlearning tot nu toe beperkt was tot simpele, convexe modellen.

• Praktische toepasbaarheid: Het maakt het mogelijk voor bedrijven om aan de GDPR te voldoen door data uit complexe DNN's te verwijderen zonder de enorme kosten van hertraining.
• Theoretische strengheid: Het biedt een strenge wiskundige garantie dat het verwijderde model niet te onderscheiden is van een hergetraind model, zelfs in niet-ideale trainingsomstandigheden.
• Toekomst: Het opent de deur voor verder onderzoek naar het versterken van deze garanties en het verlagen van de benodigde ruis (en dus het behoud van modelkwaliteit) in niet-convexe settings.