Verification of Machine Unlearning is Fragile

1. Probleemstelling

Met de opkomst van privacywetgeving zoals de GDPR en CCPA, hebben gebruikers het recht om hun persoonlijke data te laten verwijderen uit getrainde machine learning-modellen (een proces dat Machine Unlearning of MUL wordt genoemd). Om transparantie te garanderen en oneerlijkheid van modelproviders te voorkomen, zijn er verificatiestrategieën ontwikkeld. Deze strategieën moeten bewijzen dat de data daadwerkelijk is verwijderd en dat het model zich gedraagt alsof het deze data nooit heeft gezien.

De auteurs van dit artikel identificeren een kritieke zwakheid in de huidige staat van het vakgebied:

• Data-eigenaren kunnen het unlearning-proces niet direct monitoren en moeten vertrouwen op de modelprovider.
• Modelproviders hebben een prikkel om te bedriegen: ze willen de rekenkosten en het verlies aan modelprestaties vermijden die gepaard gaan met het volledig hertrainen van een model (exact unlearning).
• De centrale onderzoeksvraag is: Kunnen modelproviders huidige verificatiestrategieën omzeilen terwijl ze de informatie van de "verwijderde" data toch in het model behouden?

Het antwoord van de auteurs is pessimistisch: Ja, de verificatie van machine unlearning is breekbaar.

2. Methodologie

De auteurs introduceren twee nieuwe adversariële unlearning-processen die specifiek zijn ontworpen om twee hoofdtypen van verificatiestrategieën te misleiden:

A. Categorisatie van Verificatie

De auteurs verdelen bestaande verificatiemethoden in twee categorieën:

1. Backdoor-verificatie: Data-eigenaren injecteren "vergiftigde" data (backdoors) in de trainingsset. Als het model de data eerlijk verwijdert, zou het de backdoor niet meer herkennen.
2. Reproductie-verificatie (Reproducing Verification): De provider moet een Proof of Retraining (PoRT) leveren. Dit is een gedetailleerd logboek van elke stap in het hertrainingsproces (parameters, gebruikte data-batches en update-functies), zodat een derde partij het proces kan reproduceren om te verifiëren dat de verwijderde data niet is gebruikt.

B. Adversariële Methode 1: Retraining-based (Op basis van hertraining)

Deze methode is ontworpen om zowel backdoor- als reproductie-verificatie te omzeilen, zelfs met een strikte drempel van 0 fouten.

• Principe: In plaats van de data volledig te verwijderen en het model opnieuw te trainen op de resterende data, selecteert de provider tijdens het hertrainingsproces mini-batches uit de bewaarde data ($D \setminus D_u$) die een gradient (richting van update) genereren die zo dicht mogelijk bij die van de te verwijderen data ($D_u$) ligt.
• Techniek:
  • Als een batch geen te verwijderen data bevat, wordt deze direct gebruikt.
  • Als een batch te verwijderen data bevat, worden deze specifieke voorbeelden vervangen door hun naaste buren (nearest neighbors) uit de resterende dataset (binnen dezelfde klasse).
  • Door deze vervangingen te kiezen, blijft de update van het model statistisch vergelijkbaar met het geval dat de originele data wel was gebruikt. Het model "leert" dus indirect nog steeds van de verwijderde data, maar de PoRT toont alleen de vervangende data, waardoor de verificatie slaagt.
• Resultaat: Het model behoudt de informatie van de verwijderde data (hoge nuttigheid) maar voldoet strikt aan de reproductie-eisen.

C. Adversariële Methode 2: Forging-based (Op basis van vervalsing)

Deze methode is computatie-efficiënter maar minder krachtig; deze werkt alleen bij reproductie-verificatie met een kleine toelaatbare foutmarge ($\epsilon > 0$).

• Principe: In plaats van het model opnieuw te trainen, wordt het bestaande Proof of Training (PoT) van de originele training gemanipuleerd om een vals Proof of Retraining (PoRT) te genereren.
• Techniek:
  • Voor batches zonder te verwijderen data worden de modelparameters licht aangepast (met een kleine stap) om te voorkomen dat de verifier merkt dat de parameters identiek zijn aan die van de originele training.
  • Voor batches met te verwijderen data worden de data-punten vervangen door vervangende batches (zoals bij Methode 1), en de parameters worden bijgewerkt om de gradient van de vervanging te simuleren.
  • Dit proces kan parallel worden uitgevoerd, wat het zeer snel maakt.
• Resultaat: De provider bespaart aanzienlijk op rekentijd en behoudt de modelnuttigheid, maar de methode is kwetsbaarder voor strikte backdoor-verificatie.

3. Belangrijkste Bijdragen

1. Ontdekking van kwetsbaarheid: Het bewijs dat huidige verificatiestrategieën voor machine unlearning fundamenteel kwetsbaar zijn voor oneerlijke providers.
2. Twee nieuwe adversariële methoden: De ontwikkeling van een "retraining-based" methode (die perfect verifieerbaar is maar data behoudt) en een "forging-based" methode (die extreem efficiënt is).
3. Theoretische garanties: Wiskundige bewijzen dat deze methoden voldoen aan de voorwaarden van een geldig PoRT (reproduceerbaar en verwijderbaar) en dat ze de modelnuttigheid behouden.
4. Empirische validatie: Uitgebreide experimenten op real-world datasets (MNIST, CIFAR-10, SVHN) die aantonen dat de methoden succesvol zijn.

4. Resultaten

De experimenten bevestigen de theorie:

• Verificatie-omzeiling:
  • De retraining-based methode haalt een verificatiefout van 0 en wordt door de verifier geaccepteerd als eerlijk unlearning. De kans dat een backdoor-test faalt (Type II-fout) is bijna 100% (d.w.z. de verifier denkt dat de data weg is, terwijl dat niet zo is).
  • De forging-based methode voldoet aan verificaties met een kleine foutmarge ($\epsilon \approx 10^{-3}$) en is veel sneller dan naief hertrainen.
• Modelnuttigheid: De adversariële modellen behouden een prestatieniveau dat dicht bij het originele model ligt (en vaak beter dan naief hertrainen, vooral bij onbalans in de data). Dit betekent dat de provider de voordelen van de data behoudt zonder de kosten van unlearning te betalen.
• Efficiëntie: De forging-methode is aanzienlijk sneller dan naief hertrainen, wat de prikkel voor providers om te bedriegen versterkt.

5. Betekenis en Conclusie

Dit artikel plaatst een ernstige waarschuwing voor de huidige staat van machine unlearning. Het toont aan dat verificatie op zich niet voldoende is om de integriteit van het unlearning-proces te garanderen als de provider een adversariële strategie kan toepassen.

• Gevolgen: Data-eigenaren kunnen niet blindelings vertrouwen op PoRT's of backdoor-tests. Een provider kan technisch gezien "verifieerbaar" unlearning leveren terwijl het model de privacygevoelige data effectief onthoudt.
• Toekomstige richting: Er is behoefte aan nieuwe, robuustere verificatiemethoden die niet alleen kijken naar de logboeken van het trainingsproces, maar ook de inhoud van het model kunnen verifiëren zonder dat de provider de kans krijgt om de gradients te manipuleren via vervangende data. De auteurs suggereren dat verificatie voor approximate unlearning (benaderend unlearning) een veelbelovend maar nog onontgonnen gebied is om deze kwetsbaarheden aan te pakken.

Kortom: Zolang de verificatie alleen afhankelijk is van de reproduceerbaarheid van trainingsstappen en niet van de daadwerkelijke afwezigheid van data-informatie in het model, blijft machine unlearning veilig kwetsbaar voor manipulatie.