RUB: Evaluating Residual Knowledge in Unlearned Models

Technische Samenvatting: RUB: Het evalueren van residuele kennis in ontleerde modellen

Probleemstelling
Machine Unlearning (MUL) is een cruciale mechanisme geworden voor privacybescherming (bijv. naleving van GDPR, CCPA) en regelgeving van inhoud, met als doel de invloed van specifieke gegevens selectief te verwijderen uit getrainde modellen. Hoewel bestaande technieken zich richten op het verifiëren van de uitvoering van unlearning — het waarborgen dat het model zich gedraagt als een model dat vanaf nul is hertraind op de retain-set — negeren ze grotendeels een kritieke beveiligingskloof: robuustheid tegen adversariële herstel. Huidige methoden slagen er vaak niet in om de volledige verwijdering van gevoelige informatie te garanderen, waardoor "residuele kennis" achterblijft die aanvallers kunnen exploiteren. Eerder onderzoek heeft aangetoond dat ontleerde modellen, met name in diffusiemodellen (DM's) en Large Language Models (LLM's), gemanipuleerd kunnen worden via vervaardigde inputs (bijv. adversariële prompts of ruis) om vergeten data opnieuw te laten verschijnen, wat het unlearning-proces effectief tenietdoet. Er is een gebrek aan een verenigd framework om deze kwetsbaarheid systematisch te evalueren over diverse computervisie-taken heen.

Methodologie: Het RUB-framework
Om dit gat te dichten, stellen de auteurs RUB (Robust Unlearning Benchmark) voor, een verenigd framework ontworpen om de robuustheid van unlearning-algoritmen te evalueren tegen post-unlearning adversariële informatie-resurfacing.

1. Kernprincipe (Robuust Unlearning): Het papier definieert "Robuust Unlearning" als een proces waarbij een ontleerd model niet alleen ononderscheidbaar is van een tegenhanger die opnieuw is getraind op de retain-set, maar ook veerkrachtig is tegen adversariële pogingen om vergeten informatie te herstellen. Formeel gezien moet voor elk datapunt $x$ in de forget-set $D_u$ en elke adversariële perturbatie $\delta_x$, het ontleerde model $f_u$ een significante divergentie behouden van de output van het originele model met betrekking tot $x$, zelfs onder aanval.
2. Unlearning Mapping Attack (UMA): De auteurs introduceren UMA als een generaliseerbare, modulaire adversariële probing-tool. UMA wordt gedefinieerd als een aanvalsstrategie die de input van een model wijzigt om de output te laten resulteren in het onthullen of benaderen van informatie die bedoeld was om te worden verwijderd.
   • Formulering: In een white-box setting (uitgaande van volledige toegang tot zowel het originele als het ontleerde model), zoekt UMA naar een optimale perturbatie $\delta_i$ die de afstand minimaliseert tussen de output van het ontleerde model op de geperturbeerde input en de output van het originele model op de originele forget-data: $\arg \min_{\delta_i} D[f_u(\delta_i, \theta_u), f(x_i, \theta)]$.
   • Taakspecifieke instantiatie:
     • Discriminatieve taken: Gebruikt KL-divergentie op logits.
     • Image-to-Image (I2I): Gebruikt Mean Square Error (MSE) voor reconstructie.
     • Text-to-Image (T2I): Maakt gebruik van de ruisniveau-schatting van het diffusieproces, waarbij geoptimaliseerd wordt over diffusiestappen om het doelconcept te herstellen.
3. Benchmark Omvang: RUB evalueert 15 state-of-the-art unlearning-algoritmen over drie verschillende computervisie-taken:
   • Beeldclassificatie: Datasets bevatten CIFAR10, CIFAR100 en Tiny-ImageNet.
   • Image-to-Image Reconstructie: Gebruikt ImageNet-1k met een Masked AutoEncoder (MAE) setup.
   • Text-to-Image Synthese: Evalueert diffusiemodellen op concepten zoals "Church", "Garbage Truck", "Nudity", etc., met behulp van de UnlearnDiffAtk codebase.
4. Evaluatiemetrieken: De benchmark gebruikt taakspecifieke metrieken:
   • Classificatie: Unlearning Accuracy (UA, gedefinieerd als de ruwe nauwkeurigheid op de forget-set, waarbij lager beter is), Membership Inference Attack (MIA) succesrate, en Test Accuracy (TA) om de utility trade-offs te meten.
   • I2I: Inception Score (IS) en Fréchet Inception Distance (FID).
   • T2I: Attack Success Rate (ASR) en het aantal optimalisatiestappen dat vereist is om een succesvolle aanval te bereiken.

Belangrijkste Resultaten
Uit extensieve experimenten met 15 unlearning-methoden blijken significante kwetsbaarheden:

• Discriminatieve Taken: Terwijl hertraining (de gouden standaard) sterke robuustheid bereikt, vertonen bestaande unlearning-methoden (bijv. FT, RL, IU, SalUn) variërende graden van kwetsbaarheid. Naarmate de datasetcomplexiteit toeneemt (van CIFAR10 naar Tiny-ImageNet), dalen zowel de unlearning-effectiviteit als de robuustheid drastisch. Veel methoden die standaard verificatiemetrieken passeren, falen volledig onder adversariële probing, met hoge UA- en MIA-scores onder aanval.
• I2I Taken: Ontleerde modellen falen vaak in het reconstrueren van afbeeldingen uit de forget-set onder normale omstandigheden, maar kunnen worden gedwongen tot het genereren van hoogwaardige reconstructies van de vergeten inhoud wanneer ze worden voorzien van adversariële inputs. Kleine ruis-perturbaties zijn vaak voldoende om het unlearning-mechanisme te omzeilen.
• T2I Taken: Ondanks het demonstreren van een sterke initiële unlearning-effectiviteit, vertonen de meeste diffusie-gebaseerde unlearning-methoden (bijv. AdvUnlearn, EraseDiff, ESD) een beperkte robuustheid. Adversariële aanvallen slagen erin vergeten concepten te herstellen met variërende graden van moeilijkheid (gemeten in aanvalsstappen), wat aangeeft dat residuele kennis persisteert.
• Algemene bevinding: Er bestaat een consistente kloof tussen "unlearning efficacy" (prestaties op standaard metrieken) en "unlearning robustness". De meeste huidige methoden zijn niet veerkrachtig tegen adversariële herstelstrategieën.

Betekenis en Claims
Het artikel positioneert Robuustheid als het centrale criterium voor het evalueren van machine unlearning, en stelt dat het passeren van standaard verificatie onvoldoende is als het model kwetsbaar blijft voor adversariële herstel.

• Eerste Uitgebreide Benchmark: RUB wordt gepresenteerd als het eerste framework dat unlearning-algoritmen systematisch evalueert tegen post-unlearning adversariële herstel over diverse visie-taken heen.
• Verenigd Protocol: Het biedt een gestandaardiseerd, uitbreidbaar protocol (UMA) om empirisch te verifiëren of unlearning-methoden werkelijk residuele kennis elimineren.
• Onderzoeksrichting: De auteurs claimen dat hun bevindingen fundamentele zwakheden in huidige unlearning-methoden blootleggen, wat de gemeenschap oproept om verder te gaan dan louter effectiviteit en expliciet robuustheidsoverwegingen op te nemen in het ontwerp van toekomstige unlearning-algoritmen. Het doel is om de weg te banen voor meer betrouwbare en veilige unlearning-praktijken die bestand zijn tegen kwaadwillende pogingen om vergeten informatie te herstellen.

Het artikel concludeert dat hoewel huidige methoden een startpunt bieden, ze nog niet robuust genoeg zijn voor scenario's met hoge inzet op het gebied van privacy en regelgeving van inhoud, en dat RUB een noodzakelijk instrument is om de ontwikkeling van werkelijk veerkrachtige unlearning-technieken te stimuleren.