SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Technische Samenvatting: SUPREME: Een Multi-GPU Framework voor Reproduceerbare Evaluatie van Image Unlearning Methoden

Probleemstelling
Machine unlearning beoogt de invloed van specifieke trainingsdata uit een getraind model te verwijderen zonder het model vanaf nul opnieuw te trainen. Hoewel tal van benaderende methoden (bijv. fine-tuning, distillatie, parameter-belangrijkheidsschema's) zijn voorgesteld, vormt de evaluatie hiervan een aanzienlijke uitdaging. Rigoureuze evaluatie vereist het herhalen van de volledige pipeline—training, unlearning en beoordeling—over meerdere random seeds om rekening te houden met de stochasticiteit in initiële gewichten, datavolgorde en unlearning-operaties. Bestaande frameworks voor image classification unlearning (bijv. MUBox, ERASURE, Deep Unlearn) werken doorgaans op een enkele GPU met volledige precisie. Deze beperking beperkt het aantal seeds dat binnen een redelijke tijdlijn geëvalueerd kan worden, wat potentieel tot misleidende conclusies kan leiden op basis van single-seed resultaten. Bovorm bovendien, naarmate modelarchitecturen (bijv. Vision Transformers) en datasets groeien, neemt de computationele kost van deze evaluaties toe, wat efficiëntere infrastructuur noodzakelijk maakt.

Methodologie: Het SUPREME Framework
De auteurs introduceren SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation), een open-source framework ontworpen om de unlearning-evaluatiepipeline te distribueren over meerdere GPU's. Het framework is gebouwd op PyTorch en Lightning Fabric, en ondersteunt gedistribueerde strategieën zoals Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP) en DeepSpeed ZeRO.

De kern van SUPREME is een seeded multi-stage pipeline (Algoritme 1) die drie afzonderlijke stadia uitvoert over $P$ apparaten:

1. Stadium 1 (Training): Een model $M_o$ wordt getraind op de volledige dataset $D$ met behulp van een specifieke training seed.
2. Stadium 2 (Unlearning & Retraining): Voor elk forget target definieert het framework een forget set ($D_f$) en een retain set ($D_r$). Het voert vervolgens het volgende uit:
   • Het traint een baseline model $M_r$ vanaf nul op $D_r$ met behulp van een specifieke unlearning seed.
   • Het past een unlearning methode $a$ toe op $M_o$ met behulp van $D_f$ en $D_r$ om het unlearned model $M_u$ te produceren.
   • Zowel de retraining als de unlearning maken gebruik van gradiënt-synchronisatie over de apparaten.
3. Stadium 3 (Evaluatie): $M_u$ wordt geëvalueerd tegenover $M_r$ met geconfigureerde metrieken op testsets ($D'_f$ en $D'_r$). Resultaten worden geaggregeerd via een all-gather operatie.

Het framework ondersteunt twee unlearning scenario's:

• Targeted Unlearning: Verwijdert alle samples die geassocieerd zijn met een specifieke klasse-label.
• Random-Sample Unlearning: Verwijdert een willekeurige subset van samples (gedefinieerd door een percentage) die uit de gehele dataset zijn getrokken.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

1. Registry-Based Extensibility: SUPREME maakt gebruik van een ontwerp waarbij datasets, modelarchitecturen, unlearning methoden, evaluatie-metrieken en scenario's geregistreerd worden via modulepaden. Nieuwe componenten kunnen worden toegevoegd door standaard interfaces te implementeren en het modulepad te registreren, zonder de kerncode van het framework aan te passen.
2. Multi-GPU Architectuur: In tegenstelling tot eerdere tools, distribueert SUPREME training, unlearning en evaluatie over meerdere versnellers. Het ondersteunt diverse precisie-modi (bijv. mixed precision, 8-bit/4-bit via BitsandBytes) en gedistribueerde strategieën, wat de tijd die nodig is voor multi-seed evaluaties aanzienlijk verkort.
3. Demonstratie op Pins Face Recognition: De auteurs demonstreren het framework met behulp van de Pins Face Recognition dataset met ResNet18 en Vision Transformer (ViT) architecturen. Zij evalueren meerdere unlearning methoden onder full-class en random-sample scenario's over tien seeds.

Experimentele Resultaten
De demonstratie werd uitgevoerd op een enkele NVIDIA L40S GPU om numerieke pariteit met referentie-implementaties te behouden, hoewel het framework multi-GPU executie ondersteunt. Belangrijkste bevindingen zijn:

• Across-Seed Variantie: De studie benadrukt dat single-seed resultaten zeer misleidend kunnen zijn. Bijvoorbeeld, in het random-sample scenario vertoonde het verschil in nauwkeurigheid op de forget set ($\Delta Acc_{D'_f}$) voor "Random Labels" op ResNet18 een standaarddeviatie van $\pm 34.03$ procentpunten over tien seeds. Vergelijkbaar vertoonde "Selective Synaptic Dampening" op ViT een afwijking van $\pm 37.99$. Dit bevestigt dat multi-seed evaluatie noodzakelijk is voor consistente vergelijkingen.
• Metriek Gevoeligheid: In het full-class scenario waren de Membership Inference Attack (MIA) verschillen ($\Delta MIA$) minimaal bij alle methoden (voornamelijk binnen $\pm 0.05$), waardoor ze niet in staat waren om methoden te onderscheiden. Daarentegen varieerden de forget-set nauwkeurigheidsverschillen ($\Delta Acc_{D'_f}$) aanzienlijk (van 0.00 tot 89.44 op ResNet18), wat bewees een meer discriminerende metriek te zijn in deze setting.
• Prestaties: Het framework slaagde er succesvol in om de volledige pipeline uit te voeren voor zowel ResNet18 als ViT, waarbij de variantie die door verschillende seeds wordt geïntroduceerd werd gevangen en de haalbaarheid van grootschalige, reproduceerbare evaluatie werd aangetoond.

Betekenis en Claims
De auteurs positioneren SUPREME als een instrument om consistente, reproduceerbare vergelijkingen van unlearning methoden mogelijk te maken, waarmee zij inspelen op de groeiende complexiteit van modellen en de noodzaak van multi-seed evaluatie. Zij stellen expliciet dat de gerapporteerde cijfers de capaciteiten van het framework karakteriseren in plaats van een definitieve rangschikking van de unlearning methoden te bieden, aangezien de demonstratie beperkt was tot één dataset, twee architecturen en één device. Het artikel concludeert dat toekomstig werk de demonstratie zal uitbreiden naar andere geregistreerde componenten en onafhankelijke seeds voor de training, unlearning en evaluatie stadia zal gebruiken om de bronnen van variantie verder te deconstrueren. Het framework is bedoeld om de rigoureuze benchmarking te faciliteren die vereist is naarmate het veld van machine unlearning volwassen wordt.