SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Sintesi Tecnica: SUPREME: Un framework multi-GPU per la valutazione riproducibile di metodi di unlearning di immagini

Problematica
L'unlearning delle macchine mira a rimuovere l'influenza di specifici dati di addestramento da un modello addestrato senza dover riaddestrare il modello da zero. Sebbene siano stati proposti numerosi metodi approssimativi (ad es. fine-tuning, distillazione, schemi basati sull'importanza dei parametri), valutarli presenta sfide significative. Una valutazione rigorosa richiede la ripetizione dell'intero processo — addestramento, unlearning e valutazione — attraverso molteplici seed casuali per tenere conto della stocasticità nei pesi iniziali, nell'ordine dei dati e nelle operazioni di unlearning. Gli attuali framework di unlearning per la classificazione di immagini (ad es. MUBox, ERASURE, Deep Unlearn) operano tipicamente su una singola GPU con precisione completa. Questa limitazione restringe il numero di seed che possono essere valutati in un tempo ragionevole, portando potenzialmente a conclusioni fuorvianti basate su risultati di un singolo seed. Inoltre, man mano che le architetture dei modelli (ad es. Vision Transformers) e i dataset crescono, il costo computazionale di queste valutazioni aumenta, rendendo necessaria un'infrastruttura più efficiente.

Metodologia: Il Framework SUPREME
Gli autori introducono SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation), un framework open-source progettato per distribuire la pipeline di valutazione dell'unlearning su più GPU. Il framework è costruito su PyTorch e Lightning Fabric, supportando strategie distribuite come Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP) e DeepSpeed ZeRO.

Il cuore di SUPREME è una pipeline multi-stadio con seed (Algoritmo 1) che esegue tre fasi distinte su $P$ dispositivi:

1. Stadio 1 (Addestramento): Un modello $M_o$ viene addestrato sull'intero dataset $D$ utilizzando un seed di addestramento specifico.
2. Stadio 2 (Unlearning e Riaddestramento): Per ogni target di unlearning, il framework definisce un set di dimenticato (forget set, $D_f$) e un set di mantenimento (retain set, $D_r$). Successivamente:
   • Riaddestra un modello baseline $M_r$ da zero su $D_r$ utilizzando un seed di unlearning specifico.
   • Applica un metodo di unlearning $a$ a $M_o$ utilizzando $D_f$ e $D_r$ per produrre il modello unlearned $M_u$.
   • Sia il riaddestramento che l'unlearning utilizzano la sincronizzazione del gradiente tra i dispositivi.
3. Stadio 3 (Valutazione): $M_u$ viene valutato rispetto a $M_r$ utilizzando metriche configurate sui set di test ($D'_f$ e $D'_r$). I risultati vengono aggregati tramite un'operazione di all-gather.

Il framework supporta due scenari di unlearning:

• Unlearning Mirato (Targeted Unlearning): Rimuove tutti i campioni associati a una specifica etichetta di classe.
• Unlearning di Campioni Casuali (Random-Sample Unlearning): Rimuove un sottoinsieme casuale di campioni (definito da una percentuale) estratti dall'intero dataset.

Contributi Chiave
Il documento delinea tre contributi primari:

1. Estensibilità Basata su Registry: SUPREME impiega un design in cui dataset, architetture di modelli, metodi di unlearning, metriche di valutazione e scenari sono registrati tramite percorsi di moduli. Nuovi componenti possono essere aggiunti implementando interfacce standard e registrando il percorso del modulo, senza modificare il codice core del framework.
2. Architettura Multi-GPU: A differenza degli strumenti precedenti, SUPREME distribuisce l'addestramento, l'unlearning e la valutazione su più acceleratori. Supporta varie modalità di precisione (ad es. precisione mista, 8-bit/4-bit tramite BitsandBytes) e strategie distribuite, riducendo significativamente il tempo necessario per le valutazioni multi-seed.
3. Dimostrazione su Pins Face Recognition: Gli autori dimostrano il framework utilizzando il dataset Pins Face Recognition con architetture ResNet18 e Vision Transformer (ViT). Valutano molteplici metodi di unlearning sotto scenari di classe completa e di campionamento casuale su dieci seed.

Risultati Sperimentali
La dimostrazione è stata condotta su una singola GPU NVIDIA L40S per mantenere la parità numerica con le implementazioni di riferimento, sebbene il framework supporti l'esecuzione multi-GPU. Le principali scoperte includono:

• Varianza tra i Seed (Across-Seed Variance): Lo studio evidenzia che i risultati di un singolo seed possono essere altamente fuorvianti. Ad esempio, nello scenario di campionamento casuale, la differenza di accuratezza sul forget set ($\Delta Acc_{D'_f}$) per "Random Labels" su ResNet18 ha mostrato una deviazione standard di $\pm 34.03$ punti percentuali su dieci seed. Allo stesso modo, "Selective Synaptic Dampening" su ViT ha mostrato una deviazione di $\pm 37.99$. Ciò conferma che la valutazione multi-seed è necessaria per confronti coerenti.
• Sensibilità delle Metriche: Nello scenario di classe completa, le differenze di Membership Inference Attack ($\Delta MIA$) sono state minime per tutti i metodi (per lo più entro $\pm 0.05$), non riuscendo a distinguere tra i metodi. Al contrario, le differenze di accuratezza del forget set ($\Delta Acc_{D'_f}$) variavano significativamente (da 0.00 a 89.44 su ResNet18), dimostrandosi una metrica più discriminante in questo contesto.
• Performance: Il framework ha eseguito con successo l'intera pipeline sia per ResNet18 che per ViT, catturando la varianza introdotta dai diversi seed e dimostrando la fattibilità di una valutazione su larga scala e riproducibile.

Significato e Rivendicazioni
Gli autori posizionano SUPREME come uno strumento per consentire confronti coerenti e riproducibili dei metodi di unlearning, affrontando la crescente complessità dei modelli e la necessità della valutazione multi-seed. Affermano esplicitamente che i numeri riportati caratterizzano le capacità del framework piuttosto che fornire una classifica definitiva dei metodi di unlearning, poiché la dimostrazione è stata limitata a un singolo dataset, due architetture e un singolo dispositivo. Il documento conclude che il lavoro futuro estenderà la dimostrazione ad altri componenti registrati e utilizzerà seed indipendenti per le fasi di addestramento, unlearning e valutazione per decomporre ulteriormente le fonti di varianza. Il framework è destinato a facilitare il benchmarking rigoroso richiesto man mano che il campo dell'unlearning delle macchine matura.