🤖 machine learning

PURGE: Projected Unlearning via Retain-Guided Erasure

Il documento introduce PURGE, un algoritmo di machine unlearning che sfrutta la dualità tra continual learning e unlearning combinando vincoli di proiezione del gradiente con l'eradicazione della rappresentazione multi-layer e un obiettivo di ritenzione-confusione per rimuovere efficacemente dati specifici preservando l'utilità del modello e resistendo agli attacchi di membership inference.

Autori originali: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno studente molto intelligente che ha studiato una biblioteca immensa di libri per diventare un esperto. Ora, immagina che una persona specifica (chiamiamola "Bob") chieda allo studente di dimenticare tutto ciò che riguarda lui a causa delle leggi sulla privacy.

Il vecchio metodo, "naïve", consiste nel dire allo studente: "Torna in biblioteca, butta via i libri di Bob e ricomincia a studiare da zero". Questo funziona perfettamente, ma richiede anni e costa una fortuna.

PURGE è una nuova, intelligente scorciatoia. È come una gomma magica che rimuove l'influenza di Bob dal cervello dello studente senza fargli dimenticare tutto il resto di ciò che ha imparato.

Ecco come il paper spiega questo processo usando semplici analogie:

1. L'idea centrale: Due facce della stessa medaglia

Gli autori hanno notato qualcosa di interessante: Imparare e Dimenticare sono in realtà l'opposto dello stesso problema.

Imparare (Apprendimento Continuativo): Vuoi imparare una nuova abilità (come suonare la chitarra) senza dimenticare la tua vecchia abilità (come suonare il pianoforte).
Dimenticare (Unlearning di Macchina): Vuoi cancellare un ricordo specifico (Bob) senza dimenticare il resto della biblioteca.

Il paper afferma: "Prendiamo in prestito la matematica usata per imparare cose nuove e ribaltiamola per aiutarci a dimenticare le cose".

2. Il trucco magico: Il "Guardrail" (Proiezione del Gradiente)

Quando lo studente cerca di cancellare il ricordo di Bob, potrebbe accidentalmente rovesciare un vaso di fiori (il "set di ritenzione" o altri dati).

PURGE utilizza una tecnica chiamata Gradient Projection (Proiezione del Gradiente). Immaginala come un guardrail o un buttafuori.

Ogni volta che lo studente prova a fare un passo per cancellare Bob, il buttafuori controlla: "Questo passo danneggerà i fiori?"
Se la risposta è "Sì", il buttafuori spinge gentilmente il piede dello studente indietro, in modo che si muova solo in una direzione che non danneggi i fiori.
Questo garantisce che, mentre sta cancellando Bob, il resto della sua conoscenza rimanga al sicuro e accurato.

3. La strategia della "Falsa Confusione" (Target di Confusione di Ritenzione)

Di solito, quando si cerca di far dimenticare qualcosa a un modello, gli si dice di indovinare casualmente (come lanciare un dado). Il paper ha trovato un problema con questo: i robot sono troppo bravi a scovare la casualità finta. Se un modello improvvisamente inizia a indovinare casualmente, un hacker può dire: "Aha! Questo modello è stato costretto a dimenticare qualcosa!"

Invece, PURGE utilizza un Retain-Confusion Target (Target di Confusione di Ritenzione).

Immagina che lo studente guardi i libri che ha mantenuto e veda dove si confonde. Magari confonde "Gatti" e "Cani" a volte.
Quando cancella Bob, allo studente viene detto: "Non indovinare casualmente. Inveve, indovina esattamente nello stesso modo confuso in cui fai con i libri che hai mantenuto."
Questo rende il modello "cancellato" identico a uno studente che non ha mai visto Bob in primo piano. Per un hacker, è impossibile notare la differenza.

4. Pulizia Profonda: Cancellare il "Sesto Senso"

A volte, anche se un modello smette di dare la risposta corretta, sente ancora la risposta sbagliata "nel profondo" del suo cervello (negli strati intermedi).

I vecchi metodi dicono solo al modello di smettere di dare la risposta sbagliata proprio alla fine (l'output).
PURGE va più a fondo. Cancella il "sesto senso" (le rappresentazioni intermedie), spingendo l'attività cerebrale interna affinché assomigli all'attività di qualcuno che non ha mai conosciuto Bob.

5. Il pulsante di "Auto-Stop"

Come fa lo studente a sapere quando smettere di cancellare?

Vecchio modo: Devi contare i minuti o indovinare quanti esercizi fare.
Metodo PURGE: Ha due segnali di stop autoricorretti:
1. Il Budget: "Se iniziamo a danneggiare troppo i fiori (dati di ritenzione), fermati immediatamente."
2. Il Target: "Se il ricordo di Bob è così sfocato che non riusciamo a indovinarlo meglio del caso casuale, fermati."
  Questo significa che l'algoritmo decide quando ha finito, così gli esseri umani non devono tirare a indovinare.

6. La sorpresa della "Statistica Congelata"

Il paper ha scoperto una trappola nascosta: quando si cancella un'intera classe di dati (come tutte le foto di "Gatti"), il calcolatore interno del modello (BatchNorm) si confonde perché vede solo "Gatti" e dimentica come gestire i "Cani".

La Soluzione: Gli autori hanno capito che dovevano congelare questo calcolatore in modo che non aggiorni le sue statistiche con i dati strani e sbilanciati. È come dire al calcolatore: "Non cambiare le tue impostazioni mentre stiamo facendo questa operazione". Senza questo, l'intero sistema va in crash.

I Risultati: Cosa hanno scoperto?

Gli autori hanno testato questo metodo su cinque diversi tipi di dati (dai numeri scritti a mano alle immagini mediche).

Privacy: Il modello "cancellato" è così bravo a nascondersi che gli hacker non possono capire se Bob era nei dati di addestramento o meno (un punteggio di 0,5, che è perfetto).
Utilità: Il modello ricorda ancora il 96%+ di tutto il resto.
Velocità: È circa 13 volte più veloce rispetto al riaddestramento dell'intero modello da zero.

In breve: PURGE è un modo veloce, sicuro e intelligente per eliminare dati specifici dalla memoria di un'IA prendendo in prestito trucchi da come l'IA impara nuove cose, assicurando che l'IA non dimentichi accidentalmente il resto della sua conoscenza o venga scoperta dagli hacker.

Riepilogo Tecnico: PURGE (Projected Unlearning via Retain-Guided Erasure)

1. Definizione del Problema

L'unlearning delle macchine (Machine Unlearning, MU) mira a rimuovere l'influenza di specifici dati di addestramento (il forget set, $D_f$ ) da un modello addestrato senza il costo computazionale proibitivo del riaddestramento da zero. Esiste una tensione fondamentale nell'MU: il modello deve dimenticare aggressivamente $D_f$ per soddisfare gli audit sulla privacy (ad esempio, il "diritto all'oblio" del GDPR) pur preservando un'alta utilità sui dati rimanenti (il retain set, $D_r$ ).

I metodi esistenti affrontano specifici modi di fallimento:

Gradient Ascent: Massimizza la perdita su $D_f$ , ma spesso degrada catastroficamente le prestazioni su $D_r$ .
Metodi basati sulla salienza (es. SalUn): Perturbano selettivamente i pesi, ma mancano di garanzie formali sulle prestazioni di ritenzione.
Knowledge Distillation: Ancorano la distribuzione di ritenzione, ma non riescono a vincolare le direzioni del gradiente.
Metodi basati su Fisher: Teoricamente fondati, ma computazionalmente costosi a causa delle approssimazioni dell'Hessiana.

Crucialmente, molti approcci esistenti non riescono a garantire che il modello "unlearned" sia statisticamente indistinguibile da un modello riaddestrato solo su $D_r$ . Questa distinzione è vitale per resistere agli attacchi di inferenza dell'appartenenza (Membership Inference Attacks, MIA), in cui un avversario tenta di determinare se un campione specifico era presente nel set di addestramento.

2. Metodologia

L'intuizione centrale di PURGE è la dualità tra Apprendimento Continuativo (Continual Learning, CL) e Unlearning delle Macchine (Machine Unlearning, MU). Mentre il CL apprende nuovi task senza dimenticare quelli vecchi, l'MU cancella dati specifici senza danneggiare le prestazioni di ritenzione. PURGE adatta l'algoritmo A-GEM (Averaged Gradient Episodic Memory) dal CL, che proietta i gradienti dei nuovi task per evitare l'aumento della perdita sui task precedenti.

2.1 Proiezione del Gradiente per la Sicurezza della Ritenzione

PURGE tratta il processo di unlearning come un problema di ottimizzazione vincolata. Per ogni step di aggiornamento, il gradiente per la direzione di dimenticanza ( $g_f$ ) viene proiettato su un semispazio definito dal gradiente di ritenzione ( $g_r$ ).

Vincolo: L'aggiornamento non deve aumentare la perdita di ritenzione ( $L_r$ ).
Meccanismo: Se il gradiente di dimenticanza entra in conflitto con il gradiente di ritenzione (ovvero $\langle g_f, g_r \rangle < 0$ ), $g_f$ viene proiettato sul confine del semispazio dove $\langle g, g_r \rangle \geq 0$ .
Garanzia Teorica: Ciò fornisce una garanzia costruttiva per step che la perdita di ritenzione non aumenti (nella prima approssimazione dell'ordine), una caratteristica assente nei precedenti metodi di unlearning approssimativi.

2.2 Obiettivi di Dimenticanza

PURGE introduce un nuovo target per il forget set, andando oltre i semplici target di distribuzione uniforme:

KL-Retain (Target di Confusione della Ritenzione): Invece di spingere gli output di dimenticanza verso una distribuzione uniforme (che è facilmente rilevabile tramite MIA), PURGE punta al pattern di confusione naturale del modello sul retain set. Calcola preventivamente una distribuzione $p_r$ mediando gli output softmax del modello originale congelato su $D_r$ . L'obiettivo di dimenticanza minimizza la divergenza KL tra gli output di dimenticanza e $p_r$ .
Razionale: Questo rende gli output del modello unlearned statisticamente indistinguibili da un modello riaddestrato da zero, portando l'AUROC del MIA verso l'ideale di 0.5.

2.3 Cancellazione della Rappresentazione Multi-Layer

La soppressione dell'output da sola è insufficiente, poiché l'informazione può persistere nei layer intermedi. PURGE calcola l'Errore Quadratico Medio (MSE) tra le attivazioni del forget set e la media delle attivazioni del retain set (dal modello congelato) attraverso molteplici layer intermedi. Ciò forza la rimozione dell'informazione dalle rappresentazioni nascoste, non solo dall'output finale.

2.4 Meccanismi di Stabilità e Arresto

Stabilità Ancorata alla KD: Una copia congelata del modello pre-unlearning agisce come insegnante per il retain set tramite Knowledge Distillation (KD), riducendo la deriva della rappresentazione.
Gating ed Entropia (Capping): Gli aggiornamenti sono limitati all'obiettivo di ritenzione se l'entropia dell'output del modello sul batch di dimenticanza è già vicina al massimo, per prevenire l'over-forgetting o l'esplosione del gradiente.
Doppio Arresto Auto-Regolante: L'algoritmo si ferma automaticamente in base a due criteri:
1. Budget della Perdita di Ritenzione: Si ferma se la perdita di ritenzione supera un budget predefinito rispetto alla perdita iniziale.
2. Target di Accuratezza di Dimenticanza (FA): Si ferma quando la FA scende a un livello di puro caso (ad esempio, $100/K\%$ ).
Congelamento di BatchNorm: Un dettaglio implementativo critico identificato dagli autori: i layer BatchNorm devono essere congelati in modalità valutazione durante l'unlearning. I batch di dimenticanza con omogeneità di classe possono corrompere le statistiche correnti se BatchNorm rimane in modalità training, portando al collasso del modello.

3. Contributi Chiave

Istanziazione Algoritmica della Dualità CL-MU: PURGE è il primo lavoro che adatta direttamente il meccanismo di proiezione del gradiente da A-GEM (un algoritmo di CL) come strumento costruttivo primario per l'unlearning delle macchine, fornendo garanzie formali di sicurezza della ritenzione per ogni step.
Target di Confusione della Ritenzione: La proposta di un target di divergenza KL basato sulla confusione naturale del modello sui dati di ritenzione, che migliora significativamente la resistenza ai MIA rispetto ai target di distribuzione uniforme.
Cancellazione Multi-Layer: Estensione dell'unlearning alle attivazioni dei layer intermedi per garantire una rimozione profonda dell'informazione.
Framework Auto-Regolante: Eliminazione della sintonizzazione manuale degli epoch tramite criteri di arresto doppi (budget della perdita di ritenzione e target FA).
Scoperta Empirica: Identificazione del modo di fallimento di BatchNorm, un problema sottile ma critico che influenza la stabilità nell'unlearning a livello di classe.

4. Risultati Sperimentali

PURGE è stato valutato su cinque dataset (CIFAR-10, MNIST, SVHN, STL10, PathMNIST) attraverso 22 task di dimenticanza a livello di classe utilizzando ResNet-18.

Trade-off Privacy-Utilità: PURGE mantiene costantemente l'Accuratezza di Ritenzione (RA) sopra il 96% in tutti i dataset.
Privacy (Resistenza MIA): PURGE raggiunge un AUROC del MIA vicino a 0.5 (lo score di indistinguibilità ideale) su quattro dei cinque dataset. Ad esempio, su CIFAR-10, raggiunge un AUROC di 0.496.
Confronto con i Baseline:
- A differenza del Gradient Ascent (che fa scendere l'accuratezza di ritenzione a circa il 38% su CIFAR-10) o di SalUn (che manca di garanzie formali MIA), PURGE bilancia un'alta utilità di ritenzione con una reale privacy di appartenenza.
- Sebbene la Test Accuracy (TA) di PURGE su CIFAR-10 (84.5%) sia inferiore a quella di SalUn (93.5%), gli autori sostengono che questo sia un compromesso deliberato per ottenere una vera privacy (MIA $\approx$ 0.5) piuttosto che solo una bassa accuratezza di dimenticanza.
Efficienza: PURGE converge in circa 1.75 epoch (meno di 200 secondi su CIFAR-10), offrendo un'accelerazione di circa $\sim$ 13 $\times$ rispetto al riaddestramento completo.
Cancellazione della Rappresentazione: Le metriche di distanza di Fréchet (FIDfeat) e di similarità del coseno confermano che PURGE altera efficacemente le rappresentazioni intermedie, avvicinandole a quelle di un modello riaddestrato da zero.

5. Significato e Rivendicazioni

Il paper sostiene che PURGE fornisca un framework principato per l'unlearning delle macchine sfruttando la dualità con l'apprendimento continuo. La sua importanza risiede in:

Garanzie Formali: Fornire una garanzia per ogni step che la perdita di ritenzione non aumenti, una caratteristica assente nei metodi di unlearning basati su euristiche.
Privacy Robusta: Dimostrare che puntare alla "confusione naturale" del modello è superiore ai target artificiali uniformi per sconfiggere gli attacchi di inferenza dell'appartenenza.
Guida Pratica: Offrire intuizioni critiche sull'implementazione, come la necessità di congelare i layer BatchNorm, che sono spesso trascurati nella letteratura sull'unlearning.

Gli autori riconoscono i limiti, tra cui un divario di accuratezza del test rispetto ad alcuni baseline, la mancanza di garanzie formali di privacy $(\epsilon, \delta)$ e l'attuale ambito di valutazione (ResNet-18, dimenticanza di singola classe). Tuttavia, pongono che la prospettiva della dualità CL-MU apre uno spazio di progettazione più ampio per futuri algoritmi di unlearning.