Verification of Machine Unlearning is Fragile

1. Il Problema

Con l'escalation delle preoccupazioni sulla privacy e l'attuazione di normative come il GDPR e il CCPA, i proprietari dei dati hanno il diritto di richiedere la rimozione dei propri dati dai modelli di machine learning (ML), un processo noto come Machine Unlearning (MUL).
Sebbene esistano tecniche per eseguire l'oblio, la loro verifica rimane un "black box" per i proprietari dei dati. Per garantire la trasparenza, sono state proposte strategie di verifica, tra cui:

• Verifica tramite Backdoor: Il proprietario dei dati inietta dati avvelenati (backdoor) nel set di addestramento. Se il modello viene correttamente "dimenticato", non dovrebbe più rispondere al trigger backdoor.
• Verifica tramite Riproduzione (Reproducing Verification): Il fornitore del modello deve fornire una "Prova di Riaddestramento" (Proof of Retraining - PoRT) che registri ogni passo dell'addestramento da zero, permettendo al verificatore di riprodurre l'intero processo per confermare che i dati rimossi non sono stati utilizzati.

La domanda di ricerca: I fornitori di modelli possono aggirare queste strategie di verifica mantenendo, in realtà, le informazioni dei dati che dovrebbero essere stati rimossi?
Risposta del paper: Sì. La verifica dell'oblio è fragile. I fornitori disonesti possono ingannare i verificatori preservando le informazioni dei dati rimossi.

2. Metodologia

Gli autori propongono due nuovi processi di oblio avversario progettati per soddisfare i requisiti di verifica formale mentre preservano le informazioni dei dati rimossi, permettendo al fornitore di mantenere l'utilità del modello e ridurre i costi computazionali.

A. Metodo 1: Oblio Avversario basato su Riaddestramento (Retraining-based)

Questo metodo mira a ingannare sia la verifica backdoor che quella di riproduzione (con errore zero).

• Concetto Chiave: Invece di riaddestrare il modello usando i dati originali (esclusi quelli da rimuovere), il fornitore seleziona attentamente dei mini-batch dal set di dati rimanente ($D \setminus D_u$) che producano gradienti molto simili a quelli che sarebbero stati prodotti dai dati da rimuovere ($D_u$).
• Selezione dei Dati:
  • Se un mini-batch originale non contiene dati da rimuovere, viene usato così com'è.
  • Se contiene dati da rimuovere, questi vengono sostituiti con i loro vicini più prossimi (nearest neighbors) nel set di dati rimanente, appartenenti alla stessa classe.
• Meccanismo: Sfruttando la casualità dello Stochastic Gradient Descent (SGD) su mini-batch, il fornitore può generare una prova di riaddestramento (PoRT) che è matematicamente valida (errore di verifica = 0) e priva dei dati target, ma che porta il modello a convergere in una regione dello spazio dei parametri che mantiene le informazioni dei dati rimossi.
• Teoria: Viene dimostrato che questo processo soddisfa la proprietà di "rimovibilità" (nessun dato da rimuovere nella prova) e "riproducibilità" (i passi sono coerenti), ma il modello finale apprende ancora dalle informazioni di $D_u$.

B. Metodo 2: Oblio Avversario basato su Falsificazione (Forging-based)

Questo metodo è più efficiente computazionalmente ma è efficace solo contro verifiche di riproduzione con una soglia di errore tollerata ($\epsilon > 0$).

• Concetto Chiave: Invece di riaddestrare, il fornitore "falsifica" la prova di riaddestramento partendo direttamente dalla Prova di Addestramento (Proof of Training - PoT) originale.
• Mappatura di Falsificazione: Viene applicata una funzione di trasformazione che aggiorna i tripletto $(w, d, g)$ della prova originale:
  • Per i batch che non contengono dati da rimuovere, i parametri del modello vengono leggermente modificati (aggiunta di rumore controllato) per evitare che la prova appaia identica all'originale.
  • Per i batch che contengono dati da rimuovere, questi vengono sostituiti con i vicini più prossimi (come nel metodo 1) e i parametri vengono aggiornati di conseguenza.
• Efficienza: Poiché la falsificazione può essere eseguita in parallelo per ogni passo, questo metodo è significativamente più veloce del riaddestramento completo, pur rimanendo indistinguibile per un verificatore con una soglia di errore $\epsilon$.

3. Contributi Chiave

1. Dimostrazione di Vulnerabilità: Il paper identifica e categorizza le attuali strategie di verifica in due tipi e dimostra che entrambe possono essere aggirate.
2. Proposta di Due Metodi Avversari:
   • Un metodo basato sul riaddestramento che supera la verifica di riproduzione esatta (errore 0) e la verifica backdoor.
   • Un metodo basato sulla falsificazione che supera la verifica di riproduzione con tolleranza ($\epsilon > 0$) con un overhead computazionale minimo.
3. Garanzie Teoriche: Vengono forniti teoremi che provano la validità delle prove generate (soddisfano le proprietà di riproducibilità e rimovibilità) e che il modello risultante mantiene l'utilità e le informazioni dei dati rimossi.
4. Validazione Empirica: Sperimentazioni su dataset reali (MNIST, CIFAR-10, SVHN) confermano l'efficacia dei metodi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset di classificazione di immagini utilizzando diverse architetture (MLP, CNN, ResNet).

• Efficacia contro la Verifica di Riproduzione:
  • Il metodo basato sul riaddestramento (Adv-R) ha generato prove con errore di verifica pari a 0, superando completamente la verifica.
  • Il metodo basato sulla falsificazione (Adv-F) ha mantenuto l'errore di verifica al di sotto di soglie tipiche ($10^{-3}$), ingannando il verificatore.
• Efficacia contro la Verifica Backdoor:
  • Il metodo Adv-R ha mostrato una probabilità di errore di tipo II (falso negativo, ovvero il verificatore crede che i dati siano stati rimossi mentre non lo sono) vicina a 0.998-0.999, indicando che il modello ha "dimenticato" il trigger backdoor pur mantenendo le informazioni sottostanti.
  • Il metodo Adv-F è stato rilevato più facilmente dalla verifica backdoor (bassa probabilità di errore di tipo II), ma offre un vantaggio in termini di efficienza.
• Utilità del Modello:
  • I modelli ottenuti con l'oblio avversario hanno mantenuto un'alta utilità (F1-score), spesso superiore al riaddestramento "naive" (che rimuove effettivamente i dati) e talvolta paragonabile all'addestramento originale.
  • In scenari con dati non bilanciati (class-imbalanced), il metodo avversario ha mostrato prestazioni nettamente superiori al riaddestramento standard.
• Efficienza:
  • Il metodo di falsificazione (Adv-F) è stato il più veloce, con tempi di esecuzione inferiori al riaddestramento completo, grazie all'esecuzione parallela.
  • Il metodo di riaddestramento avversario (Adv-R) è leggermente più lento del riaddestramento standard a causa del calcolo dei vicini più prossimi, ma molto più veloce della ricerca casuale (random sampling).

5. Significato e Implicazioni

Questo studio ha un impatto critico sulla sicurezza del Machine Unlearning:

• Fragilità delle Verifiche Attuali: Dimostra che le attuali strategie di verifica, sia basate su backdoor che su riproduzione, non offrono garanzie di sicurezza assolute contro un fornitore di modelli disonesto.
• Rischio per la Privacy: I proprietari dei dati potrebbero credere erroneamente che i loro dati siano stati rimossi, mentre il modello continua a memorizzare le informazioni sensibili, esponendoli a rischi di inferenza o furto di dati.
• Nuova Direzioni di Ricerca: Il paper evidenzia la necessità di sviluppare nuove metodologie di verifica più robuste, che possano rilevare non solo la presenza dei dati nella prova, ma anche la coerenza statistica e l'assenza di memorizzazione latente. Suggerisce che la verifica dell'oblio approssimato e l'uso di tecniche crittografiche più avanzate potrebbero essere necessari per colmare queste vulnerabilità.

In sintesi, il paper smaschera un grave difetto di sicurezza: un fornitore di servizi ML può tecnicamente "dimenticare" i dati solo sulla carta (per soddisfare la verifica), mantenendo però il controllo e l'uso delle informazioni private per il proprio vantaggio.