Riepilogo Tecnico: RULER – Verifica a Livello di Rappresentazione dell'Oblio Machine

Enunciato del Problema

L'oblio machine (machine unlearning) mira a rimuovere l'influenza di specifici record di addestramento (l'insieme da dimenticare) da un modello distribuito senza il costo computazionale di un riaddestramento da zero, preservando al contempo le prestazioni del modello sui dati rimanenti (l'insieme di mantenimento). I protocolli di valutazione attuali si basano su criteri a livello di output:

1. Accuratezza dell'Attacco di Inferenza di Membria (MIA): Dovrebbe essere vicina a 0,50 (livello casuale).
2. Accuratezza sull'insieme di mantenimento: Dovrebbe essere preservata.
3. Accuratezza sull'insieme da dimenticare: Dovrebbe corrispondere a un oracolo di riaddestramento (un modello addestrato da zero solo sull'insieme di mantenimento).

Gli autori identificano una limitazione critica in questi protocolli: un modello può soddisfare tutti e tre i criteri a livello di output e tuttavia codificare informazioni sui record dimenticati nelle sue rappresentazioni intermedie. Le metriche esistenti non esaminano come un modello organizza internamente le informazioni sui singoli record, lasciando potenzialmente una "falsa sensazione di privacy" in cui il modello si comporta correttamente sugli output ma conserva tracce strutturali dei dati che avrebbe dovuto dimenticare.

Metodologia: RULER

Il documento introduce RULER (Verifica a Livello di Rappresentazione dell'Oblio Machine), un framework composto da due lenti di metriche di verifica basate sulla somiglianza coseno del penultimo strato. Il framework opera sugli embedding $h_\theta(x)$ immediatamente prima della testa di output specifica per il compito.

Lente 1: Metriche di Confronto con l'Oracolo (Richiede un Oracolo di Riaddestramento)

Queste metriche confrontano il modello obliato ($\theta_u$) con un oracolo di riaddestramento ($\theta_r$) addestrato da zero sull'insieme di mantenimento. Per garantire che le differenze rappresentazionali riflettano la procedura di oblio piuttosto che l'inizializzazione casuale, il modello originale ($\theta_o$) e l'oracolo ($\theta_r$) condividono lo stesso seme casuale.

• M1 (Somiglianza di Confronto con l'Oracolo): La media della somiglianza coseno tra i record dell'insieme da dimenticare in $\theta_u$ e $\theta_r$. Sebbene sia desiderata un'alta somiglianza, M1 manca di un valore nullo fisso per i test di significatività.
• M2 (Gap di Calibrazione con Segno): La metrica primaria della Lente 1. Calcola la differenza tra la media della somiglianza dei record dell'insieme da dimenticare e la mediana della somiglianza dei record dell'insieme di mantenimento tra $\theta_u$ e $\theta_r$.
  • Ipotesi Nulla: $M2 = 0$.
  • Interpretazione: Valori negativi indicano memorizzazione residua (i record dell'insieme da dimenticare sono meno simili all'oracolo rispetto ai record dell'insieme di mantenimento). Valori positivi indicano una sovracorrezione. La mediana è utilizzata per la baseline di mantenimento per evitare inflazione dovuta a distribuzioni con coda destra.
• M3 (Spostamento Rappresentazionale): Misura il cambiamento nella somiglianza con l'oracolo prima e dopo l'oblio. Valori positivi indicano che la procedura di oblio ha spostato le rappresentazioni più vicine all'oracolo; valori negativi indicano che si sono spostate più lontano.

Lente 2: Metrica Senza Oracolo (Nessun Oracolo di Riaddestramento Richiesto)

• M4 (Rango Percentilico): Questa metrica opera esclusivamente sulla geometria interna del modello obliato $\theta_u$. Per ogni record da dimenticare, trova il vicino più prossimo nell'insieme di mantenimento e ne misura la somiglianza coseno. Questa somiglianza viene quindi classificata rispetto alla distribuzione delle somiglianze dei vicini più prossimi tra i record di mantenimento stessi (leave-one-out).
  • Ipotesi Nulla: $M4 = 0,50$.
  • Interpretazione: Un valore di 0,50 implica che il record da dimenticare è geometricamente indistinguibile da un record mantenuto. Valori $> 0,50$ indicano memorizzazione residua (il record da dimenticare è troppo simile all'insieme di mantenimento). Valori $< 0,50$ indicano sovrasspostamento (il record è stato spinto troppo lontano dalla distribuzione di mantenimento).

Configurazione Sperimentale

• Dataset: Dieci dataset di classificazione tabulare (es. Reddito Adulto, Cancro al Seno, Credito Tedesco) sono stati utilizzati come setting principale. Il framework è stato applicato anche a dati tabulari su larga scala, classificazione di immagini (CIFAR-10, SVHN, CIFAR-100), testo clinico (MTSamples con Bio_ClinicalBERT) e oblio dell'identità facciale (LFW).
• Modelli: Un MLP a due strati nascosti fissi (TabularMLP) per i dati tabulari; CNN e ResNet-18 per le immagini; modelli basati su BERT per il testo.
• Metodi di Oblio: Sono stati valutati quattro metodi approssimati: Ascesa del Gradiente, NegGrad+, Fine-Tuning e SCRUB (basato sulla distillazione). Un quinto metodo, Bad Teacher, è stato incluso per testare la discordanza strutturale rispetto a quella specifica del metodo.
• Protocollo: Gli esperimenti hanno utilizzato 10 dataset, 10 semi di addestramento e tre frazioni di oblio ($1\%, 5\%, 10\%$). L'analisi statistica ha impiegato Modelli ad Effetti Misti Lineari (LMM) con il dataset come intercetta casuale, affiancati da test dei ranghi con segno di Wilcoxon.

Risultati Chiave

1. Discordanza tra Livello di Output e Livello di Rappresentazione

Tutti e quattro i metodi approssimati di oblio hanno superato le valutazioni standard a livello di output (accuratezza MIA entro $\pm 0,05$ da 0,50, accuratezza di mantenimento preservata). Tuttavia, M2 ha rilevato residui statisticamente significativi in 10 casi su 12 ($p < 0,05$).

• Direzionalità: M2 è stato costantemente negativo attraverso tutti i metodi e le frazioni di oblio, indicando che i record dell'insieme da dimenticare rimangono più lontani dalla rappresentazione dell'oracolo rispetto ai record mantenuti.
• Entità dell'Effetto: Le dimensioni dell'effetto ($r_{rb}$) sono cresciute all'aumentare della frazione di oblio, raggiungendo magnitudini elevate ($0,90 - 0,96$) alla frazione di oblio del $10\%$.
• Indipendenza dal Metodo: Test post-hoc non hanno mostrato differenze significative tra i quattro metodi su M2, M4 o MIA. La discordanza è una proprietà del compito di oblio stesso, non di un algoritmo specifico.

2. Validazione con Bad Teacher

Il metodo Bad Teacher, che utilizza un meccanismo fondamentalmente diverso (addestrare uno studente a corrispondere a un oracolo inizializzato casualmente sui record da dimenticare), ha superato anche lui i controlli a livello di output ma ha esibito valori M2 negativi significativi. Questo conferma che il fallimento nell'eliminare le rappresentazioni intermedie è una limitazione strutturale degli attuali approcci di oblio approssimato, non un artefatto di tecniche specifiche basate sul gradiente o sulla distillazione.

3. Utilità Diagnostica di M4

• Dati Tabulari/Generali: M4 ha mostrato ranghi medi leggermente superiori a 0,50, guidati da dataset con memorizzazione rilevabile (es. Cancro al Seno, Malattie Cardiache).
• Identità Facciale (LFW): In un setting di identità facciale in cui il modello era stato addestrato per la classificazione del genere ma codificava incidentalmente l'identità, i valori M4 pre-oblio erano estremamente alti ($0,73 - 0,94$), confermando una forte memorizzazione a livello di identità. Dopo l'oblio, nessun metodo ha cancellato completamente questo segnale; Ascesa del Gradiente e Fine-Tuning lo hanno lasciato in gran parte intatto, mentre SCRUB ha causato sovrasspostamento a basse frazioni di oblio.
• Su Larga Scala/Debole Memorizzazione: Su dataset tabulari e di immagini su larga scala dove i modelli originali mostravano M4 $\approx 0,50$ (nessuna memorizzazione rilevabile), i metodi di oblio hanno talvolta introdotto artefatti (sovrasspostamento o spostamento), suggerendo che l'oblio può degradare la qualità della rappresentazione quando non è strettamente necessario.

Significato e Affermazioni

Il documento afferma che la valutazione a livello di output è insufficiente per verificare l'oblio machine. Un modello può soddisfare tutti i criteri standard di privacy e utilità mantenendo tracce misurabili dei dati dimenticati nelle sue rappresentazioni interne.

• RULER come Strumento di Verifica: Gli autori propongono M2 e M4 come aggiunte necessarie al protocollo di valutazione. M2 fornisce un test a livello di popolazione per la memorizzazione residua contro un oracolo, mentre M4 funge da diagnostica senza oracolo sia pre-oblio (valutando se l'oblio è necessario) che post-oblio (rilevando cancellazione incompleta o sovrasspostamento).
• Limiti dei Metodi Attuali: Il M2 costantemente negativo attraverso metodi e architetture diversi suggerisce che gli attuali obiettivi di oblio approssimato sono ottimizzati per il comportamento di output ma falliscono nel vincolare le rappresentazioni intermedie.
• Portata Modesta: Gli autori dichiarano esplicitamente che queste metriche sono strumenti di verifica tecnica, non test di conformità legale per l'Articolo 17 del GDPR. Esse caratterizzano i residui rappresentazionali ma non affermano di definire l'adeguatezza normativa. Inoltre, le metriche si basano sulla somiglianza coseno, che non è invariante per rotazione, rendendo necessario il design a semi appaiati per M2.

In conclusione, il documento dimostra che il "dimenticare" nell'apprendimento automatico è attualmente un'illusione a livello di output per molti metodi approssimati, e la vera cancellazione richiede una verifica a livello di rappresentazione.