Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Sintesi Tecnica: L'oblio ha dei vicini: l'oblio collaterale localizzato nel Machine Unlearning

Definizione del Problema
Il machine unlearning mira a rimuovere l'influenza di specifici esempi di addestramento (il "forget set") da un modello addestrato senza il costo computazionale del riaddestramento completo. Mentre le valutazioni standard si affidano a metriche aggregate (ad es., accuratezza di ritenzione, accuratezza di oblio e punteggi di audit della privacy), gli autori sostengono che tali riassunti possano mascherare fallimenti localizzati. Nello specifico, un modello "unlearned" può apparire vicino a un riferimento riaddestrato in media, pur presentando deviazioni marcate su specifici esempi di ritenzione o di test.

Il documento identifica una modalità di fallimento denominata oblio collaterale localizzato: una degradazione involontaria delle predizioni del modello su esempi non eliminati che sono geometricamente vicini al forget set nello spazio delle rappresentazioni. Ciò accade perché gli esempi sono accoppiati attraverso rappresentazioni condivise; gli interventi volti a sopprimere il segnale del forget set (come l'ascesa del gradiente o l'etichettatura casuale) propagano perturbazioni ai punti di ritenzione vicini.

Metodologia
Gli autori affrontano il problema attraverso l'analisi teorica, l'osservazione empirica e una strategia di mitigazione proposta.

1. Analisi Teorica:

   • Ascesa del Gradiente (GA): Nella regressione lineare, gli autori dimostrano che l'eccesso di perdita di un modello unlearned rispetto a un modello riaddestrato scala con l'allineamento quadratico ($\langle x_q, x_f \rangle^2$) tra un punto di query di ritenzione $x_q$ e il punto eliminato $x_f$.
   • Etichettatura Casuale (RL): Nella regressione logistica, la discrepanza tra RL e il riaddestramento è mostrata essere governata dalla proiezione del punto di query sullo span del forget set. Le etichette casuali imposte sul forget set creano un "mismatch del target" che entra in conflitto con la struttura predittiva locale indotta dal riaddestramento. Questo mismatch si propaga ai punti vicini.
   • Fine-Tuning di Ritenzione: L'analisi dimostra che, sebbene il fine-tuning sul set di ritenzione possa ripristinare l'accordo sui punti di addestramento di ritenzione, non corregge necessariamente il comportamento del modello lungo le componenti che giacciono all'interno dello span del forget set. Pertanto, il mismatch del target rimane una causa radice.

2. Metodo Proposto: Local Teacher Distillation (LTD)
   Motivati dalla scoperta che il mismatch del target guida gli errori localizzati, gli autori propongono la Local Teacher Distillation. Invece di assegnare etichette casuali o corrotte al forget set, la LTD le sostituisce con "soft labels" derivate da un piccolo modello insegnante ausiliario.

   • Selezione del Supporto: L'insegnante è addestrato solo su un sottoinsieme di esempi di ritenzione ($S_k$) che sono i vicini più prossimi al forget set nello spazio delle rappresentazioni (misurato tramite la similarità del coseno degli embedding dell'ultimo strato). Ciò assicura che l'insegnante approssimi la struttura predittiva locale del modello riaddestrato vicino al forget set.
   • Obiettivo di Addestramento: Il processo di unlearning ottimizza una funzione di perdita che preserva le prestazioni sul set di ritenzione (usando hard labels) pur minimizzando la cross-entropy tra le predizioni del modello sul forget set e le soft predizioni dell'insegnante.
   • Efficienza: L'insegnante è un'architettura più piccola addestrata solo sul set di supporto selezionato, evitando il costo del riaddestramento completo.

Contributi Chiave

1. Identificazione del Fenomeno: Il documento stabilisce che l'oblio collaterale non è uniforme ma concentrato su esempi di non-forget che sono vicini al forget set nello spazio delle rappresentazioni.
2. Caratterizzazione Teorica: Gli autori forniscono prove teoriche per i metodi GA e RL mostrando che la deviazione dal riaddestramento è governata dall'allineamento o dalla proiezione dei punti di ritenzione sullo span del forget set. Identificano il mismatch del target (incoerenza tra target surrogati e struttura del riaddestramento) come il meccanismo sottostante.
3. Strategia di Mitigazione: Introducono la Local Teacher Distillation, un metodo semplice che utilizza un insegnante locale per generare soft label coerenti per il forget set.
4. Validazione Empirica: Gli esperimenti su CIFAR-100 (delezione parziale di classe) mostrano che la LTD riduce sostanzialmente la discrepanza dal riaddestramento, in particolare per le classi affette e gli esempi ad alta similarità, mantenendo al contempo metriche di unlearning aggregate competitive.

Risultati

• Metriche Aggregate: Su CIFAR-100 con delezione del 50% delle classi, la LTD ottiene il "Avg. Gap" più basso (deviazione assoluta media dal riaddestramento attraverso accuratezza e metriche di privacy) tra i baseline confrontati (GA, RL, FT, SalUn, IU, AMUN).
• Performance Localizzata: Sebbene le metriche aggregate possano essere fuorvianti, la LTD supera significativamente i baseline sulle sottoclassi affette (punti di ritenzione e di test appartenenti alla classe eliminata). Ad esempio, mentre altri metodi mostravano grandi cali di accuratezza per questi punti specifici rispetto al riaddestramento, la LTD manteneva la stabilità.
• Analisi della Similarità: Il documento dimostra che i metodi concorrenti esibiscono bruschi cali di accuratezza all'aumentare della similarità con il forget set. Al contrario, la LTD mantiene una bassa deviazione in tutti i bin di similarità.
• Studi di Ablazione: I risultati confermano che l'uso del supporto dei vicini più prossimi per l'insegnante è critico; un supporto casuale o distante non riesce a catturare la rilevante struttura predittiva, portando a un scarso allineamento con il riaddestramento.

Significatività e Rivendicazioni
Il documento sostiene che le valutazioni standard dell'unlearning siano insufficienti perché nascondono fallimenti strutturati vicino al forget set. La significatività di questo lavoro risiede nel:

• Rivelare che il mismatch del target è una causa fondamentale dell'oblio collaterale localizzato, che persiste anche con il fine-tuning del set di ritenzione.
• Dimostrare che migliorare la coerenza locale dei target del forget set (tramite un insegnante locale) è una strategia di mitigazione più efficace rispetto al solo recupero del set di ritenzione.
• Fornire un metodo pratico e a basso costo (LTD) che rende i modelli unlearned sostanzialmente più vicini al modello di riferimento del riaddestramento, particolarmente nella zona critica del dato eliminato, senza sacrificare la privacy o l'utilità.

Gli autori rimangono modesti riguardo alla generalizzazione, notando che il loro metodo dipende dalla qualità del set di supporto locale e della rappresentazione. Riconoscono che forget set altamente eterogenei potrebbero richiedere il clustering o molteplici insegnanti locali, e che l'estensione ad architetture e dataset più ampi rimane un lavoro futuro.