Multi-Objective Reference-Aligned Machine Unlearning

Riepilogo Tecnico: Multi-Objective Reference-Aligned Machine Unlearning (RAUL)

Problema
Il machine unlearning (MU) mira a rimuovere l'influenza di specifici campioni di addestramento (il "forget set", $F$) da un modello distribuito, preservando al contempo le prestazioni sui dati rimanenti (il "retain set", $R$). I metodi approssimativi esistenti si affidano tipicamente all'ottimizzazione a obiettivo singolo, come il gradiente ascendente (massimizzazione della perdita su $F$) o la ridenominazione casuale (random relabeling). Gli autori sostengono che tali approcci inducano il catastrophic forgetting (oblio catastrofico) perché la dinamica di ottimizzazione del "dimenticare" (respingere le predizioni corrette) entra in conflitto con la "ritenzione" (mantenere le predizioni corrette su $R$). Questo conflitto causa una deriva del modello dalla sua conoscenza pre-addestrata, con conseguente significativa perdita di utilità sul retain set.

Metodologia: Reference-Aligned UnLearning (RAUL)
Il documento propone RAUL, un framework di ottimizzazione multi-obiettivo (MOO) che inquadra l'unlearning come un'ottimizzazione congiunta di dimenticare e ritenzione, piuttosto che come un singolo compito avversario.

1. Formulazione dell'Obiettivo:

   • Obiettivo di Ritenzione ($L_{retain}$): Minimizzazione standard della cross-entropy sul retain set $R$ per preservare l'utilità del modello.
   • Obiettivo di Dimenticanza Basato su Riferimento ($L_{forget}$): Invece di massimizzare la perdita su $F$, RAUL minimizza la divergenza di Kullback-Leibler (KL) tra le predizioni del modello su $F$ e una distribuzione di riferimento ($p_{ref}$) che rappresenta i dati "non visti". Ciò allinea la confidenza del modello sui campioni dimenticati al modo in cui si comporterebbe su dati che non ha mai incontrato.
     $$\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$$

2. Strategie di Distribuzione di Riferimento:
   Il documento introduce due strategie per istanziare $p_{ref}$:

   • Distribuzione Uniforme (UniDist): Imposta $p_{ref}(y) = 1/C$ (dove $C$ è il numero di classi). Questo funge da baseline principata che non richiede dati aggiuntivi, incoraggiando la massima incertezza sui campioni dimenticati. Minimizzare la KL rispetto a una distribuzione uniforme equivale a massimizzare l'entropia della predizione.
   • Distribuzione Held-out (HeldDist): Calcola una distribuzione di riferimento empirica da un dataset disgiunto e non visto ($D_{ref}$) che non faceva parte del set di addestramento, validazione o test originale. Questo fornisce un ancoraggio stabile che imita il comportamento dei dati realmente non visti, offrendo potenzialmente una migliore stabilità della ritenzione.

3. Ottimizzazione tramite Discesa del Jacobiano:
   Il problema viene trattato come un'ottimizzazione bi-obiettivo: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$. Per risolverlo senza pesare manualmente gli obiettivi (il che può portare a gradienti in conflitto), gli autori utilizzano la discesa del Jacobiano impiegando l'aggregatore UPGrad (Unconflicting Projection of Gradients).

   • I gradienti dei due obiettivi ($g_R$ e $g_F$) vengono impilati in una matrice Jacobiana.
   • UPGrad proietta ogni gradiente sul cono duale di tutti i gradienti degli obiettivi e ne calcola la media.
   • Questa aggregazione trova un punto Pareto-stazionario in cui la direzione di aggiornamento non aumenta un obiettivo mentre decresce l'altro, risolvendo efficacementmente il conflitto di gradiente.

Contributi Chiave

• Riformulazione dell'Unlearning: Sposta il paradigma dalla massimizzazione della perdita avversaria all'allineamento della predizione con un riferimento, vincolando l'obiettivo di dimenticanza per prevenire la deriva del modello.
• Framework Multi-Obiettivo: Modella esplicitamente la tensione tra dimenticare e ritenzione come un problema bi-obiettivo, risolto tramite ottimizzazione Pareto-stazionaria (discesa del Jacobiano) anziché tramite scalarizzazione lineare.
• Strategie di Riferimento: Propone due distinte distribuzioni di riferimento (Uniforme e Held-out) per controllare il comportamento del dimenticare, offrendo un compromesso tra implementazione senza dati e stabilità della ritenzione.
• Ottimizzazione Stabile: Dimostra che sostituire la massimizzazione illimitata della perdita con l'allineamento KL limitato riduce il conflitto di gradiente, portando ad aggiornamenti più stabili.

Risultati Sperimentali
Gli autori hanno valutato RAUL su compiti di classificazione di immagini (CIFAR-10 con ResNet-18) sotto rapporti di dimenticanza casuale del 10% e 50%, confrontandolo con baseline che includono Gradient Ascent (GA), Random Relabeling (RL), Influence Functions (IU) e SalUn.

• Gap di Performance: Le varianti RAUL hanno ottenuto i più piccoli gap medi rispetto al retraining completo.
  • Al 10% di dimenticanza, HeldDist-RAUL con UPGrad ha ottenuto il miglior gap medio di 2.23, superando la baseline più forte (IU a 6.06) e battendo significativamente GA (16.90).
  • Al 50% di dimenticanza, dove baseline come GA sono collassate (gap di 49.19), UniDist-RAUL con UPGrad ha ottenuto il miglior gap di 6.75, mentre le varianti HeldDist-RAUL hanno mantenuto gap intorno a 9.22.
• Compromesso tra Ritenzione e Dimenticanza:
  • HeldDist-RAUL ha dato priorità alla ritenzione, ottenendo un'alta accuratezza di ritenzione (RA ~98.89%) e accuratezza di test (TA ~92.12%) con un dimenticare conservativo.
  • UniDist-RAUL ha offerto un profilo di dimenticanza più aggressivo (maggiore Unlearning Accuracy) pur mantenendo il gap complessivo più basso rispetto al retraining.
• Metriche di Privacy: I metodi RAUL hanno mantenuto punteggi di Membership Inference Attack (MIA) vicini alla baseline di retraining (ad esempio, ~15.31 rispetto a 13.13 per il retraining), mentre GA è sceso a livelli quasi casuali (1.93), indicando che RAUL rimuove l'influenza senza l'instabilità degli attacchi avversari.
• Stabilità: Le varianti RAUL hanno mostrato deviazioni standard marcatamente inferiori rispetto a GA e ai metodi $\ell_1$-sparse, confermando la stabilità degli aggiornamenti allineati al riferimento.

Significatività e Rivendicazioni
Il documento afferma che RAUL affronta il collo di bottiglia fondamentale del conflitto esplicito tra dimenticare e ritenzione. Sostituendo la massimizzazione illimitata della perdita con l'allineamento KL limitato a una distribuzione di riferimento, il metodo:

1. Riduce il Conflitto di Gradiente: La formulazione MOO con aggregazione UPGrad assicura che gli aggiornamenti non degradino il set di ritenzione mentre si dimentica il set target.
2. Previene il Catastrophic Forgetting: La natura limitata dell'obiettivo di dimenticanza impedisce al modello di allontanarsi troppo dalla sua conoscenza pre-addestrata.
3. Offre Flessibilità: Il framework fornisce una scelta tra un approccio senza dati (UniDist) e un approccio dipendente dai dati con maggiore stabilità (HeldDist).

Gli autori concludono che, sebbene UniDist-RAUL serva come un robusto fallback che non richiede dati aggiuntivi, la disponibilità di un set held-out permette a HeldDist-RAUL di ottenere una ritenzione più stretta. Notano che il lavoro futuro esplorerà l'estensione di ciò a modelli generativi, LLM e l'utilizzo di Algoritmi Evolutivi Multi-Obiettivo (MOEAs) per soluzioni Pareto-ottimali più diverse.