OFMU: Optimization-Driven Framework for Machine Unlearning

Sintesi Tecnica di OFMU: Framework di Unlearning per Macchine Basato sull'Ottimizzazione

Definizione del Problema
I Large Language Models (LLM) e altri modelli di deep learning addestrati su enormi corpora spesso contengono informazioni sensibili, protette da copyright o dannose. Regolamenti come il GDPR impongono il "diritto all'oblio", richiedendo ai modelli di rimuovere l'influenza di dati specifici (il forget set, $D_f$) senza dover riaddestrare il modello da zero, mantenendo al contempo le prestazioni sui dati rimanenti (il retain set, $D_r$).

I metodi esistenti di unlearning basati sul modello formulano tipicamente questa operazione come un problema multi-obiettivo scalariato, combinando perdite di dimenticanza (forgetting loss) e di ritenzione (retention loss) con pesi fissi. Il documento identifica tre criticità fondamentali in questo approccio:

1. Ponderazione Statica: I pesi fissi non riescono ad adattarsi alla natura dinamica dell'unlearning, dove le fasi iniziali dovrebbero dare priorità alla dimenticanza e le fasi successive al ripristino dell'utilità.
2. Instabilità: La scalarietà porta a una dinamica di addestramento instabile. Se l'obiettivo di dimenticanza domina, l'utilità del modello crolla; se domina l'obiettivo di ritenzione, la dimenticanza rimane incompleta.
3. Entanglement dei Gradienti: Sui campioni "difficili da dimenticare", i gradienti per la dimenticanza e la ritenzione sono fortemente accoppiati. Gli aggiornamenti aggressivi per rimuovere la conoscenza spesso causano danni collaterali sproporzionati alla conoscenza ritenuta.

Metodologia: OFMU
Gli autori propongono OFMU (Optimization-Driven Framework for Machine Unlearning), un framework di ottimizzazione bi-livello basato su penalità che separa esplicitamente gli obiettivi in una struttura gerarchica. La filosofia centrale è che la dimenticanza è un obiettivo primario non negoziabile, mentre la preservazione dell'utilità è un obiettivo secondario condizionato a una riuscita dimenticanza.

1. Formulazione Bi-livello:

   • Massimizzazione Interna (Dimenticanza): Il problema interno cerca i parametri $\theta^*$ che massimizzano la perdita sul set di dimenticanza (forget set) minimizzando al contempo la similarità tra i gradienti del forget set e del retain set. Questo è definito dall'obiettivo $\Phi(\theta) = L_f(\theta) - \beta \cdot \text{Sim}(\nabla L_f, \nabla L_r)$, dove $\beta$ controlla la penalità di decorrelazione del gradiente.
   • Minimizzazione Esterna (Utilità): Il problema esterno minimizza la perdita sul set di ritenzione $L_r(\theta)$, soggetto al vincolo che i parametri siano punti stazionari dell'obiettivo interno ($\nabla \Phi(\theta) = 0$).

2. Riformulazione Basata su Penalità:
   Risolvere direttamente il problema bi-livello è computazionalmente proibitivo a causa della necessità di ripetute massimizzazioni interne e derivate di ordine superiore. OFMU riformula il problema in un problema a livello singolo non vincolato utilizzando un termine di penalità:
   $$F(\theta) = L_r(\theta) + \rho \|\nabla \Phi(\theta)\|^2$$
   Qui, $\rho$ è un parametro di penalità che impone la stazionarietà dell'obiettivo interno. Per $\rho \to \infty$, il minimizzatore di $F(\theta)$ soddisfa i vincoli bi-livello originali.

3. Algoritmo a Due Cicli (Two-Loop Algorithm):
   Per garantire la scalabilità, gli autori sviluppano un algoritmo a due cicli:

   • Ciclo Interno (Inner Loop): Esegue $T$ passi di gradiente ascendente su $\Phi(\theta)$ per massimizzare la dimenticanza e decorrelare i gradienti.
   • Ciclo Esterno (Outer Loop): Esegue un passo di gradiente discendente su $F(\theta)$ per ripristinare l'utilità. Questo passaggio comporta il calcolo di un prodotto Hessiano-vettore (tramite differenziazione automatica) per gestire il termine di penalità $\|\nabla \Phi(\theta)\|^2$.
   • Programmazione della Penalità (Penalty Schedule): Il parametro di penalità $\rho$ viene aumentato nel corso delle iterazioni per rafforzare gradualmente l'applicazione della condizione di stazionarietà interna.

Contributi Chiave

• Framework Innovativo: Introduzione di OFMU, un framework bi-livello che dà priorità alla dimenticanza rispetto alla preservazione dell'utilità, catturando l'asimmetria intrinseca del compito di unlearning.
• Algoritmo Scalabile: Sviluppo di un algoritmo a due cicli con garanzie di convergenza dimostrabili che evita i colli di bottiglia computazionali dell'ottimizzazione bi-livello tradizionale (ad esempio, la convergenza interna completa).
• Penalità Consapevole della Similarità: Progettazione di un termine di penalità che decorrela dinamicamente i gradienti di dimenticanza e ritenzione, mitigando l'interferenza distruttiva durante gli aggiornamenti.
• Analisi Teorica: Analisi rigorosa della convergenza che mostra come l'algoritmo converga a un punto $\epsilon$-stazionario sia in contesti convessi che non convessi, con specifici limiti sulla subottimalità.

Risultati Sperimentali
Gli autori hanno valutato OFMU su benchmark linguistici e di visione:

• Linguaggio (Benchmark TOFU): Utilizzando LLaMA-2-7B e LLaMA-3.2-1B, OFMU è stato testato per la rimozione dell'1%, 5% e 10% del dataset.
  • Prestazioni: OFMU ha ottenuto un equilibrio superiore tra Qualità della Dimenticanza (FQ), Utilità del Modello (MU) e Rapporto di Verità della Dimenticanza (FTR).
  • Confronto: A differenza di Gradient Ascent (GA) e Gradient Difference (GradDiff), che ottenevano un'alta FQ ma causavano il collasso dell'utilità (MU $\approx$ 0), OFMU ha mantenuto un'alta utilità (ad esempio, MU $\approx$ 0.65 su LLaMA-2 per il 5% di dimenticanza) imponendo al contempo una forte dimenticanza. Ha superato i baseline come NPO e RMU nei punteggi normalizzati complessivi.
• Visione (CIFAR-10): Testato in scenari di dimenticanza per classe (class-wise) e casuale (random).
  • Class-wise: OFMU ha ottenuto un'Accuratezza di Unlearning (UA) dell'81.51% e un'Accuratezza di Ritenzione (RA) del 93.51%, offrendo un trade-off migliore rispetto a Influence Unlearning (IU), che presentava una UA più alta ma era computazionalmente costoso.
  • Random: Nello scenario impegnativo di dimenticanza casuale (10% dei dati), OFMU ha raggiunto una UA del 7.71%, superando leggermente il riaddestramento (6.79%), mantenendo al contempo la robustezza contro gli attacchi di Inferenza di Appartenenza (MIA).

Significatività e Rivendicazioni
Il documento afferma che OFMU affronta l'instabilità fondamentale dei metodi di unlearning scalariati riconoscendo la natura gerarchica del problema. Imponendo la dimenticanza come vincolo primario prima di ottimizzare l'utilità, OFMU raggiunge i migliori trade-off tra i compiti di linguaggio e visione. Gli autori asseriscono che il loro approccio fornisce:

• Stabilità: Prestazioni consistenti anche su campioni difficili da dimenticare dove altri metodi falliscono.
• Robustezza: Maggiore resilienza contro gli attacchi di inferenza di appartenenza rispetto ai baseline esistenti.
• Fondamento Teorico: Un approccio principiante con garanzie di convergenza in regimi non convessi, andando oltre gli schemi euristici di ponderazione.

Il documento conclude che, sebbene OFMU rappresenti un passo avanti significativo, i lavori futuri potrebbero esplorare scenari di unlearning continuo, programmi di penalità adattivi e l'applicazione a modelli fondazionali più grandi e dati multimodali.