Riassunto Tecnico: MAAT: Multi-phase Adapter-Aware Targeted Unlearning

1. Definizione del Problema

Il documento identifica un bias strutturale critico nei benchmark di unlearning esistenti (es. CounterFact, ZSRE, TOFU, MUSE, WMDP-Cyber). Questi dataset sono fortemente sbilanciati verso domande di tipo entità-centrico "Cosa", "Chi", "Quando" e "Dove", mentre le domande "Perché" — che indagano le catene di conoscenza causale e relazionale — costituiscono meno dello 0,06% - 1,3% di questi dataset.

Questa rappresentazione quasi nulla crea un gap di misurazione: i metodi di unlearning che falliscono nel rimuovere la conoscenza causale possono comunque ottenere punteggi aggregati elevati. Gli autori sostengono che la conoscenza causale sia qualitativamente più difficile da eliminare a causa di due fattori:

1. Lunghezza e Complessità: Le risposte alle domande "Perché" hanno una media di 40,1 token (rispetto ai 4,2–10,5 delle altre) e il 44% coinvolge catene di ragionamento multi-hop (rispetto a ≤2% delle altre).
2. Diluizione del Gradiente: Il segnale di ascesa necessario per eliminare questi fatti è distribuito su lunghi intervalli di token senza una direzione dominante, causando il fallimento dei metodi basati su gradiente standard o la degradazione della conoscenza mantenuta quando costretti ad essere aggressivi.

I metodi esistenti (Gradient Ascent, KL-regularized GA, Adapter Negation) affrontano un trade-off fondamentale: l'unlearning aggressivo degrada l'utilità del modello (ritenzione), mentre i metodi conservativi non riescono a eliminare i fatti causali.

2. Metodologia: Il Framework MAAT

Gli autori propongono MAAT (Multi-phase Adapter-Aware Targeted Unlearning), un framework a tre fasi che opera direttamente sui pesi degli adapter LoRA senza fonderli nel modello base. Ciò consente una "chirurgia dell'adapter" strutturata piuttosto che una pressione uniforme del gradiente.

Fase 1: Ascesa con Proiezione del Gradiente

Il Gradient Ascent standard applica aggiornamenti in modo uniforme, il che può erodere la conoscenza mantenuta se il gradiente di dimenticanza ($g_f$) si allinea con il gradiente di ritenzione ($g_r$). MAAT impiega la proiezione ortogonale condizionale:

• Se $g_f \cdot g_r > 0$ (conflitto), la componente di $g_f$ allineata con $g_r$ viene rimossa tramite proiezione:
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• Se non esiste conflitto, l'intera direzione di ascesa per la dimenticanza viene preservata.
• L'obiettivo minimizza la perdita di dimenticanza ancorandosi allo stato dell'adapter pre-unlearning tramite la divergenza KL.

Fase 2a: SVD Rank-Dimension Pruning (Solo MLP)

Per affrontare i segnali residui nelle direzioni a bassa magnitudo, MAAT valuta le dimensioni dell'adapter Multi-Layer Perceptron (MLP) in base alle norme delle colonne del gradiente sul set di dimenticanza.

• La frazione superiore $\rho$ delle dimensioni di rango viene azzerata nelle matrici $A$ e $B$ dei moduli MLP (down_proj, up_proj, gate_proj).
• Fondamentalmente, i moduli di attenzione sono esclusi dal pruning per evitare di distruggere le capacità di instruction-following.

Fase 2b: Negazione del Vettore di Task

Questa fase prende di mira lo specifico subspace di dimenticanza identificato nella Fase 2a.

• Le dimensioni di rango con il punteggio di dimenticanza più alto (es. 50%, $k_F$) di ogni matrice LoRA $B$ vengono mascherate per formare un "vettore di task di dimenticanza" $\tau^F_l$.
• Questo vettore viene sottratto dai pesi: $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• Ciò ottiene una soppressione mirata senza cancellare indiscriminatamente le direzioni associate alla ritenzione.

Fase 3: Ibrido di Riparazione della Ritenzione (Hybrid Retain Repair)

Per recuperare le prestazioni degradate dal pruning e dalla negazione, viene minimizzato un obiettivo di riparazione ibrida. Esso combina quattro termini:

1. Divergenza KL: Ancora il modello alla distribuzione di ritenzione.
2. Distanza dello Stato Nascosto: Minimizza la distanza tra gli stati nascosti attuali e di riferimento per i campioni di ritenzione.
3. Massimizzazione dell'Entropia: Un termine di entropia negativa ($-w_{ent} H_F$) massimizza l'entropia sulle predizioni del set di dimenticanza, impedendo al modello di ri-apprendere il contenuto dimenticato durante la riparazione.
4. Penalità del Vettore di Task: Penalizza la similarità del coseno tra i pesi attuali e il vettore di task di dimenticanza.

3. Contributi Chiave

1. Benchmark 5WBENCH

Gli autori introducono 5WBENCH, un benchmark bilanciato di 5.000 campioni derivato dal corpus Factify-5WQA.

• Struttura: 1.000 esempi per categoria 5W (Chi, Cosa, Quando, Dove, Perché).
• Significatività: Fornisce la prima copertura statisticamente significativa delle domande "Perché" (20% del dataset), consentendo la quantificazione dei fallimenti dell'unlearning causale precedentemente invisibili nei benchmark sbilanciati.
• Formato: Compatibile con EasyEdit, inclusi le risposte corrette, le etichette e le varianti riformulate per i test di robustezza.

2. Algoritmo MAAT

MAAT è il primo metodo che riesce simultaneamente ad ottenere un alto livello di dimenticanza e un'alta ritenzione sulla conoscenza causale di tipo "Perché". Opera sulle proprietà strutturali degli adapter LoRA, utilizzando lo scoring SVD e la negazione del vettore di task per isolare e sopprimere specifiche dimensioni di rango attivate dagli input del set di dimenticanza.

4. Risultati Sperimentali

Il framework è stato valutato su LLaMA 3.2-3B e Gemma 3-4B utilizzando un LLM-as-a-Judge (Qwen 2.5-7B).

Performance su 5WBENCH

• Frontiera di Pareto: MAAT raggiunge un nuovo punto operativo, superando simultaneamente il 60% di Forget Success Rate (FSR) e il 60% di Retain Success Rate (RSR) in tutte le cinque categorie 5W su LLaMA 3.2-3B.
  • Llama 3.2-3B: 77,4% FSR / 71,6% RSR (Aggregato).
  • Gemma 3-4B: 64,0% FSR / 61,8% RSR (Aggregato).
• Performance per il tipo "Perché":
  • MAAT: 63% FSR / 65% RSR (Llama).
  • I baseline (GA, GA+KL, AN, RO-FT) non riescono a raggiungere questo equilibrio. Ad esempio, il Gradient Ascent (GA) ottiene il 44% di FSR ma il 78% di RSR, il che gli autori attribuiscono all'"under-forgetting" (il modello mantiene i fatti semplicemente perché non li ha dimenticati, non perché ha preservato l'utilità).
• Fallimenti dei Baseline:
  • Adapter Negation (AN): Ottiene una dimenticanza quasi perfetta (99,8% FSR) ma causa un collasso catastrofico della ritenzione (0,4% RSR), confermando che la negazione completa del vettore di task rimuove indiscriminatamente sia la conoscenza di dimenticanza che quella di ritenzione.
  • RO-FT: Alta ritenzione ma minore efficienza di dimenticanza rispetto a MAAT.

Performance su TOFU

Sul dataset TOFU (che manca di una copertura significativa del "Perché"), MAAT ottiene risultati competitivi (67,5% FSR / 46,6% RSR su Llama), dimostrando robustezza attraverso diversi dataset, sebbene il paper noti che lo sbilanciamento delle categorie di TOFU ne limita l'utilità per l'analisi causale.

Studi di Ablazione

• Proiezione del Gradiente: Essenziale per proteggere la conoscenza mantenuta durante l'ascesa.
• Riparazione Ibrida: Necessaria per recuperare la ritenzione persa durante il pruning/negazione; senza il termine di entropia, la fase di riparazione recupera involontariamente il contenuto dimenticato.
• Task Vector Negation vs. Attention Pruning: Sostituire il pruning dell'attenzione con la negazione del vettore di task (Condizione D) migliora significativamente la ritenzione (76% vs. 54% RSR) mantenendo una forza di dimenticanza simile, validando la decisione di escludere i moduli di attenzione dal pruning strutturale.

5. Significato e Rivendicazioni

Il paper sostiene che MAAT sia il primo metodo a navigare con successo il trade-off forget–retain specificamente per la conoscenza causale (tipo "Perché"), un dominio in cui i baseline esistenti falliscono.

• Insight Strutturale: Gli autori dimostrano che la difficoltà di eliminare i fatti causali deriva dalla complessità relazionale e dalla diluizione del gradiente, non da un footprint unico nello spazio dei pesi (l'analisi dell'encoding mostra un encoding distribuito uniformemente tra tutte le categorie 5W).
• Impatto della Valutazione: Introducendo 5WBENCH, il paper fornisce uno strumento per esporre gli artefatti di "under-forgetting" nei metodi esistenti, dove l'alta ritenzione è in realtà un sottoprodotto di un fallimento della dimenticanza.
• Sensibilità all'Architettura: I risultati suggeriscono che l'unlearning basato su adapter eredita la struttura di encoding della conoscenza del modello base. Il divario di performance tra LLaMA e Gemma indica che la separabilità della conoscenza nelle dimensioni di rango dell'adapter dipende dall'architettura.

Gli autori concludono che, sebbene MAAT raggiunga una nuova frontiera di Pareto, il campo richiede tassonomie di valutazione bilanciate per rilevare i fallimenti nell'unlearning della conoscenza causale, che i benchmark standard attualmente oscurano.