Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

1. Il Problema: Unlearning Selettivo nei LLM

L'unlearning (dimenticanza) nelle Large Language Models (LLM) è una tecnica cruciale per rimuovere conoscenze specifiche (ad esempio, dati sensibili o contenuti dannosi) dal modello senza degradare le sue capacità generali.
Il problema centrale affrontato dal paper è l'inefficienza degli approcci attuali di token-wise unlearning (unlearning a livello di token).

• Limitazione degli approcci esistenti: I metodi precedenti spesso applicano la perdita di dimenticanza (forgetting loss) in modo uniforme o basandosi esclusivamente sulla confidenza del ground-truth (quanto il modello è sicuro della risposta corretta) o su parser linguistici esterni (es. identificare solo i nomi propri o i sostantivi).
• Il difetto: Questi approcci non riescono a distinguere efficacemente tra token informativi (che portano il significato semantico, come "Carmen" in una domanda su un autore) e token strutturali (come "il", "la", che servono alla sintassi ma hanno bassa ambiguità).
• Conseguenza: Penalizzare indiscriminatamente tutti i token o basarsi solo sulla confidenza porta a una degradazione inutile dell'utilità del modello (model utility) o a una rimozione incompleta delle informazioni desiderate.

2. Metodologia: Entropy-guided Token Weighting (ETW)

Gli autori propongono ETW, un regolarizzatore a livello di token che utilizza l'entropia della distribuzione predittiva del modello come proxy per l'importanza semantica di un token.

Il Principio Intuitivo

• Token Strutturali: Parole come articoli o preposizioni ("the", "a") sono altamente prevedibili e ambigue. Il modello ha una distribuzione di probabilità concentrata su poche opzioni, risultando in bassa entropia.
• Token Informativi: Parole chiave o nomi propri ("Carmen", "Waiter") ammettono molte alternative plausibili. Il modello distribuisce la probabilità su più candidati, risultando in alta entropia.

Formulazione Matematica

Il metodo calcola l'entropia $H$ per ogni token $y_i$ in una sequenza di completamento, basandosi sulla distribuzione predittiva su tutto il vocabolario $V$:
$$H(y_i|y_{<i}, x; \theta) = -\sum_{v \in V} p(v|y_{<i}, x; \theta) \log p(v|y_{<i}, x; \theta)$$

La perdita di unlearning (Gradient Ascent loss) viene poi pesata token per token:
$$L_f(y|x; \theta) = \sum_{i=1}^{n} \omega_i(x, y) \log p(y_i|y_{<i}, x; \theta)$$

Dove il peso $\omega_i$ è normalizzato in base all'entropia:
$$\omega_i^{ETW} = \frac{n \cdot H(y_i|y_{<i}, x; \hat{\theta})}{\sum_{j=1}^{n} H(y_j|y_{<j}, x; \hat{\theta})}$$
Nota: $\hat{\theta}$ è una copia dei parametri del modello con gradiente bloccato (stop-gradient) per evitare che il calcolo dei pesi influenzi l'aggiornamento dei gradienti.

Vantaggio chiave: A differenza dei metodi basati sulla sola confidenza, ETW utilizza l'intera distribuzione di probabilità, catturando l'incertezza contestuale e l'ambiguità semantica.

3. Contributi Chiave

1. Introduzione di ETW: Un nuovo regolarizzatore che sfrutta l'entropia della distribuzione predittiva completa invece della sola confidenza del token ground-truth.
2. Distinzione Informativa/Strutturale: Dimostrazione empirica che l'entropia è un segnale superiore per distinguere i token che contengono conoscenza da quelli puramente sintattici.
3. Performance Superiore: ETW raggiunge un compromesso migliore tra la qualità della dimenticanza (forget quality) e la preservazione dell'utilità del modello rispetto agli stati dell'arte (basati su confidenza o regole linguistiche).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark TOFU (per la rimozione di identità di autori fittizie) e WMDP (per la rimozione di conoscenze pericolose in cybersecurity e biosecurity), utilizzando modelli LLaMA (1B, 3B, 7B) e StableLM Zephyr.

• Qualità della Dimenticanza (Forget Quality): ETW supera tutti i baseline (inclusi GA, NPO, WGA, SatImp, SCN/SCE). Nei set di test TOFU al 10%, ETW è l'unico metodo (insieme a NPO) che riesce a rendere le distribuzioni di output del modello unlearned indistinguibili statisticamente da un modello riaddestrato da zero (valore $-\log(FQ) < 1.3$).
• Preservazione dell'Utilità (Model Utility): ETW degrada significativamente meno l'utilità del modello rispetto ad altri metodi. Ad esempio, nel set TOFU 10% con LLaMA-3.2-1B, ETW ha un punteggio aggregato (Agg.) di 6.40, molto migliore rispetto a GA (23.44) o SatImp (23.62).
• Analisi delle Probabilità: I token informativi nei modelli unlearned con ETW mantengono probabilità molto vicine a quelle del modello riaddestrato (differenza relativa < 5%), indicando che il modello non ha "dimenticato" erroneamente parole chiave, ma ha solo rimosso la conoscenza specifica indesiderata.
• Robustezza: ETW mantiene prestazioni stabili al variare della dimensione del modello (da 1B a 7B) e della percentuale di dati da dimenticare (1%, 5%, 10%).

5. Significato e Implicazioni

Questo lavoro è significativo perché sposta il paradigma dell'unlearning da approcci basati su regole esterne o metriche di confidenza statiche a un approccio dinamico e contestuale basato sull'incertezza intrinseca del modello.

• Efficienza: Permette di "dimenticare" solo ciò che è semanticamente rilevante, preservando la grammatica e la struttura della lingua, riducendo così il "collasso" delle capacità del modello.
• Indipendenza: Non richiede parser linguistici esterni (come spaCy) che potrebbero fallire in contesti complessi o non essere disponibili in tutte le lingue.
• Sicurezza: Offre una difesa più robusta contro attacchi di inferenza dei membri (membership inference) e jailbreak, garantendo che le informazioni sensibili vengano rimosse senza compromettere l'usabilità generale dell'assistente AI.

In sintesi, ETW dimostra che l'entropia è un segnale fondamentale per guidare l'unlearning selettivo, permettendo di "dimenticare ciò che conta" mantenendo il resto intatto.