Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

Sintesi Tecnica: Imparare Cosa Dimenticare: Migliorare l'Unlearning di LLM tramite l'Importanza Appresa a Livello di Token

Definizione del Problema
L'unlearning delle macchine mira a rimuovere la conoscenza mirata (ad esempio, dati personali, testi protetti da copyright, contenuti dannosi) da modelli linguistici di grandi dimensioni (LLM) addestrati, senza doverli riaddestrare da zero. Una sfida critica nei modelli autoregressivi è che non tutti i token all'interno di un "campione da dimenticare" (il dato da rimuovere) sono ugualmente rilevanti per l'informazione mirata. Molti token sono strutturali (ad esempio, parole funzionali, punteggiatura, schemi sintattici) e sono necessari per le capacità linguistiche generali. Gli approcci esistenti all'unlearning pesato per token tentano di applicare selettivamente la perdita di dimenticanza (forget loss) a specifici token, ma si affidano ad annotazioni esterne, modelli ausiliari, euristiche basate sulla probabilità o regole specifiche per il task per stimare la rilevanza del token. Questi metodi spesso non riescono a distinguere efficacemente tra il contenuto specifico da dimenticare e i token strutturali, portando a una dimenticanza insufficiente o a una degradazione non necessaria dell'utilità generale.

Metodologia: Alternating Token-Weighted Unlearning (ATWU)
Gli autori propongono che la specificità del token per la dimenticanza debba essere caratterizzata dall'interazione tra gli obiettivi di dimenticanza e di mantenimento (retain) stessi, piuttosto che da segnali esterni. Formalizzano questo concetto come un problema di ottimizzazione congiunta sui parametri del modello ($\theta$) e sui pesi dei token ($z$).

1. Formulazione Teorica: Il documento definisce una metrica di "conflitto di mantenimento", $\kappa(A)$, che misura il costo della soppressione di un insieme di token $A$ mantenendo l'ottimalità sul set di mantenimento. Sotto un'assunzione di "separazione del conflitto di mantenimento", gli autori dimostrano che l'insieme oracle dei token specifici da dimenticare può essere recuperato come il minimizzatore di un obiettivo congiunto che bilancia la perdita di mantenimento e una perdita di dimenticanza pesata. Questo risultato teorico suggerisce che i pesi dei token possono essere appresi direttamente dall'obiettivo di unlearning senza supervisione esterna.
2. Algoritmo (ATWU): Per rendere la questione trattabile, gli autori introducono l'Alternating Token-Weighted Unlearning (ATWU).
   • Scorer (Valutatore): Invece di apprendere pesi indipendenti per ogni token, ATWU utilizza uno scorer lineare leggero, $g_w$, parametrizzato da un vettore $w$ nello spazio dello stato nascosto del modello. Il punteggio per un token è $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$, dove $h_\theta$ è la rappresentazione nascosta.
   • Ottimizzazione Congiunta: Il framework ottimizza un obiettivo rilassato e continuo che include la perdita di mantenimento, una perdita di cross-entropia negativa saturata per la dimenticanza (SATGA+), un regolarizzatore di entropia per spingere i punteggi verso valori binari e un vincolo di budget per controllare il numero di token selezionati.
   • Aggiornamenti Alternati: I parametri del modello $\theta$ e i parametri dello scorer $w$ vengono aggiornati alternativamente. Quando si aggiorna $\theta$, i punteggi sono staccati (detached); quando si aggiorna $w$, $\theta$ è congelato. Ciò stabilizza l'addestramento decuplicando il ciclo di feedback tra la geometria variabile del modello e la selezione dei token.

Contributi Chiave

• Caratterizzazione del Conflitto di Mantenimento: Il documento fornisce una caratterizzazione teorica della specificità del token per la dimenticanza basata sulla tensione tra gli obiettivi di dimenticanza e di mantenimento, dimostrando che un'ottimizzazione congiunta può recuperare il supporto oracle per la dimenticanza sotto condizioni di separazione naturale.
• Apprendimento Non Supervisionato dei Pesi dei Token: ATWU è un framework leggero che apprende la specificità del token per la dimenticanza congiuntamente ai parametri del modello utilizzando solo le rappresentazioni interne del modello. Non richiede supervisione esterna a livello di token, modelli ausiliari o annotazioni costose.
• Integrazione Adattiva della Perdita: Il metodo introduce SATGA+, una variante pesata dallo score della cross-entropia negativa saturata dove lo score del token appreso viene iniettato nell'esponente di saturazione. Ciò consente aggiornamenti più fluidi e consapevoli dell'incertezza durante le fasi iniziali dell'ottimizzazione.

Risultati
Gli autori valutano ATWU su due benchmark: TOFU (biografie fittizie di autori sintetici) e RWKU (conoscenza di personaggi pubblici reali).

• Performance: ATWU raggiunge lo stato dell'arte nella Qualità di Unlearning (UQ), una metrica che bilancia la qualità della dimenticanza (FQ) e la degradazione del mantenimento (RD). Su TOFU, raggiunge una UQ di 91,7 (superando il secondo classificato di 5,8 pp) e su RWKU, 58,7 (superando il secondo classificato di 6,8 pp).
• Preservazione dell'Utilità: A differenza dei metodi di unlearning aggressivi che causano il collasso della qualità della generazione, ATWU preserva l'utilità generale (misurata tramite MMLU, ripetitività e tassi di vittoria a coppie) in modo vicino al checkpoint originale.
• Qualità del Punteggio del Token: I punteggi dei token appresi si allineano significativamente meglio con gli intervalli (span) di verità fondamentale per la dimenticanza (misurati tramite AUROC) rispetto alle euristiche basate sulla probabilità, agli approcci con modelli ausiliari e ad altri baseline di pesatura dei token.
• Versatilità: Il framework è agnostico rispetto alla perdita; quando combinato con altre perdite di dimenticanza (DPO, NPO, SIMNPO), ATWU migliora costantemente il trade-off tra dimenticanza e mantenimento rispetto alle loro controparti non pesate.

Significato e Rivendicazioni
Il documento sostiene che il "conflitto di mantenimento" fornisce un criterio intrinseco ed efficace per identificare cosa i modelli linguistici debbano dimenticare. Spostando l'unlearning pesato per token da una pipeline di euristiche esterne a un problema di ottimizzazione congiunta end-to-end, ATWU dimostra che:

1. L'obiettivo di unlearning stesso contiene un segnale latente sufficiente per recuperare i token specifici della dimenticanza senza supervisione esterna.
2. Il collo di bottiglia nell'unlearning selettivo non è semplicemente trovare i token giusti, ma il co-design rigoroso del meccanismo di scoring e dell'obiettivo di dimenticanza.
3. Un unlearning scalabile, rispettoso della privacy e altamente mirato è realizzabile senza dipendere da annotazioni esterne, che spesso introducono rischi per la privacy e problemi di scalabilità.

Gli autori segnalano limitazioni, tra cui la dipendenza da un iperparametro per il budget di selezione dei token e l'assunzione di una separazione rigorosa tra i token specifici della dimenticanza e quelli strutturali, che potrebbe valere solo approssimativamente nel linguaggio naturale. Inoltre, le valutazioni sono attualmente limitate a specifici benchmark e singole esecuzioni a causa dei costi computazionali.