Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

Sintesi Tecnica: Divergence Decoding

Definizione del Problema

I Large Language Models (LLM) memorizzano frequentemente dati sensibili di addestramento, creando significativi rischi per la privacy e il copyright. Affrontare questi rischi rimuovendo conoscenze specifiche dai checkpoint dei modelli esistenti è una sfida complessa. Gli approcci tradizionali, come il riaddestramento dei modelli da zero su dataset sanitizzati, sono computazionalmente impraticabili su scala frontier (richiedendo milioni di ore di GPU). I metodi esistenti di machine unlearning, che modificano i pesi del modello tramite tecniche come il gradient ascent o la negative preference optimization, spesso soffrono di una perdita di utilità catastrofica, sono fragili e rimangono costosi. Inoltre, questi metodi degradano frequentemente le prestazioni complessive del modello sui dati mantenuti.

Metodologia: Divergence Decoding (DD)

Gli autori propongono il Divergence Decoding (DD), un meccanismo di unlearning durante l'inferenza che orienta i logit di un modello target lontano da dati specifici senza modificare direttamente i pesi del modello. Il metodo si ispira al framework Product of Experts e all'Importance Sampling.

Meccanismo Core

Il DD utilizza due piccoli modelli ausiliari, $p$ e $q$, addestrati tramite pipeline di fine-tuning standard per agire come proxy della differenza tra l'attuale Modello Target ($P$, addestrato sia sul set di mantenimento che su quello di dimenticanza) e l'ideale Modello di Riaddestramento ($Q$, addestrato solo sul set di mantenimento).

• Modello Ausiliario $p$: Addestrato sul "forget set" (o su una combinazione di forget e retain, a seconda del setup del benchmark).
• Modello Ausiliario $q$: Addestrato sul "retain set".

Il metodo approssima il campionamento dal modello di Riaddestramento ideale $Q$ regolando i logit del modello Target accessibile $P$ in base alla differenza tra i modelli ausiliari. Sono proposte due specifiche regolazioni:

1. Linear Divergence Decoding: Una combinazione lineare di logit dove la differenza tra i modelli ausiliari orienta il target:
   $$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$$
   Qui, $\alpha$ è un iperparametro. Il rapporto $q/p$ agisce come un "Domain Expert" che aumenta il peso dei token probabilmente presenti nel retain set e diminuisce quello dei token probabilmente presenti nel forget set.

2. Rank-Based Divergence Decoding: Una regolazione basata sul rango che sopprime i primi $k$ logit più divergenti:
   $$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$$
   (In pratica, per evitare punteggi di privacy degeneri, i primi $k$ logit vengono sostituiti con il $k$-esimo logit più grande della distribuzione non modificata).

Distillazione del Modello

Per affrontare i costi di latenza e computazione derivanti dall'esecuzione simultanea di tre modelli (Target + 2 Ausiliari) durante l'inferenza, gli autori propongono di distillare il comportamento del sistema aumentato da DD in un singolo modello. Un sistema Linear DD congelato funge da insegnante (teacher) e il Modello Target viene sottoposto a fine-tuning come studente (student) utilizzando un obiettivo di divergenza KL sul forget set. Ciò converte il controllore durante l'inferenza in una rete parametrica che può essere servita senza modelli ausiliari.

Contributi Chiave

Il documento apporta i seguenti contributi alla letteratura sull'unlearning automatico:

• Nuovo Logit Steering: Un meccanismo che supera gli attuali metodi state-of-the-art (SOTA) attraverso gli standard benchmark di unlearning (TOFU e MUSE).
• Ponte tra Paradigmi: Una connessione tra l'unlearning durante l'inferenza e l'unlearning basato sui pesi tramite distillazione, consentendo un deployment flessibile.
• Efficacia Cross-Domain: Esplorazioni iniziali che dimostrano l'applicabilità del metodo oltre la generazione di testo, specificamente nella generazione di immagini basata su transformer.
• Ablazioni Estese: Analisi completa che copre la scelta degli iperparametri, l'impatto su calcolo/latenza, la generalizzazione cross-tokenizer/cross-family e la robustezza avversaria.

Risultati Sperimentali

Gli autori hanno valutato il DD utilizzando il framework Open Unlearning sui benchmark TOFU (instruction-tuned, query complesse) e MUSE (pre-trained, few-shot Q&A).

• Performance: Il DD supera decisamente i baseline SOTA (inclusi Gradient Ascent, NPO, RMU e UNDIAL) sul benchmark TOFU. Su MUSE, migliora marginalmente rispetto ai forti baseline nei compiti di Knowledge Memorization e Q&A, sebbene sia meno efficace sulla Verbatim Memorization (dove i metodi di filtraggio più semplici spesso eccellono).
• Preservazione dell'Utilità: A differenza di molti metodi di unlearning che causano un dimenticanza catastrofica, il DD preserva la conoscenza generale e l'utilità del modello.
• Distillazione: Il modello distillato recupera la maggior parte dei guadagni di performance del Linear DD durante l'inferenza, superando i precedenti metodi di unlearning basati sul gradiente.
• Scalabilità e Sostenibilità: Il metodo scala bene con l'aumentare delle dimensioni del forget set e gestisce richieste di unlearning sequenziali senza una significativa degradazione delle prestazioni.
• Robustezza Avversaria: Sotto il benchmark Leak@K, che testa se le informazioni dimenticate possono essere recuperate tramite ripetuti prompt avversari, il Distill DD eguaglia le performance di un full retrain, indicando che l'unlearning è robusto e non una mera correzione superficiale.
• Generazione di Immagini: Risultati preliminari sulla generazione di immagini basata su ImageNet mostrano che il DD può ridurre la generazione di specifiche semantiche visive (es. classi di cani nel forget set) mantenendo la qualità percettiva, sebbene siano richiesti valori di $\alpha$ più elevati rispetto al testo.

Significato e Rivendicazioni

Il documento sostiene che la strada verso un'IA più sicura e conforme non risiede nel "mandare in crisi" il modello base attraverso la modifica diretta dei pesi, ma nel guidarlo. Gli autori affermano che per molti casi d'uso pratici (es. richieste del "Diritto all'oblio", conformità al copyright e backtesting finanziario per prevenire il look-ahead bias), modificare i pesi del modello è non necessario e potenzialmente dannoso per l'utilità.

Inveve, il DD offre un approccio di "apprendimento attraverso l'oblio" dove piccoli ed economici modelli ausiliari guidano la generazione di un modello grande. Ciò fornisce una soluzione pratica per deployment ad alto rischio dove è richiesto un unlearning frequente e ad hoc, ridefinendo le performance SOTA bilanciando l'efficace unlearning con la preservazione delle capacità del modello. Il metodo è presentato come generalmente applicabile a qualsiasi modello probabilistico, estendendo la sua utilità oltre il testo ad altri domini come la generazione di immagini.