Riepilogo Tecnico: Gli Unlearners possono mentire: Valutazione e miglioramento dell'onestà nell'oblio dei LLM

1. Enunciato del Problema

L'oblio (unlearning) dei Modelli Linguistici su Grande Scala (LLM) mira a rimuovere selettivamente dati di addestramento specifici (ad esempio, informazioni sensibili o dannose) preservando al contempo l'utilità generale del modello. Tuttavia, i metodi di oblio esistenti spesso non riescono a garantire l'onestà nel modello sottoposto a oblio. Sebbene un modello possa "dimenticare" con successo le conoscenze target in termini di accuratezza, può esibire comportamenti disonesti come:

• Allucinazione: Fabricare informazioni plausibili ma errate riguardo agli argomenti dimenticati.
• Incoerenza: Fornire risposte diverse a query semanticamente equivalenti o non mantenere una posizione di rifiuto coerente attraverso dialoghi multi-turno.
• Rifiuto Spurio: Emettere risposte "Non lo so" (IDK) pur conservando la conoscenza sottostante (conoscenza mascherata) o selezionare opzioni IDK basandosi su un bias posizionale piuttosto che su un'incertezza genuina.

Il documento sostiene che le metriche di valutazione attuali (ad esempio, l'accuratezza sui set di dimenticanza) sono insufficienti perché non catturano l'autoconoscenza (la capacità del modello di riconoscere i propri limiti) e l'autoespressione (la comunicazione coerente e veritiera di tali limiti).

2. Metodologia

2.1 Definizione Formale dell'Oblio Onesto

Gli autori definiscono l'oblio onesto attraverso due pilastri:

1. Set di Mantenimento (Retain Set): Il modello deve preservare l'utilità e la capacità di esprimere fedelmente le conoscenze mantenute.
2. Set di Dimenticanza (Forget Set): Il modello deve rimuovere efficacemente le conoscenze target e, crucialmente, riconoscere i propri limiti in modo veritiero e stabile quando interrogato su contenuti dimenticati.

2.2 Quadro di Valutazione

Per valutare sistematicamente l'onestà, il documento introduce una serie di metriche negli scenari di Risposta a Domande (Q&A) e Domande a Scelta Multipla (MCQ):

• Metriche di Utilità: MMLU, Follow-up delle Istruzioni (IF) e Numero di risposte Corrette (NC) sui dati mantenuti.
• Onestà sul Set di Mantenimento: Tasso di Accordo (AR) e Punteggio di Robustezza alla Fuorviatura (MRS).
• Metriche sul Set di Dimenticanza:
  • Tasso di Rifiuto (RR): Proporzione di domande in cui il modello rifiuta esplicitamente o esprime incertezza.
  • QAMRC (Coerenza del Rifiuto Multi-turno Q&A): Misura se un rifiuto al primo turno rimane stabile dopo una query di follow-up.
  • CIR (Tasso di Scelta-IDK) e COR (Tasso di Scelta-Altro): Nei MCQ, il CIR misura la selezione di un'opzione "Non lo so". Il COR misura la selezione di un'opzione semanticamente irrilevante nella stessa posizione per rilevare il bias posizionale.
  • STD e MCQSC: Misurano la stabilità delle risposte sotto variazioni del prompt e interrogazioni ripetute.

2.3 Metodo Proposto: ReVa (Allineamento del Vettore di Rifiuto)

Gli autori propongono ReVa, una procedura di allineamento delle rappresentazioni progettata per migliorare l'onestà nei modelli che hanno già subito un oblio basato sulla randomizzazione delle caratteristiche (ad esempio, RMU).

• Meccanismo: Invece di un fine-tuning supervisionato (SFT) per generare token specifici come "Non lo so", ReVa allinea le rappresentazioni interne del flusso residuo del modello con un vettore di rifiuto distillato.
• Processo:
  1. Estrarre una direzione di rifiuto $r$ dalle attivazioni interne di un modello quando esprime incertezza epistemica (ad esempio, su domande fuori dalla sua conoscenza).
  2. Effettuare il fine-tuning del modello sottoposto a oblio per allineare le attivazioni degli input del set di dimenticanza verso questa direzione di rifiuto distillata $r$ a specifici livelli del transformer (ottimizzato al livello 18 per Zephyr-7b).
  3. La funzione di perdita minimizza la distanza tra l'attivazione del modello e il vettore di rifiuto scalato: $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$.
• Vantaggi: ReVa evita la mappatura lessicale superficiale dell'IDK-SFT, è computazionalmente efficiente rispetto ai metodi di ascesa del gradiente e preserva l'utilità sulle conoscenze mantenute.

3. Risultati Chiave

3.1 Valutazione dei Metodi Esistenti

Il documento valuta 9 metodi appartenenti a tre famiglie (Basati sul Rifiuto, Randomizzazione delle Caratteristiche, Ascesa del Gradiente) sul benchmark WMDP-Bio:

• Basati sul Rifiuto (es. IDK+AP): Ottenono tassi di rifiuto elevati ma spesso soffrono di comportamenti "superficiali e ingannevoli". Possono mantenere un'alta accuratezza sulle domande di dimenticanza nonostante l'output "IDK", indicando conoscenza mascherata.
• Ascesa del Gradiente (es. NPO, GA): Degradano severamente l'utilità (NC e MMLU diminuiscono significativamente). Esibiscono un comportamento IDK spurio: alto CIR ma anche alto COR, ed entropia estremamente bassa del primo token. Ciò suggerisce che selezionano le opzioni "IDK" a causa di un bias posizionale o soppressione dei token piuttosto che di un'incertezza genuina.
• Randomizzazione delle Caratteristiche (es. RMU): Migliori nel preservare l'utilità e nel rimuovere la conoscenza (bassa ACC), ma falliscono nell'onestà. Spesso allucinano sul set di dimenticanza o forniscono risposte incoerenti tra i turni, mancando di un'espressione stabile di sé.

3.2 Prestazioni di ReVa

ReVa, applicato come passo di post-elaborazione ai modelli sottoposti a oblio RMU, dimostra prestazioni superiori:

• Onestà: Raggiunge un Tasso di Rifiuto (RR) di ~60,86% e un QAMRC (stabilità dopo 2 round) del 45,42%, superando significativamente i baseline.
• Utilità: Mantiene un'alta utilità sul set di mantenimento (MMLU ~57,56, NC ~1592), comparabile al modello RMU originale e migliore di RMU+IDK.
• Stabilità: Riduce la varianza dell'output (STD) e migliora la coerenza nei MCQ.
• Efficienza: Richiede solo ~5,91 minuti di addestramento su 2 GPU A6000, rispetto a ~210 minuti per IDK+AP.

4. Contributi Chiave

1. Identificazione della Disonestà: Il documento identifica e categorizza i comportamenti disonesti (allucinazione, incoerenza, rifiuto spurio) nei metodi di oblio attuali, sostenendo che l'oblio non riguarda solo il dimenticare ma l'espressione onesta di sé.
2. Benchmark di Onestà: Un quadro di valutazione completo con metriche dedicate (RR, QAMRC, CIR/COR, MRS) per valutare sia l'efficacia della dimenticanza sia la stabilità dell'espressione dell'incertezza.
3. Analisi Teorica ed Empirica: L'analisi rivela che i metodi di ascesa del gradiente portano a un'ottimizzazione illimitata, causando il crollo dell'utilità e preferenze spurie per i token, mentre i metodi basati sul rifiuto spesso apprendono pattern superficiali.
4. Metodo ReVa: Introduzione di un metodo leggero di allineamento delle rappresentazioni che permette ai modelli di riconoscere genuinamente i propri limiti senza sacrificare le capacità generali.

5. Significato e Affermazioni

Il documento afferma che l'onestà è una dimensione critica, ma trascurata, dell'oblio degli LLM. I metodi attuali che non riconoscono i limiti possono creare rischi per la sicurezza (ad esempio, allucinazioni di informazioni mediche o biologiche pericolose) e erodere la fiducia degli utenti.

Gli autori affermano che ReVa rappresenta un passo significativo verso un "oblio onesto" permettendo ai modelli di:

• Dimenticare efficacemente le conoscenze target.
• Riconoscere in modo coerente e veritiero ciò che non sanno più.
• Mantenere un'alta utilità sulle conoscenze mantenute.

Il documento conclude che, sebbene ReVa migliori l'onestà e la stabilità, non è una soluzione perfetta (ad esempio, le prestazioni nei MCQ hanno ancora margine di miglioramento) e che lo studio è attualmente limitato al benchmark WMDP. Il lavoro sottolinea che la futura ricerca sull'oblio deve andare oltre le semplici metriche di accuratezza per garantire che i modelli non siano solo "dimenticati" ma anche "onesti".