Riepilogo Tecnico: Allucinazione come Fallimento di Impegno

Enunciato del Problema

I Modelli Linguistici su Larga Scala (LLM) producono frequentemente output fluenti ma fattualmente errati, noti come allucinazioni. Un'assunzione prevalente nel campo è che l'allucinazione sia una conseguenza diretta della mancanza di conoscenze: il modello allucina solo quando la risposta corretta è assente dalla sua distribuzione al momento della generazione. Recenti lavori hanno identificato "token critici" o "token di diramazione" dove l'entropia schizza alle stelle, suggerendo che le allucinazioni vengono decise in passaggi specifici della traiettoria di generazione. Tuttavia, i metodi di rilevamento basati sull'incertezza esistenti (ad esempio, l'entropia semantica) spesso falliscono nell'identificare le "allucinazioni confidenti"—casi in cui il modello emette una risposta errata con alta confidenza nonostante possieda la conoscenza corretta.

Questo lavoro mette in discussione l'assunzione secondo cui l'allucinazione implichi una mancanza di conoscenze. Si chiede: Nel momento in cui un modello si impegna per una risposta, possiede il concetto corretto nella sua distribuzione di probabilità, anche se emette un token errato?

Metodologia

Concetto e Massa di Probabilità Semantica ($P_{mass}$)

Gli autori introducono una nozione semantica di disponibilità della risposta. Invece di analizzare singoli token, definiscono un concetto $c$ come una classe di equivalenza di completamenti di token che denotano la stessa risposta (ad esempio, "Cattedrale di San Basilio", "San Basilio", "Cattedrale di...").
Definiscono la massa di probabilità semantica per passaggio come:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
dove $S_c$ è l'insieme degli ID del primo token corrispondenti alle forme superficiali del concetto $c$. Questa metrica aggrega la massa di probabilità assegnata a tutti gli alias validi della risposta corretta in uno specifico passaggio di generazione.

Configurazione Sperimentale

• Modelli: Lo studio copre 18 modelli delle famiglie Qwen (da 0,8B a 72B) e Llama (da 1B a 70B), inclusi sia le varianti Instruct (addestrate su istruzioni) che Base.
• Dataset: QA a breve forma (TriviaQA, NQ-Open) e QA a scelta multipla (MMLU, ARC-Challenge).
• Passaggio di Impegno ($t_c$): Nelle QA a breve forma addestrate su istruzioni, il passaggio di impegno è fissato a $t=1$ (il primo token generato). Per la generazione a lungo termine, $t_c$ è identificato come il passaggio in cui viene emessa l'entità della risposta.
• Definizione di Fallimento di Impegno: Un campione allucinato è classificato come un fallimento di impegno se $P_{mass}(t_c; c^*) \geq 0.2$, dove $c^*$ è il concetto di verità fondamentale. Ciò indica che il modello ha assegnato una massa di probabilità sostanziale al concetto corretto ma ha comunque emesso una risposta finale errata.

Dimensioni di Analisi

1. Tasso di Fallimento di Impegno (CF%): La proporzione di allucinazioni che sono fallimenti di impegno.
2. Decomposizione: Separazione dei fallimenti in Fallimenti di Selezione del Primo Token (token greedy $\notin S_{c^*}$) e Divergenze Multi-Token (token greedy $\in S_{c^*}$ ma i token successivi divergono).
3. Analisi Distribuzionale: Confronto della distribuzione di probabilità dei fallimenti di impegno con campioni corretti abbinati (campioni con $P_{mass}$ simile ma output corretto).
4. Addestramento su Istruzioni vs. Scala: Isolamento degli effetti della dimensione del modello rispetto all'addestramento su istruzioni confrontando i modelli Instruct e Base.

Risultati Chiave

1. I Fallimenti di Impegno sono Prevalenti e Dipendenti dalla Scala

In tutti i modelli addestrati su istruzioni, dal 16% al 47% delle allucinazioni sono fallimenti di impegno. Crucialmente, questo tasso aumenta monotonicamente con la scala del modello.

• Qwen Instruct: Il CF% aumenta dal 16% (0,8B) al 41% (72B).
• Llama Instruct: Il CF% aumenta dal 16% (1B) al 47% (70B).
  Questa scoperta contraddice l'intuizione secondo cui i modelli più grandi semplicemente "sanno di più" e allucinano meno; piuttosto, i modelli più grandi allucinano più spesso nonostante possiedano il concetto corretto nella loro distribuzione.

2. Il Meccanismo: Affinamento Indotto dalle Istruzioni

Il lavoro identifica l'addestramento su istruzioni come il principale motore di questo fenomeno, non la scala da sola.

• Modelli Base: Mostrano probabilità di token errati piatte (~0,30) attraverso le scale e tassi di fallimento di impegno più bassi.
• Modelli Instruct: Mostrano un affinamento monotono. La probabilità del token greedy errato nei fallimenti di selezione aumenta con la scala (ad esempio, Qwen Instruct: 0,31 a 0,8B $\to$ 0,57 a 72B).
• Spostamento Distribuzionale: Nei fallimenti di impegno, la massa del concetto corretto è spesso frammentata tra più token alias (ad esempio, "San", "S.", "C"), impedendo a qualsiasi singolo alias di vincere l'argmax contro il token dominante di un concetto concorrente. Nei modelli Instruct più grandi, questa frammentazione crolla (la massa si concentra su un alias), ma il token del concetto sbagliato diventa ancora più affilato, portando a fallimenti di tipo "attrattore sbagliato".

3. Evidenze Multi-Token e Stati Nascosti

• Divergenze Multi-Token: Nei grandi modelli Instruct (70B+), quando il primo token si allinea con un alias corretto, l'entropia del secondo token ($H_{t=2}$) scende a quasi zero (0,05–0,10). Il modello si impegna per una specifica frase multi-token immediatamente, anche se quella frase porta a un'entità errata (ad esempio, "George Washington Carver" invece di "George Washington").
• Stati Nascosti: Gli stati nascosti pre-generazione a $t=1$ contengono informazioni predittive sulla correttezza. I modelli Instruct mostrano un AUROC più alto nelle sonde degli stati nascosti rispetto ai modelli Base, e questo segnale è "anteposto" (più forte a $t=1$).
• Mappatura dell'Output: Il divario tra i modelli Instruct e Base è maggiore nel rilevamento a livello di output (AUROC +0,29) rispetto alle sonde degli stati nascosti (+0,08), suggerendo che l'addestramento su istruzioni amplifica il segnale durante la proiezione sul vocabolario di output.

4. Due Facce del Fallimento di Impegno

Il lavoro distingue due modalità strutturali di fallimento:

1. Guidata dalla Frammentazione: (Comune nei modelli più piccoli/Base) La massa corretta è divisa tra gli alias; nessun singolo token vince.
2. Guidata dall'Attrattore Sbagliato: (Comune nei grandi modelli Instruct) La massa corretta è collassata su un singolo alias, ma il token di un concetto sbagliato è ancora più affilato ($P_{greedy} > P_{mass}(c^*)$).

Significato e Affermazioni

Il lavoro riformula l'allucinazione confidente non come un errore momentaneo o una mancanza di conoscenze, ma come una conseguenza strutturale di come la massa di probabilità è modellata nel passaggio di impegno.

• Meccanismo Unificato: Lo stesso affinamento indotto dalle istruzioni che produce correttezza confidente (quando il concetto impegnato è corretto) produce anche una selezione errata confidente (quando il concetto impegnato è sbagliato).
• Tassa di Allineamento: Questo fenomeno è situato come una faccia della più ampia "tassa di allineamento", dove l'allineamento (addestramento su istruzioni) migliora l'utilità e la fluidità ma degrada la calibrazione e causa il collasso delle modalità, portando a errori eccessivamente confidenti.
• Limiti del Rilevamento dell'Incertezza: I risultati spiegano perché le metriche standard di incertezza (come l'entropia del token o l'entropia semantica) falliscono nel segnalare le allucinazioni confidenti: il modello possiede il concetto corretto (alta $P_{mass}$), ma la distribuzione è modellata in modo tale che il token sbagliato vinca l'argmax.
• Sonda Analitica: Gli autori propongono $P_{mass}$ come sonda analitica per comprendere il comportamento del modello, notando che non è un rilevatore deployabile (poiché richiede alias di verità fondamentale) ma rivela che "conoscere la risposta" ed "emettere la risposta" sono eventi distinti nel processo di generazione.

Il lavoro conclude che i modelli più grandi non sanno solo di più; si attivano erroneamente più spesso su ciò che sanno, guidati da una disposizione all'affinamento che rende il modello decisivo sia negli impegni corretti che in quelli errati.