Riepilogo Tecnico: Rilevamento delle Allucinazioni nei Modelli Linguistici di Grande Dimensione tramite Segnali di Divergenza dell'Attenzione Interna

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) generano frequentemente contenuti fluenti ma fattualmente errati, un fenomeno noto come allucinazione. Ciò comporta rischi significativi in ambiti ad alto rischio come la sanità e il diritto. Una sfida primaria nel affrontare questo problema è che gli LLM autoregressivi sono addestrati a generare continuazioni fluide piuttosto che stime di confidenza calibrate. Di conseguenza, i segnali di incertezza basati sull'output standard (ad esempio, perplessità, verosimiglianza logaritmica o probabilità dei token) spesso non riescono a distinguere tra errori sicuri e conoscenze affidabili, poiché le affermazioni allucinate possono ricevere alte verosimiglianze sotto la distribuzione del modello.

I metodi esistenti di quantificazione dell'incertezza si basano spesso sul campionamento ripetuto (ad esempio, entropia semantica) o su modelli verificatori esterni, che introducono un sovraccarico computazionale sostanziale. Inoltre, gli approcci basati sull'analisi degli stati nascosti spesso faticano a generalizzare tra diversi compiti, catturando correlazioni specifiche per il compito piuttosto che segnali di confidenza globali. Vi è la necessità di un metodo leggero e in un singolo passaggio che estragga segnali di incertezza direttamente dai meccanismi interni del modello senza richiedere modelli esterni o multiple generazioni.

2. Metodologia

Il metodo proposto introduce una tecnica di quantificazione dell'incertezza in un singolo passaggio basata sulla divergenza dell'attenzione. L'ipotesi fondamentale è che le allucinazioni derivino da fallimenti nel calcolo interno, caratterizzati specificamente da pattern di attenzione mal allocati o diffusi quando il modello manca di conoscenze affidabili.

2.1 Segnale di Divergenza dell'Attenzione

Il metodo utilizza la divergenza Kullback–Leibler (KL) per misurare la deviazione della distribuzione di una testa di attenzione da una distribuzione di riferimento uniforme.

• Distribuzione di Riferimento ($U$): Una distribuzione uniforme sui token del contesto, che rappresenta uno stato di massima incertezza in cui il modello presta attenzione in modo uguale a tutte le posizioni.
• Distribuzione dell'Attenzione ($P$): La distribuzione di probabilità discreta sulle posizioni dei token generata da una specifica testa di attenzione in un dato passo di generazione.
• Metrica: La divergenza KL è calcolata come $D_{KL}(P \parallel U) = \log T - H(P)$, dove $T$ è il numero di token nella finestra di contesto e $H(P)$ è l'entropia della distribuzione dell'attenzione.

Intuitivamente, un'alta concentrazione di attenzione (bassa entropia) su token informativi risulta in un'alta divergenza KL, suggerendo confidenza. Al contrario, un'attenzione diffusa (alta entropia) risulta in una bassa divergenza, suggerendo incertezza. Gli autori ipotizzano che le allucinazioni possano manifestarsi come confidenza erroneamente calibrata (alta divergenza su token fuorvianti) o, nel contesto dell'aggregazione del probe, che il segnale aggregato dei pattern di divergenza sia correlato alla correttezza.

2.2 Estrazione delle Caratteristiche e Sondaggio (Probing)

1. Costruzione delle Caratteristiche: Per ogni risposta generata, viene calcolata la media della divergenza KL per ogni testa di attenzione attraverso tutti i passi di generazione. Questi valori formano un vettore di caratteristiche $x_i \in \mathbb{R}^{L \times H}$, dove $L$ è il numero di livelli e $H$ è il numero di teste.
2. Addestramento del Probe: Un leggero probe di regressione logistica con regolarizzazione Lasso (L1) viene addestrato per prevedere la correttezza della risposta ($y=1$ per corretta, $y=0$ per errata) basandosi su queste caratteristiche di divergenza. La regolarizzazione L1 serve a selezionare un sottoinsieme sparso delle teste di attenzione più predittive, fornendo interpretabilità riguardo a quali parti del modello codificano il segnale.
3. Valutazione: Le prestazioni sono misurate utilizzando AUROC (Area Under the Receiver Operating Characteristic curve), Errore di Calibrazione Atteso (ECE) e accuratezza.

3. Contributi Chiave

• Stima dell'Incertezza in Singolo Passaggio: Il metodo opera in un singolo passaggio in avanti, estraendo segnali di incertezza direttamente dalle matrici di attenzione senza richiedere campionamento ripetuto o modelli esterni.
• Interpretabilità: Analizzando la divergenza KL delle distribuzioni di attenzione, il metodo fornisce un segnale "a scatola bianca". Gli autori dimostrano che il segnale non è casuale ma concentrato in specifici componenti architetturali.
• Generalizzabilità: L'approccio è stato validato su più famiglie di modelli (Llama-3.2, Qwen3, Mistral) e su diversi tipi di compiti (QA fattuale, ragionamento multi-hop, ragionamento matematico).

4. Risultati Sperimentali

4.1 Prestazioni su Diversi Dataset

Il metodo è stato valutato su quattro dataset: TruthfulQA (QA fattuale a scelta multipla), TriviaQA (QA fattuale a dominio aperto), HotpotQA (ragionamento multi-hop) e GSM8K (ragionamento matematico).

• QA Fattuale: Il metodo ha ottenuto prestazioni solide su TruthfulQA (AUROC > 0.89 per tutti i modelli) e TriviaQA (AUROC > 0.83).
• Compiti di Ragionamento: Le prestazioni su HotpotQA sono variate da 0.77 a 0.80 AUROC. Su GSM8K, i risultati sono variati in base al modello, con Qwen3-4B che ha raggiunto 0.945 AUROC, mentre Llama e Mistral hanno mostrato risultati moderati ma significativi superiori al caso.
• Confronto con i Baseline: Su HotpotQA, il metodo (AUROC 0.78) ha superato i metodi basati sul campionamento (ad esempio, Entropia Semantica, SelfCheckGPT) e altri baseline a singolo passaggio (ad esempio, Perplessità, TOHA). Ha inoltre mostrato prestazioni competitive o superiori rispetto ai metodi di sondaggio degli stati nascosti su TruthfulQA e TriviaQA.

4.2 Ablazione e Analisi

• Localizzazione di Livelli e Teste: Il segnale non è distribuito uniformemente. Gli studi di ablazione hanno rivelato che la rimozione dei livelli intermedi ha causato il calo di prestazioni più significativo, indicando che il segnale è concentrato lì. Inoltre, il segnale è distribuito su più teste correlate piuttosto che essere localizzato in una singola "testa di allucinazione".
• Specificità dei Token: Il segnale di divergenza è più pronunciato sui token fattuali (entità nominate e numeri). Le parole di arresto e la punteggiatura hanno mostrato bassa divergenza. L'analisi della coda estrema (99° percentile) ha mostrato che circa il 73% delle parole ad alta divergenza erano entità nominate.
• Influenza del Prompt: Una porzione del segnale di incertezza è presente anche prima dell'inizio della generazione (calcolata esclusivamente sui token del prompt), suggerendo che parte dell'incertezza è aleatoria (relativa all'ambiguità del prompt) piuttosto che esclusivamente epistemica (lacune nella conoscenza del modello).
• Controlli di Sanità: Permutando le etichette di correttezza e testando contro semplici proprietà dell'output (lunghezza, punteggiatura) è stato confermato che il segnale non è un artefatto di perdita di dati o caratteristiche superficiali dell'output.

5. Significato e Affermazioni

Il documento afferma che le dinamiche interne dell'attenzione forniscono un segnale efficiente e interpretabile per rilevare l'incertezza del modello e le allucinazioni. Il significato principale risiede nella dimostrazione che:

1. Le allucinazioni sono rilevabili tramite stati interni: Il fallimento nel recuperare conoscenze affidabili si manifesta come pattern specifici nella divergenza dell'attenzione, distinti dalle uscite fluide ma errate prodotte dal modello.
2. Efficienza: Il metodo offre un'alternativa computazionalmente economica alla stima dell'incertezza basata sul campionamento, rendendolo fattibile per applicazioni in tempo reale dove la latenza è critica.
3. Insight Architettonico: I risultati suggeriscono che l'incertezza è codificata nei livelli intermedi e sugli ancoraggi fattuali, sostenendo la visione secondo cui le allucinazioni sono fallimenti strutturali nel calcolo interno piuttosto che semplici errori di decodifica.

6. Limitazioni

Gli autori notano esplicitamente diverse limitazioni:

• Correlazione vs Causalità: Lo studio stabilisce una correlazione predittiva tra la divergenza dell'attenzione e la correttezza, ma non prova una relazione causale.
• Dipendenza dal Probe: Il metodo si basa su un probe di regressione logistica per aggregare i segnali. Il sottoinsieme specifico di teste selezionato varia tra dataset e famiglie di modelli, suggerendo che il probe potrebbe essere troppo specifico e che una regola universale, priva di probe, per l'incertezza non è ancora stata identificata.
• Requisito di Scatola Bianca: Il metodo richiede l'accesso ai pesi interni dell'attenzione, rendendolo inapplicabile ai modelli a scatola nera che forniscono solo testo generato o probabilità di output.
• Interpretabilità: Sebbene il probe identifichi teste informative, il modello risultante rimane difficile da interpretare come una spiegazione completa di come l'incertezza sia rappresentata, fungendo più da strumento di estrazione del segnale che da spiegazione meccanicistica completa.