🤖 machine learning

Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs

Questo articolo dimostra che un segnale di veridicità linearmente separabile che codifica l'allucinazione è fortemente presente negli stati latenti dei livelli medi di LLM open-source quantizzati a 4 bit, consentendo il rilevamento con punteggi AUROC quasi perfetti mediante semplici probe lineari, mentre i metodi basati sul campionamento performano significativamente peggio sotto lo stesso protocollo di valutazione.

Autori originali: Aizierjiang Aiersilan

Pubblicato 2026-06-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Aizierjiang Aiersilan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente, ma leggermente inaffidabile. A volte ti dice la verità, e a volte inventa fatti che sembrano convincenti ma sono completamente falsi (queste sono chiamate "allucinazioni").

Questo articolo è come un rapporto investigativo che cerca di capire: Come possiamo capire se il robot sta mentendo e dove si nasconde la bugia nel suo "cervello"?

I ricercatori hanno testato questo fenomeno su tre popolari cervelli robotici open-source (Llama, Mistral e Qwen) che sono stati rimpiccioliti per adattarsi a un normale computer domestico (usando una tecnica chiamata "quantizzazione a 4 bit", che è come comprimere un film in alta definizione in un file piccolo senza perdere troppa qualità).

Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Il "Rilevatore di Verità" è una semplice linea

I ricercatori hanno provato due modi principali per cogliere il robot mentre mente:

L'approccio del "Giocatore d'azzardo" (Campionamento): Fai la stessa domanda al robot 10 volte. Se ti dà 10 risposte diverse, forse è confuso o sta mentendo. Se ti dà la stessa risposta ogni volta, forse sta dicendo la verità.
L'approccio della "Radiografia" (Probing): Guarda direttamente dentro il cervello del robot mentre pensa. Nello specifico, hanno esaminato gli "stati nascosti" (i segnali elettrici tra i livelli del cervello) per vedere se esiste un modello che dice "Verità" o "Bugia".

Il Risultato: L'approccio della "Radiografia" è stato il grande vincitore. Guardando anche un solo livello specifico nel mezzo del cervello del robot, uno strumento matematico molto semplice (una "sonda lineare") poteva capire se il robot stava mentendo con un'accuratezza del 90% - 100%.

L'approccio del "Giocatore d'azzardo" (chiedergli 10 volte) è stato praticamente inutile in questo test specifico, non performando meglio di un lancio di moneta (circa il 50% di accuratezza).

2. Dove nel cervello si trova la bugia?

I ricercatori hanno scoperto che il "segnale di verità" non è ovunque. È come una stanza specifica in un grattacielo dove la verità è scritta sul muro.

Per i robot Llama e Mistral (che hanno 32 piani), la verità è più visibile tra i piani 13 e 18.
Per il robot Qwen (che ha 28 piani), la verità è più visibile tra i piani 19 e 25.

Se controlli il cervello del robot a questi "piani" specifici, puoi quasi istantaneamente sapere se è onesto.

3. Perché l'approccio del "Giocatore d'azzardo" è fallito

Potreste chiedervi: "Perché chiedere al robot 10 volte non ha funzionato?".
L'articolo spiega questo punto con una distinzione intelligente:

La Sonda (Radiografia) gli è stata data una risposta specifica (ad esempio, "La capitale della Francia è Parigi") e le è stato chiesto: "Il tuo cervello riconosce questo come vero?". Ha guardato la reazione interna del robot a quella specifica frase.
Il Giocatore d'azzardo (Campionamento) gli è stata solo posta una domanda e gli è stato detto di "scrivere 10 storie diverse". Misurava quanto il robot fosse confuso riguardo alla domanda, non se una specifica risposta fosse vera.

Poiché il test era impostato per controllare risposte specifiche, il "Giocatore d'azzardo" stava guardando nel posto sbagliato. Era come cercare di trovare un errore di battitura specifico in un documento chiedendo all'autore di scrivere il documento 10 volte da zero, invece di leggerlo una volta sola.

4. La "Linea Semplice" vs La "Macchina Complessa"

I ricercatori hanno provato a usare uno strumento matematico super-complesso (un MLP), pensando che potesse essere più intelligente di un semplice strumento.
La Sorpresa: Lo strumento complesso non è stato molto meglio dello strumento semplice. La "verità" nel cervello del robot è in realtà molto diretta — è quasi come una linea retta. Non serve un super-computer per trovarla; un semplice righello funziona benissimo.

5. L'indizio dell' "Attenzione"

C'era un altro trucco che funzionava bene, ma solo quando il robot leggeva un testo specifico (come un articolo di Wikipedia).
Hanno osservato l' "attenzione" del robot (su cosa si sta concentrando) proprio al primo passaggio.

Se il robot diceva la verità basandosi sul testo, la sua attenzione era focalizzata e calma.
Se stava allucinando, la sua attenzione era dispersa e confusa.
Questo ha fornito un indizio molto forte (fino al 94% di accuratezza) senza bisogno di matematica o tempo extra.

Il Grande Messaggio

Se vuoi cogliere un piccolo robot IA compresso che mente sui fatti:

Non chiedergli la stessa domanda 10 volte (sprechi tempo e non funziona bene qui).
Sì, dai un'occhiata dentro il suo cervello nei livelli intermedi (intorno al 15° o 20° livello).
Puoi usare un controllo matematico molto semplice e veloce per individuare la bugia con un'accuratezza quasi perfetta.

L'articolo conclude che, per questo specifico tipo di test, guardare dentro il cervello del robot è molto più veloce e accurato rispetto al chiedergli di ripetersi.

Sintesi Tecnica: L'allucinazione è linearmente decodificabile dagli stati latenti dei livelli intermedi in LLM quantizzati

Definizione del Problema
Le allucinazioni — generazioni fluenti ma prive di supporto fattuale — rimangono un modo critico di fallimento per i Large Language Models (LLM) nelle implementazioni nel mondo reale. La rilevazione di questi errori durante l'inferenza è una necessità pratica. Gli approcci di rilevamento esistenti rientrano generalmente in due categorie:

Metodi basati sul campionamento (Sampling-based): Generano molteplici continuazioni stocastiche per un prompt e segnalano le allucinazioni in base al disaccordo lessicale, semantico o degli stati interni (es. Self-Consistency, Semantic Entropy, INSIDE). Questi metodi sono computazionalmente costosi, richiedendo $K \ge 5$ passaggi forward aggiuntivi per prompt.
Metodi basati sulla rappresentazione (Representation-based): Addestrano piccoli classificatori (probe) per decodificare direttamente la veridicità dagli stati latenti intermedi del modello. Questi richiedono un solo passaggio forward, ma sono raramente confrontati testa a testa con i metodi di campionamento su modelli identici, in particolare nel regime quantizzato e con risorse limitate utilizzato dai professionisti.

Metodologia
Gli autori propongono un framework di valutazione unificato progettato per girare end-to-end su una singola GPU consumer (8 GB VRAM) utilizzando la quantizzazione 4-bit NF4.

Modelli: Tre modelli istruiti (instruction-tuned) da 7B–8B sono stati valutati: Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct.
Dataset: Sono stati utilizzati quattro benchmark, ciascuno dei quali fornisce risposte veritiere (label=1) e allucinate (label=0) accoppiate per lo stesso prompt, per garantire un quasi perfetto equilibrio di classe 50:50:
- TruthfulQA: Domande a scelta multipla con distrattori plausibili ma errati.
- HaluEval-QA: QA condizionata dalla conoscenza con passaggi di evidenza espliciti.
- FEVER: Dichiarazioni supportate o respinte da Wikipedia.
- Synthetic: Coppie controllate di affermazioni vere/false su fatti del mondo.
Protocolli di Rilevamento: Quattro metodi sono stati valutati sotto un protocollo a etichetta accoppiata (paired-label protocol), dove la risposta candidata viene fornita al modello invece di essere generata:
1. Probe Lineari e MLP (stile SAPLMA): Classificatori addestrati sugli stati latenti per livello (pooling dell'ultimo token) per predire la veridicità.
2. INSIDE EigenScore: Un metodo basato sul campionamento che misura il log-determinante della covarianza degli stati latenti attraverso $K=10$ completamenti stocastici.
3. Self-Consistency: Misurazione dell'accordo tra $K=5$ completamenti tramite maggioranza a corrispondenza esatta e similitudine di embedding di frase.
4. Entropia dell'Attenzione (Attention Entropy): Riassunto dell'entropia di Shannon della distribuzione dell'attenzione dell'ultimo token in specifici blocchi transformer.

Risultati Chiave
Lo studio produce tre scoperte primarie riguardanti le prestazioni e la natura di questi rilevatori:

Superiorità dei Probe nei contesti a etichetta accoppiata: I probe lineari su singoli livelli intermedi del network raggiungono punteggi AUROC compresi tra 0,904 e 1,000 in tutti i modelli e dataset. Al contrario, i metodi basati sul campionamento (INSIDE e Self-Consistency) operano vicino al caso (chance), con punteggi AUROC che non superano mai 0,541.
Linearità del segnale di veridicità: Il segnale è approssimativamente lineare. I probe MLP raramente superano i probe lineari di più di 0,01 AUROC, suggerendo che la direzione della veridicità sia un sottospazio lineare all'interno della rappresentazione dello stato latente.
Livelli di picco coerenti: Il "segnale di veridicità" raggiunge il picco in una banda coerente di livelli attraverso le famiglie di modelli:
- Llama & Mistral (32 layer): Blocchi 13–18.
- Qwen (28 layer): Blocchi 19–25.
- Sui benchmark di linguaggio naturale, il picco si trova coerentemente nella seconda metà della rete.
L'Entropia dell'Attenzione come segnale complementare: In contesti basati su conoscenza (HaluEval-QA), l'entropia dell'attenzione del primo blocco transformer fornisce un segnale forte (AUROC 0,866–0,941) senza costi aggiuntivi di inferenza. Questo segnale non si generalizza a dataset privi di passaggi di evidenza espliciti.
Robustezza alla quantizzazione: Le alte prestazioni di rilevamento sono mantenute sotto la quantizzazione 4-bit NF4, con un picco di AUROC che raggiunge 0,998 su HaluEval-QA e 1,000 sul benchmark sintetico.

Significatività e Rivendicazioni
Il documento sostiene che la debolezza osservata dei metodi di campionamento non sia un limite inerente a tali tecniche, ma un disallineamento strutturale (structural mismatch) tra il protocollo di valutazione e l'informazione accessibile:

Il Disallineamento: Nel protocollo a etichetta accoppiata, i probe osservano la rappresentazione interna di una risposta fornita, permettendo loro di rilevare se il modello distingue internamente quella risposta come veritiera. Al contrario, i metodi di campionamento misurano l'incertezza generativa del modello riguardo al solo prompt, che è debolmente correlata alla veridicità di una specifica risposta candidata pre-fornita.
Implicazione Pratica: Per il rilevamento "white-box" all'interno di un singolo modello distribuito, l'uso dei probe degli stati latenti è sia più efficace che significativamente meno costoso (singolo passaggio forward) rispetto agli approcci basati sul campionamento.
Deployment: I risultati suggeriscono che i probe lineari possono essere implementati su hardware consumer insieme ai modelli quantizzati senza l'overhead della de-quantizzazione o di generazioni multiple.

Gli autori concludono che, sebbene i metodi di campionamento possano recuperare efficacia in contesti "generate-then-judge", la natura linearmente decodificabile dei segnali di allucinazione negli stati latenti dei livelli intermedi offre un'alternativa altamente efficiente per rilevare errori fattuali in LLM istruiti e quantizzati.