Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

Questo studio dimostra che gli stati interni dei grandi modelli linguistici riflettono principalmente il richiamo di conoscenze parametriche piuttosto che la veridicità dell'output, rendendo inefficaci i metodi di rilevamento standard per le allucinazioni basate su associazioni spurie, che condividono geometrie nascoste simili alle risposte fattualmente corrette.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza conoscenze tecniche di intelligenza artificiale.

🧠 L'Intelligenza Artificiale: Sa davvero quando non sa?

Immagina che un'Intelligenza Artificiale (come ChatGPT) sia come un studente molto studioso ma un po' ingenuo che ha letto milioni di libri. Questo studente ha due modi per rispondere alle domande:

1. Ricorda un fatto vero: Ha studiato bene la materia e sa la risposta esatta.
2. Inventa una risposta (Allucinazione): A volte, invece di dire "Non lo so", l'AI inventa qualcosa che sembra vero ma è falso.

La domanda del paper è: L'AI è consapevole di quando sta mentendo? Cioè, il suo "cervello digitale" sa distinguere tra una risposta vera e una bugia?

🔍 La Scoperta Sorprendente: Il "Cervello" non distingue la Verità

Gli autori dello studio hanno scoperto una cosa molto importante: No, l'AI non distingue la verità dalla bugia.

Per capire come funziona, dobbiamo guardare dentro il "cervello" dell'AI (i suoi stati interni). Immagina che il cervello dell'AI sia una grande biblioteca piena di connessioni.

Lo studio divide le risposte sbagliate (le allucinazioni) in due categorie, usando una metafora culinaria:

1. Le Allucinazioni "Sconnesse" (Unassociated Hallucinations)

Immagina di chiedere all'AI: "Qual è il nome del padre di Brenda Johnston?" (una persona che non esiste o di cui l'AI non sa nulla).

• Cosa succede: L'AI è persa. Non ha nessun libro su Brenda. Quindi, inizia a tirare a indovinare a caso, come se stesse lanciando dadi.
• Il segnale nel cervello: Il "cervello" dell'AI è confuso e dispersivo. Le sue connessioni interne sembrano un caos.
• Risultato: È facile per un sistema di controllo dire: "Ehi, qui l'AI non sta usando la memoria, sta solo indovinando! È una bugia!".

2. Le Allucinazioni "Collegate" (Associated Hallucinations) - Il vero problema

Immagina di chiedere: "Dove è nato Barack Obama?" (L'AI sa che Obama è nato a Honolulu, ma per errore dice Chicago).

• Cosa succede: L'AI conosce Obama. Sa che Obama e Chicago sono spesso menzionati insieme nei libri (perché Obama ha lavorato lì come senatore). L'AI fa un errore di logica: confonde il luogo di lavoro con il luogo di nascita.
• Il segnale nel cervello: Qui sta il trucco! Anche se la risposta è sbagliata, il "cervello" dell'AI sta usando esattamente lo stesso meccanismo che userebbe per dare una risposta giusta. Sta attingendo alla sua memoria, sta attivando le stesse connessioni forti tra "Obama" e "Chicago".
• Risultato: Per il sistema di controllo, questa risposta sembra perfettamente normale. È come se l'AI stesse ricordando un fatto vero, ma in realtà ha sbagliato il dettaglio.

🚫 Perché i rilevatori di bugie attuali falliscono?

Attualmente, gli scienziati cercano di costruire "detective" che guardano dentro il cervello dell'AI per capire se sta mentendo.

• Funzionano bene contro le Allucinazioni Sconnesse (quelle dove l'AI è persa).
• Falliscono miseramente contro le Allucinazioni Collegate.

L'analogia del Detective:
Immagina un detective che controlla se un testimone sta mentendo guardando quanto è "calmo" e "sicuro" mentre parla.

• Se il testimone inventa tutto dal nulla (Allucinazione Sconnessa), è nervoso e balbetta. Il detective lo becca subito.
• Ma se il testimone ricorda un fatto vero ma sbaglia un dettaglio (Allucinazione Collegata), parla con la stessa sicurezza, la stessa calma e usa le stesse parole di quando dice la verità. Il detective, guardando solo la "calma", pensa: "Sembra sincero!", e non si accorge della bugia.

🛠️ Cosa significa per il futuro?

Lo studio ci dice tre cose fondamentali:

1. Non fidarsi ciecamente dei segnali interni: Non possiamo contare sul fatto che l'AI "senta" di stare mentendo. Quando l'AI sbaglia basandosi su ciò che conosce (ma in modo errato), il suo cervello sembra identico a quando dice la verità.
2. Le bugie più pericolose sono quelle "collegate": Sono le più difficili da trovare perché sembrano vere. Succedono spesso su argomenti famosi (come Obama), proprio perché l'AI ha molte informazioni su di loro e tende a mescolarle.
3. Serve un controllo esterno: Poiché l'AI non sa distinguere la verità dalla bugia quando usa la sua memoria, abbiamo bisogno di "libri di testo esterni" o di motori di ricerca che verifichino i fatti, invece di fidarci solo di come l'AI "si sente" mentre risponde.

In sintesi

L'Intelligenza Artificiale non è come un umano che sa quando sta mentendo. È più come un bravo attore: quando recita una bugia basata su fatti che conosce, la recita con la stessa convinzione e lo stesso stile con cui recita la verità. Per questo, per sapere se sta dicendo la verità, non dobbiamo guardare dentro la sua testa, ma dobbiamo controllare i fatti con strumenti esterni.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness" in italiano.

1. Il Problema

Recenti ricerche hanno suggerito che i Large Language Models (LLM) possiedono una sorta di "consapevolezza interna" che permette di distinguere le risposte allucinate da quelle fattualmente corrette basandosi sui loro stati interni (es. stream residui, pesi di attenzione, logit). L'ipotesi prevalente è che l'allucinazione e la verità siano generate da processi interni distinti.

Tuttavia, gli autori sostengono che questa visione sia incompleta. Le allucinazioni non derivano sempre da una mancanza di conoscenza (gap conoscitivo), ma possono emergere dall'exploit di associazioni statistiche spurie apprese durante il pre-training. Il problema centrale è capire se gli stati interni degli LLM riflettano realmente la veridicità dell'output o semplicemente il processo di richiamo della conoscenza parametrica. Se un modello genera un'allucinazione basandosi su una forte associazione statistica appresa (es. "Obama" è spesso associato a "Chicago"), il processo interno potrebbe essere meccanicisticamente identico a quello di una risposta corretta, rendendo impossibile la distinzione tramite segnali interni.

2. Metodologia

Gli autori propongono un approccio basato sull'interpretabilità meccanica per analizzare come gli LLM generano le risposte.

A. Nuova Tassonomia delle Allucinazioni

Invece di classificare le uscite solo come "corrette" o "errate", il paper introduce una tassonomia basata sulla dipendenza dalle associazioni apprese con l'entità del soggetto:

1. Factual Associations (FA): Risposte fattualmente corrette basate su conoscenze parametriche affidabili.
2. Associated Hallucinations (AH): Risposte errate generate sfruttando forti associazioni statistiche spurie apprese dal modello (es. il modello associa erroneamente un fatto a un soggetto famoso a causa della co-occorrenza nei dati di training).
3. Unassociated Hallucinations (UH): Risposte errate generate senza un forte legame con le associazioni parametriche del soggetto (spesso dovute a lacune di conoscenza o generazione casuale).

B. Intervento Causale e Analisi Meccanica

Per validare questa tassonomia e analizzare gli stati interni, gli autori utilizzano tecniche di intervento causale su modelli open-source (LLaMA-3-8B e Mistral-7B-v0.3):

• Intervento sull'Attenzione: Bloccano il flusso di attenzione dai token del soggetto all'ultimo token per misurare quanto la distribuzione di output cambi (divergenza JS). Un cambiamento significativo indica una forte dipendenza dall'associazione con il soggetto.
• Analisi della Geometria degli Stati Nascosti: Esaminano le norme dei vettori di rappresentazione del soggetto, il flusso di informazioni attraverso i layer e la similarità coseno degli stati finali.
• Dataset: Costruito su triple di conoscenza (Soggetto, Relazione, Oggetto) da Wikidata, con prompt cloze-style.

C. Valutazione

• Rilevamento: Testano metodi di rilevamento delle allucinazioni (white-box e black-box) separando i dataset in scenari "Solo AH" e "Solo UH".
• Refusal Tuning: Addestrano i modelli a rifiutare di rispondere alle AH e alle UH separatamente per verificare la generalizzabilità dell'apprendimento del rifiuto.

3. Contributi Chiave

1. Distinzione tra Richiamo e Verità: Dimostrano che gli stati interni degli LLM codificano principalmente se il modello sta richiamando conoscenza parametrica, non se l'output è vero.
2. Tassonomia Causale: Introducono la distinzione critica tra AH (allucinazioni guidate da associazioni forti) e UH (allucinazioni senza associazioni forti), spiegando perché i metodi di rilevamento falliscono in certi casi.
3. Geometria degli Stati Nascosti: Forniscono evidenze empiriche che le AH e le FA condividono geometrie di stati nascosti quasi identiche, mentre le UH formano cluster distinti e separabili.

4. Risultati Principali

A. Sovrapposizione Meccanica tra AH e FA

• Flusso di Informazione: Le AH e le FA mostrano flussi di informazione quasi identici: le rappresentazioni del soggetto vengono arricchite nei primi layer, propagate attraverso l'attenzione nei layer medi e decodificate nei layer superiori.
• Geometria: Le rappresentazioni dell'ultimo token per AH e FA hanno una similarità coseno molto bassa (divergono nello spazio), indicando che sono guidate dalle stesse associazioni del soggetto. Al contrario, le UH mostrano una similarità più alta (rimangono clusterizzate) perché non ricevono aggiornamenti specifici dal soggetto.
• Norme delle Rappresentazioni: Le norme delle rappresentazioni del soggetto per le AH sono comparabili a quelle delle FA (entrambe legate a soggetti popolari), mentre le UH hanno norme significativamente più basse.

B. Fallimento dei Metodi di Rilevamento sulle AH

• Prestazioni: I metodi di rilevamento basati sugli stati interni (probing) funzionano eccellentemente nel distinguere le UH dalle FA (AUROC ~0.91-0.93).
• Collasso sulle AH: Le stesse prestazioni crollano drasticamente quando si tenta di distinguere le AH dalle FA (AUROC ~0.48-0.69, vicino al caso casuale). Questo conferma che i segnali interni non catturano la verità, ma solo l'attivazione di associazioni parametriche.

C. Limiti del Refusal Tuning

• Generalizzazione: L'addestramento per il rifiuto (teaching the model to say "I don't know") funziona bene sulle UH (tasso di rifiuto ~82%) perché queste condividono uno spazio di attivazione coerente.
• Fallimento sulle AH: Il rifiuto sulle AH è scarso (~33%) perché le loro rappresentazioni si sovrappongono troppo a quelle delle risposte corrette (FA), rendendo impossibile per il modello imparare un pattern di rifiuto consistente senza rifiutare anche le risposte vere.

5. Significato e Implicazioni

• Ridefinizione della "Consapevolezza": Gli LLM non "sanno cosa non sanno" in senso assoluto; la loro "consapevolezza" è limitata alla distinzione tra "conoscenza richiamata" e "generazione non basata su conoscenza". Le allucinazioni basate su forti associazioni (AH) sono indistinguibili internamente dalle verità.
• Limiti dei Metodi Attuali: I metodi di rilevamento basati sugli stati interni sono intrinsecamente inadeguati per le allucinazioni più pericolose (quelle su argomenti popolari e ben noti), che sono proprio quelle guidate da associazioni spurie.
• Direzioni Future:
  • È necessario valutare separatamente le prestazioni di rilevamento per AH e UH.
  • Il rilevamento interno non è sufficiente; è necessario integrare meccanismi di verifica esterna (fact-checking, retrieval) per gestire le AH.
  • Le strategie di allineamento (RLHF) devono concentrarsi specificamente sulla mitigazione delle AH, poiché queste rappresentano un rischio maggiore per la fiducia degli utenti su argomenti di dominio pubblico.

In sintesi, il paper smonta l'idea che gli stati interni degli LLM siano un indicatore affidabile di verità fattuale, dimostrando che le allucinazioni "intelligenti" (basate su associazioni apprese) sono meccanicisticamente indistinguibili dalle risposte corrette, rendendo necessari approcci di verifica esterni.