💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Questo articolo investiga la correlazione tra i conflitti di conoscenza e le allucinazioni nei Large Language Models analizzando le rappresentazioni interne attraverso diversi strati, riscontrando che, sebbene i due fenomeni siano concettualmente correlati, i pattern di allucinazione non possono essere spiegati interamente dalle rappresentazioni del conflitto di conoscenza, evidenziando così il valore degli strumenti di interpretabilità granulare per comprendere il comportamento dei LLM.

Autori originali: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Pubblicato 2026-06-09

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina i Large Language Models (LLM) come incredibili bibliotecari che hanno memorizzato una biblioteca immensa di libri. Tuttavia, c'è un problema: non possono aggiornare i loro scaffali. Se un libro nella loro biblioteca è superato o se viene loro consegnato un nuovo appunto che contraddice ciò che hanno memorizzato, potrebbero confondersi.

Questo articolo investiga due modi specifici in cui questa confusione può andare storto:

L' "Allucinazione": Il bibliotecario inventa con sicurezza un fatto o fornisce una risposta che sembra reale ma che è in realtà errata.
Il "Conflitto di Conoscenza": Al bibliotecario viene consegnato un appunto (contesto) che dice "Il cielo è verde", ma la sua memoria dice "Il cielo è blu". Deve decidere a quale dei due fidarsi.

La Grande Domanda

I ricercatori volevano sapere: Questi due problemi sono la stessa cosa?

Sospettavano che quando un bibliotecario "allucina", è perché sta vivendo internamente un "conflitto di conoscenza". In altre parole, pensavano che il cervello del bibliotecario fosse ronzante di confusione (conflitto) proprio prima di inventare una bugia (allucinazione). Se questo fosse vero, avremmo potuto costruire un semplice sistema di allarme: se rileviamo il "ronzio di confusione", sappiamo che una bugia sta arrivando.

Come lo Hanno Testato

Per testarlo, i ricercatori hanno agito come "scansionatori cerebrali" (una tecnica chiamata probing). Non hanno cambiato i bibliotecari; hanno solo sbirciato dentro le loro teste in diverse fasi del pensiero (gli strati nascosti, gli strati di attenzione e gli strati logici) per vedere se riuscivano a individuare i segni della confusione o della menzogna.

Hanno usato due diversi "bibliotecari" (modelli AI):

LLaMA-3-8B: Hanno cercato di vedere se i "segnali di confusione" di questo bibliotecario potevano predire quando avrebbe mentito.
Falcon-7B: Hanno cercato di vedere se i "segnali di menzogna" di questo bibliotecario potevano predire quando era confuso.

Cosa Hanno Trovato

I risultati sono stati un po' sorprendenti. È come controllare un rilevatore di fumo e scoprire che l'allarme per "incendio" non scatta affatto quando qualcuno brucia del pane tostato, e l'allarme per "pane tostato bruciato" non scatta quando scoppia un incendio.

Confusione $\neq$ Menzogna: Quando hanno esaminato i segnali di "confusione" all'interno del modello, non sono riusciti a usarli per predire quando il modello avrebbe allucinato. I pattern interni dell'essere confusi erano diversi dai pattern del fabbricare cose false.
Menzogna $\neq$ Confusione: Viceversa, i segnali che di solito indicano che il modello sta mentendo non hanno aiutato a individuare quando il modello stava affrontando un conflitto di conoscenza.

La Conclusione: Anche se sembra che le allucinazioni siano causate da conflitti di conoscenza, l'articolo mostra che, all'interno del "cervello" del modello, questi sono in realtà due processi differenti. Non si può usare uno per trovare l'altro. Sono fenomeni distinti.

Una Buona Notizia

Sebbene non abbiano trovato il legame che cercavano, hanno scoperto che il loro "scansionatore cerebrale" (lo strumento di probing) funziona in modo molto costante. Funziona altrettanto bene in inglese che in italiano, spagnolo, cinese e molte altre lingue. Ciò significa che lo strumento in sé è affidabile, anche se la specifica teoria sul legame tra conflitto e allucinazione non è stata dimostrata.

In Breve

I ricercatori speravano di trovare un unico "rilevatore di fumo" capace di catturare sia la confusione che la menzogna nei modelli AI. Hanno scoperto che il cervello dell'IA gestisce queste due questioni in modo diverso. Sebbene siano correlate nel mondo reale, all'interno del codice informatico, non sembrano la stessa cosa. Questo ci dice che abbiamo bisogno di strumenti più complessi per comprendere e correggere gli errori dell'IA, piuttosto che cercare una singola causa semplice.

Sintesi Tecnica: Analisi della Correlazione tra Allucinazioni e Conflitti di Conoscenza nei Large Language Models

Definizione del Problema
I Large Language Models (LLM) affrontano limitazioni significative nei compiti ad alta intensità di conoscenza, principalmente a causa dei loro dati di addestramento fissi e statici che non possono essere aggiornati post-addestramento. Quando i modelli incontrano informazioni esterne alla loro conoscenza parametrica o in conflitto con essa, spesso generano "allucinazioni": output fattualmente errati, incoerenti o non verificabili. Un'ipotesi prevalente suggerisce che queste allucinazioni derivino da conflitti di conoscenza interni, dove la conoscenza parametrica memorizzata dal modello entra in contrasto con gli indizi contestuali forniti nell'input. Tuttavia, la relazione specifica tra le rappresentazioni interne dei conflitti di conoscenza e i comportamenti di allucinazione rimane poco esplorata. Sebbene lavori precedenti abbiano sviluppato con successo tecniche di probing per rilevare indipendentemente i conflitti di conoscenza (Zhao et al.) e le allucinazioni (Snyder et al.), non è chiaro se questi due fenomeni condividano una codifica interna comune o se uno possa essere utilizzato per predire l'altro.

Metodologia e Progettazione Sperimentale
Questo studio impiega un framework basato sul probing per investigare la correlazione bidirezionale tra conflitti di conoscenza e allucinazioni. Gli autori ipotizzano che, se le allucinazioni sono causate dai conflitti di conoscenza, i pattern di attivazione interna di un output allucinato dovrebbero essere rilevabili da un classificatore addestrato per identificare i conflitti di conoscenza, e viceversa.

Il design sperimentale prevede due direzioni distinte:

Dai Conflitti di Conoscenza alle Allucinazioni:
- Modello: LLaMA-3-8B.
- Addestramento: Modelli di probing per il conflitto di conoscenza ( $KC_{a,i}$ ) sono stati addestrati utilizzando la regressione logistica sul dataset NQ-Swap (un dataset sintetico di coppie QA in conflitto) per rilevare i segnali di conflitto nelle attivazioni degli strati nascosti (hidden), di attenzione (attention) e MLP.
- Valutazione: Questi rilevatori di conflitto addestrati sono stati applicati alle attivazioni estratte da Mu-SHROOM, HaluEval e HaluBench (dataset contenenti coppie QA allucinate). L'obiettivo era determinare se il rilevatore di conflitto potesse predire accuratamente la presenza di allucinazioni.
Dalle Allucinazioni ai Conflitti di Conoscenza:
- Modello: Falcon-7B.
- Addestramento: Modelli di probing per l'allucinazione ( $H_l, H_{a,i}$ ) sono stati addestrati utilizzando classificatori feed-forward sul dataset TriviaQA per rilevare i segnali di allucinazione nei logit di output e nelle attivazioni intermedie (attenzione e MLP).
- Valutazione: Questi rilevatori di allucinazione sono stati applicati al dataset NQ-Swap per determinare se la presenza di un conflitto di conoscenza potesse essere predetta dal rilevatore di allucinazione.

Risultati Chiave
L'analisi empirica ha prodotto i seguenti risultati:

Mancanza di una Forte Correlazione: Contrariamente all'ipotesi che le allucinazioni siano direttamente riducibili ai conflitti di conoscenza, lo studio ha rilevato che non esiste una correlazione significativa tra le rappresentazioni interne dei due fenomeni.
- Probandole allucinazioni tramite modelli di conflitto di conoscenza (LLaMA-3-8B), l'accuratezza è fluttuata ma è rimasta bassa (spesso vicino al livello del caso, con un AUROC vicino a 0,5). In particolare, le prestazioni sono diminuite negli strati intermedi (15–25), dove i conflitti di conoscenza vengono tipicamente rilevati con maggiore precisione in isolamento.
- Al contrario, provando i conflitti di conoscenza tramite modelli di allucinazione (Falcon-7B), i rilevatori hanno operato a livelli casuali (accuratezza $\approx$ 0,5, AUROC $\approx$ 0,5) attraverso tutti gli strati. Ciò contrasta con lo studio di riferimento di Snyder et al., in cui il rilevamento delle allucinazioni migliorava negli strati successivi; qui, la tendenza è stata trascurabile.
Specificità dell'Attivazione: Lo studio ha osservato che le attivazioni nascoste (hidden) in LLaMA-3-8B erano meno informative per il rilevamento del conflitto rispetto alle attivazioni di attenzione o MLP. In Falcon-7B, è stata osservata la tendenza opposta rispetto alla letteratura precedente, con le attivazioni di attenzione che talvolta superavano gli MLP in questo specifico contesto cross-task.
Robustezza tra le Lingue: Nonostante la mancanza di correlazione tra i fenomeni, la metodologia di probing stessa si è dimostrata robusta. Applicata al dataset multilingue Mu-SHROOM (che copre 14 lingue), i modelli di probing hanno mantenuto una performance stabile tra le diverse lingue, indicando che la tecnica non è fortemente influenzata da specifiche strutture linguistiche.

Significato e Contributi
Il documento contribuisce alla comprensione più ampia dell'interpretabilità degli LLM fornendo prove empiriche sistematiche che le allucinazioni e i conflitti di conoscenza non sono fortemente allineati a livello di rappresentazioni interne.

Decoupling dei Fenomeni: I risultati mettono in discussione l'assunto intuitivo che le allucinazioni siano esclusivamente o principalmente guidate dai conflitti di conoscenza interni. Ciò suggerisce che le allucinazioni possano derivare da meccanismi più complessi e ortogonali che non sono pienamente catturati dai soli segnali di rilevamento del conflitto.
Validazione Metodologica: Sebbene l'ipotesi di correlazione non sia stata supportata, lo studio valida l'utilità del probing come strumento robusto per analizzare il comportamento interno del modello attraverso diversi tipi di attivazione (hidden, attention, MLP) e lingue.
Direzioni Future: Gli autori sottolineano la necessità di separare questi fenomeni nella ricerca futura per sviluppare strategie di mitigazione più mirate. Propongono di estendere queste metodologie di probing a domini ad alto rischio come la salute digitale, l'istruzione e la gestione delle risorse umane, evidenziando l'importanza critica delle considerazioni etiche riguardanti i bias e la misinterpretazione dei risultati del probing in contesti multilingue e sensibili.

Il codice sorgente per la riproduzione di questi esperimenti è pubblicamente disponibile, facilitando ulteriori indagini sui meccanismi interni degli LLM.