💬 NLP

Detecting Hallucinations for Large Language Model-based Knowledge Graph Reasoning

Questo articolo introduce LUCID, un nuovo metodo di rilevamento delle allucinazioni per il ragionamento su grafi di conoscenza basato su modelli linguistici di grandi dimensioni che raggiunge prestazioni allo stato dell'arte sfruttando congiuntamente i punteggi di attenzione degli LLM, le somiglianze semantiche e le informazioni strutturali del grafo attraverso una rete neurale a grafo.

Autori originali: Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente molto intelligente e colto (il Large Language Model, o LLM) per rispondere a una domanda complessa. Per assicurarti che l'assistente non inventi le cose, gli fornisci un enorme archivio organizzato di fatti chiamato Knowledge Graph (KG). Gli dici: "Guarda in queste cartelle specifiche e dimmi cosa trovi".

Il problema? Anche con l'archivio proprio davanti a sé, l'assistente a volte si distrae, sogna ad occhi aperti o inventa con sicurezza un fatto che non è presente nelle cartelle. Questo viene chiamato allucinazione. Nel mondo reale, se il tuo assistente stesse aiutando un medico o un avvocato, inventare un fatto potrebbe essere disastroso.

Il documento che hai fornito introduce un nuovo strumento chiamato LUCID (che sta per halLUcination deteCtIon method for LLM-based knowleDge graph reasoning). Pensa a LUCID come a un guardia giurata super-osservatore che sorveglia il tuo assistente mentre lavora.

Ecco come funziona LUCID, suddiviso in analogie semplici:

1. Il Problema: L'assistente che "sogna ad occhi aperti"

Gli autori hanno scoperto che anche quando l'assistente ha i fatti corretti davanti a sé, inventa risposte circa il 29,65% delle volte.

L'Esempio: Immagina che l'archivio dica chiaramente: "PLS Inc. sponsorizza 'MarketMakers'". Ma l'assistente guarda l'archivio, vede una cartella chiamata "Dealmakers Expo" (che suona simile) e afferma con sicurezza: "PLS Inc. sponsorizza Dealmakers Expo". L'assistente sta allucinando perché ha scelto una parola che suonava bene invece di quella che era effettivamente presente.

2. La Soluzione: La Guardia Giurata a Tre Livelli (LUCID)

Le precedenti guardie giurate guardavano solo due cose:

La Guardia dello "Stato Interno": L'assistente sembrava nervoso o incerto? (Questo ignora il fatto che l'assistente potrebbe essere sicuro di sé pur essendo in errore).
La Guardia del "Corrispondenza Testuale": La risposta corrispondeva alle parole nell'archivio? (Questo ignora la struttura dei fatti).

LUCID è diverso. Agisce come una guardia giurata con tre occhi che controlla tre cose specifiche simultaneamente:

Occhio 1: Il Tracciatore di "Focus" (Attenzione dell'LLM)
Immagina che l'assistente abbia un puntatore laser. LUCID osserva dove il puntatore laser sta illuminando mentre l'assistente scrive la risposta.
- Il Trucco: Se l'assistente parla di "PLS Inc.", ma il suo puntatore laser è sospeso sopra la cartella sbagliata ("Dealmakers") invece che su quella giusta ("MarketMakers"), LUCID sa che qualcosa non va. Misura esattamente quali parti dell'archivio l'assistente sta effettivamente "guardando".
Occhio 2: Il Controllore di "Significato" (Semantica del KG)
Questo occhio controlla se le parole usate dall'assistente abbiano senso nel contesto della domanda. È come un traduttore che controlla se la relazione tra due fatti sia logica.
Occhio 3: Il Lettore di "Mappe" (Struttura del KG)
Questa è la parte più importante. L'archivio non è solo un elenco; è una rete di connessioni. LUCID osserva la forma delle connessioni.
- L'Analogia: Se i fatti sono connessi come una ragnatela, LUCID controlla se l'assistente sta seguendo la ragnatela correttamente. Se l'assistente salta a una conclusione che rompe lo schema della ragnatela, LUCID lo nota immediatamente.

3. Come Impara (L'Addestramento)

LUCID non tira a indovinare; è stato addestrato su una Rete Neurale su Grafi (GNN).

Pensa a un detective che ha studiato migliaia di casi in cui l'assistente ha fatto bene e migliaia di casi in cui ha sbagliato.
Il detective ha imparato a riconoscere il "modello" specifico di un'allucinazione: Quando il puntatore laser è sulla cartella sbagliata, il significato è leggermente errato e la ragnatela di fatti è interrotta.
Una volta addestrato, LUCID può guardare una nuova risposta e dire: "C'è l'80% di probabilità che questa sia un'allucinazione".

4. I Risultati: La Guardia Funziona

Gli autori hanno testato LUCID contro 15 altre guardie giurate (metodi esistenti) utilizzando nove diversi dataset (diversi tipi di archivi e domande).

Il Punteggio: LUCID ha vinto ogni volta, battendo tutti gli altri. È stato il più accurato nel individuare il "sognare ad occhi aperti".
Il Vantaggio Pratico: Il documento mostra un trucco intelligente per usare LUCID per risparmiare denaro.
- Immagina di avere un assistente economico e veloce (Qwen2.5-7B) e un assistente costoso e super-intelligente (Qwen3-235B).
- Lasci che l'assistente economico faccia tutto il lavoro.
- LUCID lo sorveglia. Se LUCID dice: "Ehi, questa risposta sembra un'allucinazione!", invii solo quella specifica domanda all'assistente costoso per un controllo.
- Il Risultato: Ottieni quasi la stessa precisione di aver usato l'assistente costoso per tutto, ma risparmi il 55% dei soldi perché hai pagato per i controlli costosi solo quando erano effettivamente necessari.

Riassunto

In breve, questo documento dice: "Gli LLM sono bravi a usare i grafi di conoscenza, ma a volte mentono. Abbiamo costruito LUCID, uno strumento che osserva come l'IA guarda i fatti, cosa significano quei fatti e come sono connessi. Combinando queste tre visioni, LUCID cattura le bugie meglio di qualsiasi altro strumento in nostro possesso, e può anche aiutarci a risparmiare denaro chiamando gli 'esperti' solo quando i 'novizi' stanno per commettere un errore".

Riepilogo Tecnico: LUCID - Rilevamento delle Allucinazioni per il Ragionamento su Grafi di Conoscenza basato su LLM

1. Definizione del Problema

Sebbene i Modelli di Linguaggio di Grandi Dimensioni (LLM) integrati con Grafi di Conoscenza (KG) abbiano fatto avanzare i compiti di ragionamento come il Question Answering (QA) e il supporto decisionale, essi rimangono suscettibili alle allucinazioni. Anche quando i triple rilevanti del KG vengono estratti e incorporati nei prompt, gli LLM possono generare risposte fattualmente errate che contraddicono l'evidenza estratta.

I metodi esistenti di rilevamento delle allucinazioni affrontano limitazioni significative in questo specifico dominio:

I metodi generali (es. EigenScore, Perplexity) si concentrano sugli stati interni dell'LLM ma ignorano il contesto esterno del KG.
I metodi specifici per RAG (es. RAGAs, Trulens) verificano la coerenza tra le risposte e il testo recuperato, ma trascurano l'informazione strutturale intrinseca nei KG.
Gap: Nessun metodo esistente sfrutta congiuntamente l'attenzione interna dell'LLM, la semantica del KG e la topologia strutturale del KG per rilevare le allucinazioni nei framework di ragionamento LLM-KG.

Gli autori quantificano questo problema annotando manualmente le risposte di tre framework (Readi, ToG, StructGPT) attraverso tre dataset (GrailQA, WebQSP, QALD-10), rivelando un tasso di allucinazione medio del 29,65%.

2. Metodologia: LUCID

Il paper propone LUCID (halLUcination deteCtIon method for LLM-based knowleDge graph reasoning), il primo metodo progettato specificamente per questo scenario. LUCID opera fondendo tre diverse fonti di informazione in una Rete Neurale su Grafo (GNN) per predire la probabilità di allucinazione.

2.1 Estrazione delle Caratteristiche

Il metodo elabora l'interazione tra l'LLM e il sottografo del KG estratto ( $G = (V, E)$ ) attraverso tre fasi:

Informazione sullo Stato Interno dell'LLM (Punteggi di Attenzione):
- Il modello estrae i punteggi di attenzione dall'architettura multi-layer e multi-head dell'LLM durante la generazione della risposta.
- Calcola il punteggio di attenzione medio per ogni token della risposta su tutti i token corrispondenti ai nodi (entità) e agli archi (relazioni) del KG.
- Questi vengono aggregati in due matrici di attenzione media: $M_e$ (per i nodi) e $M_r$ (per gli archi) attraverso tutti i layer e le teste.
Informazione Semantica del KG:
- Per distinguere gli archi rilevanti dal compito da quelli non rilevanti, il metodo calcola la similitudine semantica tra la query e le relazioni (archi) nel KG.
- Utilizzando un modello di linguaggio pre-addestrato (all-MiniLM-L6-v2), vengono generati gli embedding per la query e le relazioni.
- Vengono calcolati i punteggi di similitudine del coseno $s(r, Q)$ . Nota: La rilevanza semantica è calcolata per le relazioni, non per le entità, poiché le forme superficiali delle entità sono spesso ambigue.
Costruzione delle Caratteristiche:
- Caratteristiche dei Nodi ( $x_e$ ): Formate appiattendo la matrice di attenzione dei nodi $M_e$ .
- Caratteristiche degli Archi ( $x_r$ ): Formate concatenando la matrice di attenzione degli archi appiattita $M_r$ con il punteggio di similitudine semantica $s(r, Q)$ .

2.2 Modello di Rilevamento (GNN)

Il sottografo arricchito, dotato delle costruite caratteristiche di nodo e arco, viene inserito in una Graph Isomorphism Network con Edge features (GINE).
GINE è stata scelta rispetto alla standard GIN perché incorpora esplicitamente le caratteristiche degli archi nel meccanismo di passaggio di messaggi (message-passing), permettendole di sfruttare le ricche proprietà strutturali e semantiche del KG.
La GNN aggrega l'informazione del grafo attraverso $K$ livelli di passaggio di messaggi. Una rappresentazione a livello di grafo viene ottenuta sommando le caratteristiche dei nodi, che viene poi passata attraverso un classificatore (MLP + Sigmoid) per emettere la probabilità di allucinazione.
La soglia di rilevamento è determinata massimizzando la media geometrica di sensibilità e specificità sulla curva ROC.

3. Contributi Chiave

Identificazione del Problema e Benchmarking: Gli autori sono i primi a identificare e quantificare sistematicamente le allucinazioni nei framework di ragionamento basati su KG e LLM. Hanno costruito dataset di benchmark annotati manualmente su tre framework e tre dataset di QA, stabilendo un tasso di allucinazione di base del 29,65%.
Metodo Novellativo (LUCID): Propongono LUCID, un framework di rilevamento che integra unicamente:
- Lo stato interno dell'LLM (meccanismi di attenzione).
- L'informazione semantica del KG (similitudine relazione-query).
- L'informazione strutturale del KG (topologia del grafo).
Prestazioni allo Stato dell'Arte (SOTA): Esperimenti estesi dimostrano che LUCID supera i 15 baseline (inclusi i metodi di rilevamento generale e gli strumenti specifici per RAG) in tutti i framework e dataset testati.
Utilità Pratica: Il paper dimostra che le probabilità di allucinazione di LUCID possono essere utilizzate per raffinare le strategie di QA, riducendo significativamente i costi di inferenza pur mantenendo un'alta accuratezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su GrailQA, WebQSP e QALD-10 utilizzando tre framework di ragionamento: Readi, ToG e StructGPT.

Prestazioni: LUCID ha raggiunto prestazioni SOTA su tutti i dataset.
- In media, ha superato il miglior baseline (SelfCheckGPT) del 6,76% e REDEEP (chunk) del 5,48% in termini di metrica media (AVG di ACC, AUC, PCC).
- Ha mostrato i guadagni più significativi sul framework Readi (+2,81% di guadagno medio), attribuito ai sottografi del KG più densi di Readi che si adattano meglio al meccanismo di passaggio di messaggi di LUCID.
- Su WebQSP, LUCID ha ottenuto un guadagno medio del +2,57%, gestendo efficacemente le domande centrate sulle relazioni dove le allucinazioni derivano spesso dalla selezione errata della relazione.
Applicazione dell'Efficienza dei Costi: È stata testata una strategia "Mixed" in cui Qwen2.5-7B genera le risposte iniziali e LUCID segnala le allucinazioni ad alta probabilità per la rigenerazione da parte di un modello più grande (Qwen3-235B).
- Questo approccio ha ottenuto un'accuratezza comparabile all'uso del modello grande per tutte le query (differenza dell'1,18%).
- Ha ridotto i costi monetari in media del 55,4% rispetto all'uso esclusivo del modello grande.
Studi di Ablazione:
- Caratteristiche: Rimuovere la similitudine semantica o sostituire le matrici di attenzione con punteggi casuali o di layer nascosti ha degradato significativamente le prestazioni, confermando la necessità sia dei segnali di attenzione che di quelli semantici.
- Architettura del Modello: GINE ha superato GCN, GAT e MLP, validando l'importanza di modellare esplicitamente le caratteristiche degli archi e la topologia del grafo.
- Iperparametri: Le prestazioni ottimali sono state raggiunte con 2 layer GINE, 512 canali nascosti e un learning rate di $1 \times 10^{-3}$ .

5. Significato e Rivendicazioni

Il paper sostiene che LUCID affronti una lacuna critica nella affidabilità del ragionamento basato su KG e LLM. Passando da controlli di coerenza superficiali all'analisi dell'allineamento strutturale e semantico tra l'attenzione dell'LLM e il KG, LUCID fornisce un meccanismo più robusto per il rilevamento della disinformazione.

Gli autori posizionano LUCID non solo come uno strumento di rilevamento, ma come un componente fondamentale per migliorare le applicazioni a valle. La capacità di filtrare le allucinazioni permette:

Un supporto decisionale e una scoperta di conoscenza automatizzata più affidabili.
Strategie di implementazione economiche (utilizzando modelli più piccoli con raffinamento selettivo).
Una base necessaria per futuri miglioramenti nell'integrazione LLM-KG.

Il lavoro conclude osservando che, sebbene LUCID sia efficace, il lavoro futuro si concentrerà sull'attribuzione fine delle allucinazioni per una migliore interpretabilità e sull'estensione della valutazione ad ambienti multilingue e cross-dominio.