💬 NLP

KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

Il paper presenta KGHaluBench, un nuovo benchmark basato su Knowledge Graph che valuta l'ampiezza e la profondità delle conoscenze dei Large Language Models per identificare in modo più completo e dinamico le allucinazioni rispetto ai metodi esistenti.

Autori originali: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che le Intelligenze Artificiali (LLM) siano come dei cucinatori stellati molto abili. Possono preparare piatti (risposte) che sembrano deliziosi, profumati e perfetti. Tuttavia, c'è un problema: a volte, per rendere il piatto più bello, il cuoco aggiunge ingredienti che non esistono davvero o mescola sapori che non stanno insieme. Questo è quello che chiamiamo "allucinazione": dire cose che sembrano vere ma sono false.

Fino a oggi, come facevamo a controllare se un cuoco stava mentendo? Gli davamo un menu fisso con 10 domande standard (es: "Chi ha inventato la pizza?"). Se il cuoco rispondeva bene, pensavamo fosse bravo. Ma questo metodo aveva due grossi difetti:

Era troppo facile e vecchio: Le domande erano sempre le stesse, quindi i cuochi le avevano già memorizzate.
Era superficiale: Non chiedevamo mai "Come è cambiata la ricetta della pizza nel tempo in diverse regioni?", ma solo "Chi l'ha inventata?".

L'Innovazione: KGHaluBench (Il "Chef's Challenge" Dinamico)

Gli autori di questo studio hanno creato un nuovo modo per testare i cuochi, chiamato KGHaluBench. Immaginalo come un programma TV di cucina in diretta, dove il giudice non usa un menu fisso, ma un enorme archivio di ricette vere (chiamato Knowledge Graph o Grafo della Conoscenza).

Ecco come funziona, passo dopo passo:

1. Il Pescatore di Ingredienti (Generazione delle Domande)

Invece di scegliere le domande a caso, il sistema pesca un "ingrediente" (un'entità, come "Leonardo da Vinci" o "Il Titanic") da un enorme database.

La sfida: Non chiede solo "Chi era?". Costruisce una domanda complessa che richiede di collegare tre fatti diversi (es: "Parlami di Leonardo, dove è nato, chi era il suo maestro e qual era il suo lavoro principale").
Il trucco: Il sistema sceglie ingredienti sia famosi (pizza) che sconosciuti (un dipinto di un artista minore) per vedere se il cuoco si perde quando l'argomento è difficile.

2. Il Giudice a Due Livelli (Verifica della Risposta)

Quando il cuoco (l'IA) risponde, il sistema non si fida della sua voce. Usa un controllore a doppio filtro:

Filtro 1: "Di cosa stai parlando?" (Livello Concettuale)
Prima di controllare i dettagli, il sistema chiede: "Stai parlando davvero di Leonardo o stai inventando un altro pittore?".
- Se l'IA dice: "Non so chi sia Leonardo", il sistema le dà un punto parziale perché è onesta (si è "astenuta").
- Se l'IA dice: "Leonardo era un astronauta", il sistema la blocca subito: Allucinazione! Ha sbagliato l'argomento di base.
Filtro 2: "I dettagli sono veri?" (Livello Fattuale)
Se l'IA ha capito di chi parla, il sistema controlla i dettagli uno per uno.
- "Ha detto che è nato a Vinci? Vero."
- "Ha detto che ha dipinto la Gioconda? Vero."
- "Ha detto che ha inventato il telefono? Falso!" -> Allucinazione!

3. I Nuovi Punteggi (Non solo "Vero/Falso")

Il paper introduce due nuovi modi per dare il voto, molto più intelligenti del semplice "quante risposte giuste":

HaluBOK (Allucinazione di "Superficie"): Quanti cuochi hanno sbagliato l'argomento di base? Se un cuoco parla di un astronauta invece che di un pittore, è un problema di ampiezza della conoscenza (non sa chi è l'argomento).
HaluDOK (Allucinazione di "Profondità"): Quanti cuochi hanno capito l'argomento ma hanno sbagliato i dettagli? Se parla di Leonardo ma inventa la data di nascita, è un problema di profondità della conoscenza (sa chi è, ma non ricorda bene i fatti).

Cosa hanno scoperto?

Hanno testato 25 cuochi (modelli di IA), dai più piccoli ai più grandi. Ecco le scoperte principali:

I grandi sono più bravi, ma non perfetti: I modelli più grandi (quelli con più "cervello") sbagliano meno l'argomento di base. Sanno chi è Leonardo.
Il problema dei dettagli: Anche i modelli più grandi, però, continuano a inventare dettagli specifici. Sanno che Leonardo era un pittore, ma potrebbero inventare che ha vissuto a Roma invece che a Firenze. È come se sapessero la trama del film, ma inventassero i nomi dei personaggi secondari.
L'onestà è un'arma: I modelli che ammettono "Non lo so" (si astengono) finiscono per avere meno allucinazioni. È meglio dire "Non so" che inventare una bugia convincente.

In sintesi

KGHaluBench è come un esame di guida che non si limita a farti parcheggiare in un posto vuoto. Ti porta in una città sconosciuta, con traffico, strade a senso unico e lavori in corso, e ti chiede di guidare verso una destinazione specifica.

Se ti perdi e vai nel posto sbagliato, è un errore di direzione (ampiezza).
Se arrivi nel posto giusto ma parcheggi male o rompi un fanale, è un errore di precisione (profondità).

Questo nuovo test ci aiuta a capire esattamente dove le Intelligenze Artificiali stanno mentendo, per poterle allenare a essere non solo più intelligenti, ma anche più vere.

1. Il Problema

I Large Language Models (LLM) possiedono una capacità notevole di generare linguaggio persuasivo e intelligibile, ma la coerenza non garantisce la veridicità. I modelli tendono a produrre "allucinazioni" (contenuti inaccurati o fuorvianti) che minano la loro affidabilità.
Le attuali soluzioni di benchmark presentano due limitazioni fondamentali:

Breadth (Ampiezza) limitata: Molti benchmark si basano su dataset statici e pre-costruiti, che non riescono a coprire fatti emergenti o a riflettere la diversità delle query reali. Inoltre, spesso soffrono di un bias di popolarità, favorendo entità molto conosciute che i modelli hanno visto più frequentemente durante l'addestramento.
Depth (Profondità) superficiale: Le domande sono spesso chiuse (multiple choice) o semplici, limitando la valutazione della conoscenza profonda del modello. Non riescono a testare la capacità di un LLM di integrare molteplici elementi di conoscenza complessa in una singola risposta aperta.

2. Metodologia: KGHaluBench

Il framework proposto, KGHaluBench, utilizza un Knowledge Graph (KG) (specificamente Wikidata) per generare dinamicamente domande complesse e verificare le risposte attraverso un pipeline automatizzato.

A. Generazione delle Domande (Question Generation Module)

Il sistema costruisce domande composte e aperte basandosi su entità estratte casualmente dal KG:

Recupero dell'Entità: Vengono selezionate entità casuali, bilanciando la distribuzione tra tipi comuni, comuni e rari per evitare il bias di popolarità.
Recupero degli Attributi: Per ogni entità focale, il sistema estrae triple dal KG (fatti e relazioni), statistiche (per calcolare la popolarità) e una descrizione da un database esterno (es. Wikipedia).
Formulazione della Domanda: Viene generato un template che richiede una panoramica dell'entità e tre dettagli specifici basati su relazioni casuali estratte dal KG.
Stima della Difficoltà: Viene calcolato un punteggio di difficoltà ( $Q_d$ ) combinando la popolarità dell'entità (basata su visualizzazioni, link, ecc.) e la complessità della domanda (basata sulla rarità delle relazioni richieste). Questo utilizza una funzione sigmoide modificata ispirata alla Item Response Theory.

B. Verifica della Risposta (Response Verification Module)

Un framework a due livelli valida le risposte lunghe (long-form) dei modelli:

Filtro a Livello di Entità (Entity-Level Filter):
- Rileva le astensioni (rifiuto di rispondere).
- Verifica l'allineamento semantico e lessicale tra la risposta e la descrizione dell'entità. Se il modello parla di un'entità sbagliata o non riconosce l'argomento, la risposta è classificata come allucinazione di "ampiezza" (HaluBOK).
Controllo a Livello di Fatto (Fact-Level Check):
- Per le risposte allineate, verifica la correttezza fattuale delle tre relazioni richieste.
- Utilizza una pipeline a tre stadi:
  - NLI Entailment Filter: Un modello NLI veloce (RoBERTa) per verifiche preliminari.
  - LLM Entailment Filter: Un LLM più potente per ragionamenti sottili e sfumature.
  - Expert Decision Filter: Un meccanismo di fallback per casi ambigui.

3. Contributi Chiave

Generazione Dinamica di Domande Composte: Un approccio che sfrutta la struttura relazionale del KG per creare domande che testano simultaneamente la conoscenza di base e i dettagli specifici.
Framework di Verifica Automatizzato: Un sistema ibrido (NLI + LLM) che raggiunge un accordo con il giudizio umano del 79,19% (filtro entità) e dell'87,74% (controllo fatti), superando i giudici automatizzati standard.
Metriche di Valutazione Innovative:
- $W_a$ (Weighted Accuracy): Accuratezza ponderata che scala il punteggio in base alla difficoltà statistica della domanda, correggendo il bias di popolarità.
- HaluBOK (Hallucination Breadth of Knowledge): Tasso di allucinazione rilevato al livello di entità (mancanza di conoscenza di base).
- HaluDOK (Hallucination Depth of Knowledge): Tasso di allucinazione rilevato al livello di fatto (conoscenza di base presente, ma dettagli errati).
Valutazione Estesa: Test su 25 modelli all'avanguardia (15 open-source e 10 proprietari) di diverse dimensioni.

4. Risultati Sperimentali

Difficoltà del Benchmark: KGHaluBench si è rivelato una sfida significativa. Il modello migliore, GPT-5, ha raggiunto un'accuratezza ponderata ( $W_a$ ) del 65,60%.
Divario Open-Source vs Proprietario: I modelli proprietari hanno mostrato una maggiore fattualità media ( $W_a$ 55,94%) rispetto ai modelli open-source ( $W_a$ 48,32%), sebbene modelli open-source come GLM-4.5 abbiano superato alcuni modelli proprietari di fascia alta.
Analisi delle Allucinazioni:
- I modelli più piccoli (8-32B) soffrono principalmente di HaluBOK (54,75%): non riconoscono l'entità o ne parlano in modo errato.
- I modelli più grandi riducono drasticamente l'HaluBOK (11,91%), ma l'HaluDOK diminuisce meno marcatamente. Questo indica che i modelli avanzati sanno cosa discutere, ma faticano a mantenere la precisione dei dettagli specifici.
- Circa il 39,74% delle risposte dei modelli più performanti contiene un singolo fatto errato, creando un falso senso di affidabilità.
Tasso di Astensione: I modelli che astengono di più tendono ad avere meno allucinazioni, ma un'eccessiva astensione riduce l'utilità pratica. È necessaria un'"astensione costruttiva".

5. Significato e Impatto

KGHaluBench rappresenta un passo avanti cruciale nella valutazione degli LLM perché:

Supera la staticità: Offre un benchmark dinamico che si adatta all'evoluzione dei modelli e non è limitato da dataset fissi.
Diagnosi Granulare: Scompone il tasso di allucinazione in "ampiezza" e "profondità", permettendo ai ricercatori di identificare se un modello fallisce per mancanza di conoscenza di base o per incapacità di recuperare dettagli precisi.
Equità nella Valutazione: Introduce una metrica di accuratezza ponderata che neutralizza il bias verso le entità popolari, fornendo una valutazione più equa e realistica.
Strumento per la Mitigazione: Fornisce insight chiari su quali fattori della conoscenza causano allucinazioni, guidando lo sviluppo di strategie di mitigazione più mirate.

Il benchmark è pubblicamente disponibile per supportare lo sviluppo futuro di modelli più affidabili e privi di allucinazioni.