💬 NLP

KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

Dit artikel introduceert KGHaluBench, een nieuw benchmark gebaseerd op kennisgrafieken die de waarheidsgetrouwheid van grote taalmodellen op een eerlijke en uitgebreide manier evalueert door hun kennisbreedte en -diepte te testen via dynamisch gegenereerde vragen en een geautomatiseerde verificatiepijplijn.

Oorspronkelijke auteurs: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer beleefde, slimme chatbot hebt die alles over de wereld lijkt te weten. Hij praat vloeiend, gebruikt mooie zinnen en klinkt als een expert. Maar wat als hij ook een meester in het verzinnen is? Wat als hij, terwijl hij met volle overtuiging praat, eigenlijk onzin verkoopt? Dit fenomeen noemen we "hallucineren".

De auteurs van dit paper hebben een nieuwe manier bedacht om te testen hoe goed deze slimme machines echt zijn, zonder dat ze in de valkuil van hun eigen mooie praatjes trappen. Ze noemen hun uitvinding KGHaluBench.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Statische" Test

Stel je voor dat je een student wilt testen op zijn kennis van geschiedenis. Als je hem altijd dezelfde 10 vragen stelt (bijvoorbeeld: "Wie was de eerste koning van Nederland?"), leert de student die vragen uit het hoofd. Hij haalt een 10, maar dat betekent niet dat hij écht geschiedenis kent. Hij heeft alleen de antwoorden onthouden.

Bestaande tests voor AI doen precies dit: ze gebruiken vaste lijsten met vragen. Zodra de AI die lijsten heeft geleerd, is de test waardeloos. De AI lijkt slimmer dan hij is.

2. De Oplossing: Een Oneindige, Dynamische Test

De auteurs hebben een systeem gebouwd dat werkt als een onvoorspelbare quizmaster.

De Bron: Ze gebruiken een gigantische digitale kennisbank (een "Knowledge Graph" of Kennisnetwerk), vergelijkbaar met een enorme, onderling verbonden Wikipedia.
De Methode: In plaats van vaste vragen, pikt het systeem willekeurig een onderwerp uit deze netwerken. Het kan gaan over een beroemd acteur, een obscure schilderij, of een zeldzame bloemsoort.
De Vraag: Het stelt dan een complexe vraag die drie verschillende feiten over dat onderwerp combineert. Bijvoorbeeld: "Vertel me over [Acteur X], waar hij geboren is, wat zijn beroemdste film was, en wie zijn kinderen zijn."

Omdat de vragen willekeurig worden gegenereerd, kan de AI ze niet uit het hoofd leren. Hij moet écht weten wat hij zegt.

3. De Controle: De "Drie-Lagen" Politie

Als de AI antwoordt, is het niet genoeg om te kijken of het antwoord klinkt als waarheid. Het systeem controleert het antwoord in drie stappen, alsof het een detective is die een dossier onderzoekt:

De Identiteitscontrole (Breedte):
- Vraag: "Weet je überhaupt wie je het over hebt?"
- Analogie: Als je vraagt naar "Vincent van Gogh" en de AI begint te praten over "Vincent van Gogh de schrijver" (die niet bestaat) of begint te twijfelen en zegt "Ik weet het niet", dan wordt dit gedetecteerd. Als de AI gewoon doorgaat met onzin over de verkeerde persoon, is het een "breedte-hallucinatie".
De Feitencontrole (Diepte):
- Vraag: "Zijn de details kloppend?"
- Analogie: Stel de AI weet dat het over Vincent van Gogh gaat, maar zegt dat hij in 1990 is geboren. Dan is de basis goed, maar de details zijn fout. Dit is een "diepte-hallucinatie".
De "Ik weet het niet"-Controle:
- Als de AI eerlijk zegt "Ik weet dit niet", krijgt hij punten voor eerlijkheid. Dit is belangrijk, want het is beter om te zwijgen dan te liegen.

4. De Nieuwe Score: Niet alleen "Goed" of "Slecht"

Oude tests geven vaak een simpele score: 80% goed. Maar dat zegt niets over waarom de AI fout ging.
Deze nieuwe test gebruikt twee slimme maten:

Hoe breed is de kennis? (Weet de AI wie de persoon is?)
Hoe diep is de kennis? (Kent de AI de specifieke details?)

Het resultaat laat zien dat grotere, slimmere AI-modellen vaak wel weten wie ze moeten bespreken (ze hallucineren niet over de identiteit), maar dat ze vaak de specifieke details verdraaien. Ze zijn goed in het "thema" kiezen, maar slecht in de "feiten" onthouden.

5. Waarom is dit belangrijk?

Stel je voor dat je een dokter hebt die een AI gebruikt om diagnoses te stellen. Als de AI zegt: "U heeft een zeldzame ziekte die bestaat, maar de symptomen die ik noem zijn verzonnen," is dat gevaarlijk.

KGHaluBench helpt ontwikkelaars om te zien:

Waar de AI echt zwak is.
Of de AI eerlijk is als hij iets niet weet.
Of de AI "slim" is of alleen maar "goed in het liegen".

Samenvatting in één zin

Dit paper introduceert een slimme, willekeurige quiz die AI-modellen dwingt om niet alleen te praten als een expert, maar ook echt te weten waar ze het over hebben, en meet precies waar ze beginnen te liegen.

1. Het Probleem

Grote Taalmodellen (LLMs) genereren overtuigende en coherente taal, maar coherentie betekent niet noodzakelijk waarheid. LLMs zijn vatbaar voor "hallucinaties" (het genereren van onjuiste of misleidende informatie), wat hun betrouwbaarheid ondermijnt. Bestaande benchmarks voor het evalueren van hallucinaties hebben twee fundamentele tekortkomingen:

Beperkte Breedte: Ze zijn vaak statisch en gebaseerd op vooraf gemaakte datasets. Dit betekent dat ze snel verouderd raken en geen nieuwe feiten kunnen testen. Daarnaast vertonen ze vaak een bias naar populaire entiteiten, wat de resultaten vertekent.
Beperkte Diepte: Veel benchmarks gebruiken gesloten vragen (meerkeuze) of korte, simpele open vragen. Dit test niet de diepte van de kennis van het model en dwingt het model niet om complexe, samenhangende antwoorden te geven die diepgaande kennis vereisen.

Er is behoefte aan een dynamisch, robuust benchmark dat zowel de breedte (hoeveel verschillende onderwerpen het model kent) als de diepte (hoe nauwkeurig de details zijn) van de kennis van een LLM kan meten, terwijl het populatiebias en statische beperkingen oplost.

2. Methodologie: KGHaluBench Framework

KGHaluBench is een nieuw benchmarkframework dat een Kennisgraf (Knowledge Graph - KG), specifiek Wikidata, integreert om dynamisch vragen te genereren en antwoorden te verifiëren. Het framework bestaat uit twee hoofdcomponenten:

A. Vraaggeneratie Module (Question Generation)

In plaats van statische vragen te gebruiken, bouwt dit module vragen dynamisch op:

Entiteit Retrieval: Er wordt willekeurig een entiteit uit de KG gehaald (bijv. "Denzel Washington"). De selectie is gestratificeerd om een balans te vinden tussen zeer bekende, bekende en minder bekende entiteiten, zodat de test niet alleen op populaire onderwerpen focust.
Attributen Retrieval: Voor de geselecteerde entiteit worden drie soorten informatie opgehaald:
- KG Triples: Feitelijke relaties (bijv. geboorteplaats, beroep).
- Beschrijving: Een samenvatting uit een externe database (bijv. Wikipedia) voor context.
- Statistieken: Gegevens over populariteit (page views, links, etc.) om de moeilijkheidsgraad te schatten.
Vraagvorming: Er wordt een complexe, open-ended vraag gegenereerd die een overzicht van de entiteit vraagt, inclusief drie specifieke, willekeurig gekozen feiten (relaties). Dit dwingt het model om diepgaande kennis te tonen.
Moeilijkheidschatting: Een statistisch model schat de moeilijkheidsgraad van elke vraag op basis van de populariteit van de entiteit en de complexiteit van de relaties. Dit wordt gebruikt om de nauwkeurigheid later te corrigeren voor bias.

B. Verificatie Module (Response Verification)

Een geautomatiseerde pijplijn verifieert de antwoorden in drie lagen:

Entiteitsniveau Filter (Entity-Level Filter):
- Detecteert of het model de vraag weigert te beantwoorden (abstention) of de entiteit niet herkent.
- Vergelijkt het antwoord semantisch en op token-niveau met de beschrijving van de entiteit. Als het antwoord niet overeenkomt met de entiteit (bijv. het antwoordt over een andere persoon met dezelfde naam), wordt het als hallucinatie op entiteitsniveau gemarkeerd.
Fact-niveau Check (Fact-Level Check):
- Voor antwoorden die wel de juiste entiteit beschrijven, worden de drie specifieke feiten in het antwoord gecontroleerd.
- Een pijplijn gebruikt eerst een snelle NLI-model (Natural Language Inference) voor snelle verificatie, gevolgd door een LLM voor complexere redenering, en tot slot een "Expert Decision Filter" als een laatste veiligheidsnet.
- Elk feit wordt beoordeeld als correct, tegengesproken of niet genoemd.

C. Nieuwe Metrieken

Om de resultaten eerlijker en interpreteerbaarder te maken, introduceert het paper drie nieuwe metrieken:

Weighted Accuracy ( $W_a$ ): De standaard nauwkeurigheid wordt geschaald op basis van de geschatte moeilijkheidsgraad van de vragen. Dit corrigeert voor de bias dat populaire entiteiten makkelijker zijn.
HaluBOK (Hallucination Rate Breadth of Knowledge): Het percentage antwoorden dat faalt op entiteitsniveau (het model kent de entiteit niet of verwardt deze). Dit meet de breedte van de kennis.
HaluDOK (Hallucination Rate Depth of Knowledge): Het percentage foutieve feiten binnen de antwoorden die de entiteitscheck wel doorstaan. Dit meet de diepte en nauwkeurigheid van de kennis.

3. Belangrijkste Bijdragen

Dynamische Vraaggeneratie: Een methode die de relationele structuur van een KG gebruikt om complexe, samenhangende vragen te maken over willekeurig geselecteerde entiteiten, wat statische bias elimineert.
Geautomatiseerd Verificatiekader: Een tweelaags verificatiesysteem (entiteit en feit) dat 79,19% (entiteit) en 87,74% (feit) overeenstemming toont met menselijke beoordeling.
Statistische Moeilijkheidscorrectie: Een methode om de nauwkeurigheid te schalen op basis van de inhoudelijke moeilijkheid, wat leidt tot de nieuwe metriek $W_a$ .
Gedetailleerde Analyse van Hallucinaties: De decompositie van hallucinaties in HaluBOK en HaluDOK biedt inzicht in waarom een model hallucineert (ontbrekende basisinformatie vs. onnauwkeurige details).

4. Resultaten

Het team evalueerde 25 state-of-the-art LLMs (zowel open-source als propriëtaire modellen) met KGHaluBench:

Algemene Uitdaging: De benchmark bleek zeer uitdagend. Het beste model (GPT-5) behaalde een Weighted Accuracy ( $W_a$ ) van slechts 65,60%.
Propriëtaire vs. Open Source: Propriëtaire modellen presteerden over het algemeen beter in feitelijke nauwkeurigheid (gemiddelde $W_a$ van 55,94% vs. 48,32% voor open-source). Echter, sterke open-source modellen zoals GLM-4.5 (54,35%) presteerden beter dan sommige toonaangevende propriëtaire modellen, wat wijst op een krappe gap.
Breedte vs. Diepte:
- Kleinere modellen (8-32B parameters) hadden een zeer hoge HaluBOK (54,75%), wat betekent dat ze vaak de entiteit zelf niet herkenden of verwarden.
- Grotere modellen hadden een veel lagere HaluBOK (11,91%), maar een minder dramatische daling in HaluDOK (ongeveer 24% daling). Dit suggereert dat grotere modellen weten waarover ze moeten praten (breedte), maar moeite hebben om de precieze details (diepte) correct te onthouden.
Enkele Hallucinaties: Zelfs bij de beste modellen bevatte ongeveer 40% van de antwoorden precies één hallucinatie. Dit creëert een vals gevoel van betrouwbaarheid, omdat het antwoord over het algemeen vloeiend en correct lijkt, maar één cruciaal feit verkeerd is.
Abstention (Weigeren te antwoorden): Modellen die vaker weigerden te antwoorden wanneer ze het niet wisten, hadden over het algemeen lagere hallucinatiepercentages. Echter, te vaak weigeren (bijv. bij GPT-5 Mini) beperkt de bruikbaarheid van het model.

5. Betekenis en Conclusie

KGHaluBench biedt een significant vooruitgang in het evalueren van LLM-kennis door de beperkingen van statische benchmarks te doorbreken.

Interpreteerbaarheid: Door hallucinaties te scheiden in "breedte" en "diepte" kunnen onderzoekers en ontwikkelaars gerichter werken aan het verbeteren van specifieke aspecten van een model (bijv. het uitbreiden van de kennisbasis versus het verfijnen van feitelijke details).
Eerlijke Vergelijking: De gewogen nauwkeurigheid ( $W_a$ ) zorgt voor een eerlijkere vergelijking tussen modellen door rekening te houden met de willekeurige moeilijkheidsgraad van de gegenereerde vragen.
Toekomstige Ontwikkeling: Het benchmark is openbaar beschikbaar en kan dienen als een standaard om strategieën voor het verminderen van hallucinaties te testen en te valideren. Het benadrukt dat zelfs de meest geavanceerde modellen nog steeds kwetsbaar zijn voor subtiele, maar kritieke feitelijke fouten, zelfs wanneer ze de context correct begrijpen.