How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

Deze studie, gebaseerd op een evaluatie van 172 miljard tokens, onthult dat hallucinaties in documentgebaseerde vragenbeantwoording aanzienlijk toenemen bij langere contextvensters en dat modelkeuze de belangrijkste factor is, terwijl hardwareplatforms en temperatuur-instellingen slechts een beperkt effect hebben op de nauwkeurigheid.

De kern

Stel je voor dat je een superintelligente bibliothecaris hebt die miljoenen boeken kan lezen in een seconde. Je vraagt hem: "Wat staat er op pagina 42 van dit specifieke boek?" en hij antwoordt direct. Maar wat als hij iets verzonnen antwoordt, iets dat er niet in het boek staat, maar wel heel geloofwaardig klinkt? Dat noemen we een hallucinatie.

Dit onderzoek, uitgevoerd door Kamiwaza AI, is als een gigantische test voor deze bibliothecarissen. Ze hebben 35 verschillende modellen getest om te zien hoe vaak ze liegen als ze alleen op basis van documenten moeten antwoorden. Ze hebben een enorme hoeveelheid data verwerkt (172 miljard woorden!) om een eerlijk beeld te krijgen.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. Iedereen liegt af en toe (zelfs de besten)

Zelfs de slimste bibliothecaris maakt fouten.

• De beste: De allerbeste modellen (zoals GLM 4.5) liegen ongeveer 1 keer op de 100 vragen. Dat klinkt goed, maar in een bedrijf met duizenden vragen per dag is dat al veel.
• De gemiddelde: Een gemiddeld model liegt ongeveer 1 keer op de 4 vragen.
• De slechtere: Sommige modellen liegen in de helft van de gevallen.

De les: Je kunt er nooit 100% zeker van zijn dat het antwoord waar is. Je moet altijd een "controlemechanisme" hebben.

2. Hoe langer het verhaal, hoe groter de leugens

Stel je voor dat je iemand een kort verhaal van 1 pagina geeft. Diegene onthoudt alles perfect. Geef je diezelfde persoon nu een boek van 500 pagina's, dan begint het hoofd te draaien.

• Bij korte documenten (32.000 woorden) werken de modellen redelijk goed.
• Bij middellange documenten (128.000 woorden) beginnen ze al snel te vergeten wat er echt staat en beginnen ze te verzinnen.
• Bij hele lange documenten (200.000 woorden) stort het systeem in. Sommige modellen die bij korte teksten 90% goed zaten, liegen bij lange teksten in 70% van de gevallen.

De les: De "grootte" van het geheugen van een AI (de context window) is niet hetzelfde als de "kwaliteit" van het geheugen. Hoe langer de tekst, hoe onbetrouwbaarder het antwoord vaak wordt.

3. Het vinden van feiten is anders dan het niet verzinnen

Dit is misschien wel de belangrijkste ontdekking. Er is een groot verschil tussen:

1. Goed zoeken: Het vinden van een feit dat wel in het boek staat.
2. Niet verzinnen: Het durven zeggen "dat staat er niet" als een vraag over iets gaat dat er niet staat.

Sommige modellen zijn uitstekende zoekers (ze vinden snel wat er staat), maar zijn ook heel snel geneigd om dingen te verzinnen als ze het niet weten. Het is alsof je een detective hebt die heel snel de waarheid vindt, maar als hij de waarheid niet weet, verzint hij een heel overtuigend verhaal. Een ander model is misschien een trage detective, maar als hij iets niet weet, zegt hij eerlijk: "Ik weet het niet."

De les: Een model dat goed scoort op "zoeken" is niet per se een model dat goed is in "niet liegen".

4. De "Temperatuur" knop: Koud of Warm?

In de AI-wereld is er een instelling genaamd "temperatuur".

• Temperatuur 0 (Koud): De AI is superzeker, kiest altijd het meest waarschijnlijke woord. Mensen denken vaak: "Dit is het beste voor feiten."
• Temperatuur 1 (Warm): De AI is creatiever en kiest soms minder waarschijnlijke woorden.

Het onderzoek toont aan dat Temperatuur 0 niet altijd het beste is.

• Soms helpt een beetje "warmte" (Temperatuur 0,4 of 0,7) de AI om minder te liegen.
• Maar het grootste gevaar van Temperatuur 0 is de "loop". Bij lange teksten kan een koude AI in een cirkel van herhalingen belanden (bijvoorbeeld: "en toen... en toen... en toen...") en nooit stoppen. Bij een warmere temperatuur breekt de AI deze cirkel sneller.

De les: Zet de AI niet altijd op "koud". Soms helpt een beetje warmte om te voorkomen dat de AI in een eindeloze herhaling belandt.

5. De computer maakt niet uit

Ze hebben getest op drie verschillende soorten supercomputers (van NVIDIA, AMD en Intel). Het resultaat? Het maakt geen verschil welke computer je gebruikt. Als je hetzelfde model op dezelfde manier laat werken, krijg je hetzelfde antwoord, ongeacht de hardware.

De les: Je hoeft je geen zorgen te maken over welke computer je koopt; de keuze van het model zelf is veel belangrijker.

Samenvatting voor de praktijk

Als je een bedrijf hebt en AI wilt gebruiken om vragen te beantwoorden op basis van je eigen documenten:

1. Kies je model slim: Niet het grootste model is het beste. Sommige families modellen (zoals GLM) liegen veel minder dan andere (zoals Llama), ongeacht hoe groot ze zijn.
2. Pas op met lange teksten: Als je hele lange documenten hebt, verwacht dan dat de AI meer gaat liegen.
3. Controleer altijd: Gebruik nooit een AI-antwoord zonder het te controleren, want zelfs de beste modellen liegen af en toe.
4. Gebruik de juiste instellingen: Zet de temperatuur niet automatisch op 0. Soms helpt een iets hogere waarde om de AI wakker te houden en te voorkomen dat hij in een loop belandt.

Kortom: AI is een krachtig hulpmiddel, maar het is geen onfeilbare waarheid. Het is meer als een zeer slimme stagiair die soms dingen uit zijn duim zuigt als hij denkt dat hij het moet weten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "How Much Do LLMs Hallucinate in Document Q&A Scenarios?" in het Nederlands.

Titel: Hoeveel Hallucineren LLM's in Document Q&A-scenario's?

Auteur: JV Roig (Kamiwaza AI)
Datum: Maart 2026

---

1. Het Probleem

Een van de meest kritieke toepassingen van Large Language Models (LLM's) in het bedrijfsleven is het beantwoorden van vragen op basis van meegeleverde documenten (via context-stuffing, RAG of agentische zoekopdrachten). De fundamentele zorg hierbij is hallucinatie: het fabriceren van informatie die niet in de brondocumenten staat of het verkeerd toewijzen van feiten.

Bestaande methoden om hallucinatie te meten hebben drie fundamentele tekortkomingen:

1. Data-contaminatie: Statische benchmarks worden vaak gebruikt in het trainingsproces van de modellen, wat de prestaties kunstmatig opblaast.
2. Bias in 'LLM-as-judge': Het gebruik van andere LLM's als beoordelaars introduceert systematische biases die de betrouwbaarheid ondermijnen.
3. Statistische onzekerheid: Veel evaluaties zijn te klein (enkele runs) om statistisch significante conclusies te trekken.

De kernvraag blijft onbeantwoord: Hoe vaak hallucineren LLM's daadwerkelijk in document Q&A-scenario's, en hoe beïnvloeden factoren zoals contextlengte, temperatuur en hardware dit?

2. Methodologie: RIKER

De studie gebruikt de RIKER-methodologie (Retrieval Intelligence and Knowledge Extraction Rating), een "ground-truth-first" benadering die het traditionele evaluatieparadigma omkeert:

• Inversie: In plaats van feiten uit bestaande documenten te halen, worden de documenten en vragen gegenereerd vanuit een bekende, gestructureerde ground truth (een relationele database).
• Deterministische scoring: Omdat de ground truth bekend is, kan elke vraag objectief en deterministisch worden gescoord zonder menselijke annotatie of LLM-judges.
• Schaal en Variatie:
  • Modellen: 35 open-weight modellen (van 1B tot 480B parameters), waaronder families als GLM, Llama, Qwen, DeepSeek en MiniMax.
  • Contextlengtes: 32K, 128K en 200K tokens.
  • Temperaturen: 0.0, 0.4, 0.7 en 1.0 (elk 8 runs per configuratie).
  • Hardware: NVIDIA H200, AMD MI300X en Intel Gaudi3.
  • Totale schaal: Meer dan 172 miljard tokens verwerkt, een orde van grootte groter dan eerdere studies.

Metingen:

• Faithfulness: Algemene nauwkeurigheid.
• Grounding: Vermogen om bestaande feiten correct te extraheren.
• Fabrication: Foutpercentage op vragen over niet-bestaande entiteiten (de zuiverste maatstaf voor hallucinatie).
• Coherence Loss: Percentage van antwoorden dat vastloopt in oneindige generatielussen (gedetecteerd via truncatie).

3. Belangrijkste Resultaten

A. Hallucinatie is onvermijdelijk en neemt toe met contextlengte

Zelfs onder optimale omstandigheden hallucineren alle modellen.

• Basis (32K): De beste presterende modellen (GLM 4.5) hallucineren nog steeds 1,19% van de tijd. Top-tier modellen zitten tussen 5-7%. De mediaan ligt rond de 25%.
• 128K: De hallucinatiegraad stijgt sterk; de beste modellen komen uit op ~3,2%, maar de meeste modellen hallucineren veel vaker.
• 200K: Geen enkel model blijft onder de 10% hallucinatie. De beste (Qwen3 Next 80B-A3B) hallucineert 10,25% van de tijd.
• Conclusie: De geadverteerde contextlengte is vaak een slechte proxy voor de bruikbare contextlengte. Veel modellen die 200K ondersteunen, presteren op dat niveau slechter dan kleinere modellen op 32K.

2. Modelkeuze is de belangrijkste factor (beter dan grootte)

• Het verschil tussen het beste en slechtste model is enorm (tot 72 procentpunten verschil in algehele nauwkeurigheid).
• Modelfamilie > Modelgrootte: De familie van het model voorspelt de weerstand tegen hallucinatie beter dan het aantal parameters.
  • GLM-familie en MiniMax: Consistent lage hallucinatiepercentages, ongeacht de grootte.
  • Llama 3.x-familie: Hoewel ze goed zijn in het vinden van bestaande feiten (grounding), hallucineren ze extreem vaak over niet-bestaande feiten. Bijvoorbeeld: Llama 3.1 70B heeft een grounding van ~90%, maar hallucineert in 49,5% van de gevallen over niet-bestaande entiteiten.
• Grounding en Fabrication zijn ontkoppeld: Een model dat uitstekend is in het extraheren van feiten, is niet per se goed in het niet verzinnen van feiten. Dit is een kritieke bevinding voor de evaluatie van betrouwbaarheid.

3. Temperatuur-effecten zijn genuanceerd

De algemene aanbeveling om temperatuur op 0.0 te zetten voor factuele taken is niet universeel geldig:

• Nauwkeurigheid: T=0.0 levert de beste algehele nauwkeurigheid in slechts 60% van de gevallen.
• Hallucinatie: Hogere temperaturen (0.4 - 1.0) verminderen de hallucinatiegraad in 53% van de gevallen.
• Coherentieverlies (Oneindige lussen): T=0.0 veroorzaakt dramatisch meer "infinite generation loops" (vastlopen) bij lange contexten. Bij 200K context kan T=0.0 leiden tot 48 keer meer mislukte generaties dan T=1.0 (bijv. GLM 4.7). Een gematigde temperatuur (0.4 of 0.7) biedt vaak de beste balans.

4. Hardware is irrelevant voor prestaties

Er zijn geen significante verschillen gevonden tussen NVIDIA H200, AMD MI300X en Intel Gaudi3. Verschillen in nauwkeurigheid tussen hardware-platforms zijn kleiner dan de variatie veroorzaakt door temperatuurinstellingen. Hardware-keuzes kunnen dus puur gebaseerd worden op kosten en beschikbaarheid.

4. Bijdragen en Betekenis

Technische Bijdragen:

• Grootschalige dataset: De grootste tot nu toe uitgevoerde studie naar hallucinatie in document Q&A (172 miljard tokens).
• Methodologische validatie: Bevestiging dat RIKER een robuuste, schaalbare en contaminatie-resistente methode is voor evaluatie.
• Ontkoppeling van vaardigheden: Het aantonen dat "grounding" (feiten vinden) en "fabrication resistance" (feiten niet verzinnen) twee verschillende, onafhankelijke vaardigheden zijn.

Praktische Implicaties voor Bedrijven:

1. Geen "Zero Hallucination": Geen enkel model is vrij van hallucinaties. Productiesystemen moeten safeguards hebben om gefabriceerde antwoorden te detecteren.
2. Modelkeuze is cruciaal: Kies modellen op basis van hun familie en bewezen weerstand tegen hallucinatie (bijv. GLM, MiniMax), niet alleen op basis van parametergrootte.
3. Contextlengte management: Test modellen op de daadwerkelijke productielengte. Een model dat goed presteert op 32K kan catastrofaal falen op 200K.
4. Temperatuur strategie: Vermijd dogmatisch T=0.0. Overweeg T=0.4 of T=0.7 om hallucinaties te verminderen en het risico op vastlopen (coherence loss) te minimaliseren, vooral bij lange documenten.
5. Evaluatieherziening: Bestaande benchmarks die alleen kijken naar het extraheren van bestaande feiten zijn onvoldoende. Evaluaties moeten expliciet testen op het vermogen om niet te antwoorden op vragen over niet-bestaande informatie.

Conclusie:
De studie concludeert dat hallucinatie in document Q&A "substantieel en onvermijdelijk" is. De kloof tussen het vermogen om feiten te vinden en het vermogen om niet te hallucineren vereist gerichte trainingsinterventies, niet alleen schaalvergroting. Voor enterprise deployments is het kiezen van het juiste model en het managen van contextlengte en temperatuur belangrijker dan hardware-optimalisatie.