Hallucination, Monofacts, and Miscalibration: An Empirical Investigation

Dit artikel presenteert het eerste empirische onderzoek naar de relatie tussen hallucinaties, monofacten en miscalibratie in taalmodellen, waarbij wordt aangetoond dat selectieve herhaling van een klein deel van de trainingsdata hallucinaties tot 40% kan verminderen zonder de nauwkeurigheid te schaden, wat de universaliteit van deduplicatiebeleid uitdaagt.

De kern

Samenvatting: Waarom AI soms liegt en hoe we dat kunnen stoppen

Stel je voor dat een kunstmatige intelligentie (AI) een biograaf is die een levensverhaal schrijft. Soms is deze biograaf zo zelfverzekerd dat hij dingen verzint die er nooit hebben bestaan. Hij zegt bijvoorbeeld: "John Smith werd geboren in Seattle in 1982," terwijl John Smith eigenlijk in 1990 in Amsterdam is geboren. Dit noemen we hallucinaties: het AI-model zegt dingen die klinken als waarheid, maar die volledig verzonnen zijn.

Deze nieuwe studie van Miranda Miao en Michael Kearns onderzoekt waarom dit gebeurt en, nog belangrijker, hoe we het kunnen voorkomen zonder de intelligentie van de AI te verpesten.

Hier is de uitleg in simpele taal, met een paar handige vergelijkingen.

1. Het probleem: De "Eenzame Feiten"

Stel je een enorme bibliotheek voor met alle feiten die de AI heeft geleerd.

• Sommige feiten staan er duizenden keren in (bijv. "De aarde draait om de zon").
• Andere feiten staan er maar één keer in (bijv. "De favoriete kleur van de burgemeester van een klein dorpje is paars").

De onderzoekers ontdekten dat de AI vooral liegt over die eenzame feiten (in het Engels monofacts). Omdat de AI die feiten maar één keer heeft gezien, weet hij niet zeker of ze waar zijn. Hij twijfelt. En omdat hij moet praten, verzint hij er een antwoord op dat klinkt als waarheid, maar dat eigenlijk een leugen is.

De vergelijking:
Stel je voor dat je een quiz moet doen.

• Als je een vraag honderd keer hebt geoefend, weet je het antwoord zeker.
• Als je een vraag maar één keer hebt gezien, gok je. En als je gokt, maak je vaak fouten. De AI doet precies hetzelfde: bij eenzame feiten gokt hij, en dat is waar de hallucinaties vandaan komen.

2. De theorie: Waarom "perfecte eerlijkheid" niet werkt

Er was een wiskundige theorie die zei: "Als een AI model perfect eerlijk is (in het Engels gecalibreerd), moet het soms liegen."
Dit klinkt gek, maar het heeft te maken met hoe de AI zijn vertrouwen meet. Als de AI perfect eerlijk is, moet hij ook zeggen: "Ik weet het niet zeker" bij die eenzame feiten. Maar als hij dat doet, raakt hij in de war en begint hij te verzinnen.

De onderzoekers ontdekten een verrassende oplossing: We moeten de AI een beetje "onbetrouwbaar" maken.

3. De oplossing: De "Herhalingstruc"

Hoe los je dit op? Door de AI opzettelijk een beetje te "verwarren" met een slimme truc: selectief herhalen.

Stel je voor dat je een student moet leren voor een examen.

• De oude manier: Je geeft de student een lijst met 10.000 feiten, elk één keer. De student leert ze allemaal een beetje, maar bij de moeilijke, eenzame feiten twijfelt hij.
• De nieuwe manier: Je pakt een klein stukje van die lijst (bijvoorbeeld 5% van de feiten) en laat de student die 10 keer herhalen.

Je geeft de student dus extra veel oefening met een paar specifieke feiten. Hierdoor wordt de student oververzekerd over die feiten. Hij zegt niet langer: "Ik denk dat dit waar is," maar: "Dit is 100% waar!"

Het magische effect:
Door die extra zekerheid bij de herhaalde feiten, verandert de hele "zekerheids-schaal" van de AI. Hij wordt zo zelfverzekerd over wat hij wel weet, dat hij minder snel gaat gokken over wat hij niet zeker weet. Hij stopt met het verzinnen van leugens.

In de studie bleek dat dit de hallucinaties met wel 40% verlaagde, terwijl de AI net zo goed bleef presteren op de feiten die hij al kende.

4. Waarom dit belangrijk is

Vroeger dachten experts dat je alle dubbele feiten uit de trainingsdata moest halen (duplicaten verwijderen), omdat je dacht dat herhaling de AI dom maakt (overfitting).

Deze studie zegt: Nee, dat is niet altijd waar.
Soms helpt het juist om een paar feiten bewust te herhalen. Het is alsof je een spreekwoordelijke "rode vlag" plant bij de feiten die belangrijk zijn, zodat de AI daar extra op let en niet gaat verzinnen.

Conclusie in één zin

Deze studie laat zien dat we AI niet hoeven te dwingen om "perfect eerlijk" te zijn om hem betrouwbaarder te maken; soms helpt het juist om hem een beetje "overmoedig" te maken over een paar feiten, zodat hij stopt met het verzinnen van leugens over de rest.

Kortom: Door een klein beetje "herhalingstherapie" toe te passen op de leerstof van de AI, maken we hem minder geneigd tot liegen, zonder dat hij zijn intelligentie verliest.

Technische samenvatting

Titel: Hallucinaties, Monofacten en Foutkalibratie: Een Empirisch Onderzoek

Auteurs: Miranda Muqing Miao en Michael Kearns (Universiteit van Pennsylvania)

---

1. Het Probleem

Grote Taalmodellen (LLM's) zijn berucht om hun neiging tot het genereren van "hallucinaties": plausibele maar feitelijk onjuiste beweringen. Traditionele aanpakken richten zich vaak op post-hoc correcties (zoals latent-space steering of follow-up vragen) of het verbeteren van de memorisatie. Echter, recente theoretisch werk van Kalai en Vempala (2024) suggereert een fundamentele statistische oorzaak: gekalibreerde taalmodellen moeten hallucineren.

De theorie stelt dat de hallucinatiegraad een statistische ondergrens heeft die wordt bepaald door twee factoren:

1. Monofact-rate: Het percentage feiten in de trainingsdata dat slechts één keer voorkomt.
2. Foutkalibratie (Miscalibration): Het verschil tussen de voorspelde zekerheid van het model en de werkelijke waarschijnlijkheid.

De kernvraag is of deze theoretische relatie in de praktijk kan worden gemanipuleerd om hallucinaties te verminderen zonder de nauwkeurigheid te schaden, en of de standaardpraktijk van het verwijderen van dubbele data (deduplicatie) misschien contraproductief is.

2. Methodologie

De auteurs voeren een empirisch onderzoek uit in twee fasen: klassieke n-gram-modellen en moderne fine-tuned Transformer-modellen.

• Data-Generatie:

  • Om de "monofact-rate" gecontroleerd te variëren, genereren de auteurs trainingsdata uit Pareto-verdelingen (zwaarstaartverdelingen) met verschillende vormparameters ($\gamma$).
  • Een lage $\gamma$ resulteert in veel herhalingen van dezelfde feiten (lage monofact-rate), terwijl een hoge $\gamma$ resulteert in unieke feiten (hoge monofact-rate).
  • n-gram experimenten: Gebruik van gestructureerde filmfeiten (6-tuples uit IMDb) om een gecontroleerde omgeving te creëren.
  • SFT experimenten: Fine-tuning van Transformer-modellen (T5-Small/Large, GPT2-Medium/Large) op synthetische biografische teksten.

• Interventie: Selectieve Opwaarding (Selective Upweighting):

  • De auteurs introduceren een techniek waarbij een klein subsetje (bijv. 5%) van de trainingsvoorbeelden strategisch wordt herhaald (opgewaardeerd) tijdens het trainingsproces.
  • Dit doelbewust injecteert foutkalibratie in het model door de kansmassa te concentreren op specifieke, goed geleerde feiten, waardoor het model "oververzekerd" wordt over deze subset.

• Empirische Analogie:

  • Omdat de ware data-distributie ($p$) in de praktijk onbekend is, vervangen de auteurs de theoretische kalibratieterm door een empirische bin-voor-bin Kullback-Leibler (KL) divergentie. Dit maakt de theorie toepasbaar op echte modellen zonder kennis van de "ground truth".

3. Belangrijkste Bijdragen

1. Empirische Validatie van de Kalai-Vempala-theorie: Het paper bevestigt dat er een positieve correlatie bestaat tussen de monofact-rate en hallucinaties in zowel n-gram als Transformer-modellen.
2. De Rol van Foutkalibratie: Het toont aan dat het doelbewust verminderen van kalibratie (door selectieve opwaarding) hallucinaties kan onderdrukken. Dit is een tegenintuïtieve bevinding, aangezien kalibratie doorgaans als een doelwit wordt gezien.
3. Empirische Ondergrens: Het levert een praktische, empirische versie van de hallucinatie-ondergrens op die gebruikmaakt van KL-divergentie in plaats van de onbekende ware distributie.
4. Uitdaging van Deduplicatie: Het paper daagt de wijdverbreide praktijk van het verwijderen van dubbele data uit, en suggereert dat strategische herhaling (duplicatie) essentieel kan zijn voor betrouwbaarheid.

4. Resultaten

• Relatie Monofact en Hallucinatie: Er is een sterke positieve correlatie: hoe hoger het percentage unieke feiten (monofacten) in de data, hoe hoger de hallucinatiegraad.
• Effect van Selectieve Opwaarding:
  • Door slechts 5% van de trainingsdata op te waarderen (bijv. 10x duplicatie) tijdens de laatste fase van training, daalt de hallucinatiegraad met tot 40%.
  • Cruciaal: Deze reductie gebeurt zonder verlies van nauwkeurigheid. Het model blijft even goed in feitelijke recall, maar hallucineert minder bij vrije generatie.
  • Architectuurafhankelijkheid:
    • Voor Encoder-Decoder modellen (zoals T5) werkt opwaarding in de laatste fase van training het beste.
    • Voor Decoder-only modellen (zoals GPT-2) werkt opwaarding in de eerste fase beter.
• Trade-off: Zonder interventie verbetert standaardtraining de nauwkeurigheid maar laat het een hoge hallucinatiegraad achter. De interventie breekt deze trade-off door hallucinaties te verlagen terwijl de nauwkeurigheid behouden blijft.
• Statistische Significantie: Kolmogorov-Smirnov-tests bevestigen dat de veranderingen in kalibratie en KL-divergentie statistisch significant zijn.

5. Betekenis en Conclusie

Dit onderzoek biedt een fundamenteel nieuw perspectief op het probleem van hallucinaties:

• Van Symptoom naar Oorzaak: In plaats van alleen symptomen te behandelen, manipuleert deze methode de onderliggende statistische mechanismen (verdeling van feiten en kalibratie).
• Paradigmaverschuiving: Het stelt de heilige graal van "perfecte kalibratie" ter discussie. Een zekere mate van "strategische foutkalibratie" (oververzekerdheid op bekende feiten) blijkt gunstig om hallucinaties te voorkomen.
• Praktische Toepassing: De methode is eenvoudig en interpreteerbaar: herhaal een klein deel van de data tijdens fine-tuning. Dit biedt een alternatief voor complexe post-hoc interventies.
• Beperkingen: De auteurs waarschuwen voor mogelijke bijwerkingen, zoals het introduceren van bias (het model zou te vaak de opgewaardeerde feiten kunnen genereren) en het risico op overfitting ten koste van generalisatie op nieuwe, niet-geobserveerde patronen.

Conclusie: Hallucinaties zijn geen mysterieuze fouten, maar een voorspelbaar gevolg van de verdeling van feiten in de trainingsdata en de kalibratie van het model. Door de data-distributie bewust te manipuleren via selectieve opwaarding, kunnen we de betrouwbaarheid van LLM's aanzienlijk verbeteren.