HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models

Dit paper introduceert HART, een raamwerk voor gedetailleerde hallucinatie-attributie en bewijstraceerbaarheid in grote taalmodellen dat een gestructureerde aanpak combineert met een nieuw dataset om de interpretatie en betrouwbaarheid van hallucinaties te verbeteren.

De kern

Stel je voor dat een Large Language Model (LLM) – zoals de slimme chatbots die we vandaag de dag gebruiken – een zeer goed geïnformeerd, maar soms te zelfverzekerd verhaalverteller is.

Deze verteller kan prachtige verhalen schrijven, feiten samenvatten en vragen beantwoorden. Maar soms, als hij even niet goed oplet, verzonnen hij details. Hij zegt bijvoorbeeld dat Einstein een Nobelprijs won voor het ontwerp van de atoombom, terwijl dat in werkelijkheid niet zo was. Dit noemen we "hallucinaties".

Het probleem is dat we tot nu toe vaak alleen wisten dat er iets mis was, maar niet precies waarom het misging of waar we de juiste informatie konden vinden om het te corrigeren.

Dit paper introduceert HART, een nieuw systeem dat als een detective werkt. In plaats van alleen te zeggen "dit verhaal is onwaar", gaat HART op onderzoek uit om de oorzaak te vinden en het juiste bewijs te leveren.

Hier is hoe HART werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Goocheltrucs" van de Verteller

Tot nu toe waren methoden om fouten te vinden als een metaalzoeker: ze konden wel zeggen "hier zit een fout", maar ze konden niet vertellen of het een verzonnen naam was, een verkeerde datum, of een logische fout. Ze zagen de fout, maar niet de oorzaak en ze hadden geen bewijs bij de hand om het te ontkrachten.

2. De Oplossing: HART als Detective

HART (Hallucination Attribution Retrieval Tracing) is als een slimme rechercheur die drie dingen tegelijk doet:

• Stap 1: De Vlek vinden (Locatie)
  HART kijkt naar het verhaal en wijst precies aan welke zin of welk woordstukje (de "span") verdacht is. Het is alsof de detective met een rode stift een zin doorhaalt: "Hier, dit stukje klopt niet."

• Stap 2: De Motief bepalen (Oorzaak)
  Vervolgens vraagt HART zich af: Waarom heeft de verteller dit verzonnen?

  • Heeft hij een naam verward met een andere? (Bijvoorbeeld: Sydney in plaats van Canberra).
  • Heeft hij een klein feitje te veel uitvergroot? (Overgeneralisatie).
  • Heeft hij iets verzonnen omdat hij dacht dat het logisch klonk? (Verzonnen heuristiek).
    Dit helpt ons te begrijpen hoe de verteller in de fout is gegaan.

• Stap 3: Het Bewijs vinden (Traceren)
  Dit is het belangrijkste deel. HART gaat niet zomaar een antwoord zoeken. Het zoekt in een enorme bibliotheek (een database van betrouwbare bronnen zoals Wikipedia) naar tegenbewijs.
  Het zoekt naar een zin die precies het tegenovergestelde zegt van de fout, maar wel waar is.

  • Fout: "Sydney is de hoofdstad."
  • HART vindt: "Canberra is de hoofdstad."
    En het koppelt dit bewijs direct aan de fout.

3. Hoe werkt dit technisch? (De "Magie" uitgelegd)

Stel je voor dat HART een tweestaps-recept heeft om het juiste bewijs te vinden:

1. De Snelle Zoektocht (De Vismarkt):
   HART gebruikt een slimme techniek om duizenden documenten in een seconde te scannen. Het zoekt naar documenten die "op elkaar lijken" in betekenis, niet alleen in woorden. Het is alsof je in een grote vismarkt zoekt naar vis die op jouw vis lijkt, zonder elke vis één voor één te bekijken.
2. De Grondige Controle (De Keurmeester):
   De snelle zoektocht geeft een lijst met kandidaten. Maar soms lijken dingen op elkaar terwijl ze het niet zijn. Daarom laat HART een slimme keurmeester (een Cross-Encoder) deze lijst nog eens grondig lezen. Deze keurmeester vergelijkt de vraag en het antwoord zin voor zin om zeker te weten: "Ja, dit is echt het juiste bewijs dat de fout ontkracht."

4. Waarom is dit belangrijk?

Vroeger was het vinden van een fout in een AI-verhaal als het zoeken naar een speld in een hooiberg. Je wist dat er een speld zat, maar je kon hem niet vinden.

Met HART is het alsof je een GPS hebt die je direct naar de speld leidt én je een kaartje geeft met de reden waarom de speld daar ligt.

• Betrouwbaarheid: Voor belangrijke gebieden zoals de geneeskunde of het recht is dit cruciaal. Als een AI een verkeerd medicijn voorschrijft, willen we niet alleen weten dat het fout is, maar ook waarom en wat het juiste medicijn is.
• Vertrouwen: Het maakt de AI niet alleen slimmer, maar ook eerlijker. Het toont zijn werk en laat zien waar hij zich heeft vergist.

Samenvatting in één zin

HART is een slimme detective die niet alleen zegt "dit verhaal is verzonnen", maar precies aangeeft welk stukje er fout is, waarom de computer die fout maakte, en welk bewijs er is om het verhaal te corrigeren.

Dit maakt Large Language Models veiliger en betrouwbaarder voor alledaags gebruik, van het schrijven van een schoolverslag tot het geven van medisch advies.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend in tekstgeneratie en kennisvragen, maar zijn vatbaar voor "hallucinaties": het genereren van plausibele maar feitelijk onjuiste informatie. Bestaande aanpakken voor het aanpakken van hallucinaties hebben twee belangrijke beperkingen:

1. Detectie-georiënteerd: Veel methoden focussen alleen op het detecteren of er een fout is (via onzekerheidsschatting of interne states), maar bieden geen gedetailleerde analyse van het type hallucinatie of de onderliggende foutmechanismen.
2. Gebrek aan traceerbaarheid: Zelfs wanneer fouten worden gelokaliseerd, ontbreekt er vaak een gestructureerde koppeling naar externe, verifieerbare feitelijke bewijzen. Er is geen gesloten lus die de hallucinatie verbindt met de werkelijke oorzaak en het tegenbewijs in de echte wereld.

Dit leidt tot een gebrek aan interpretatie en traceerbaarheid: het is moeilijk om te bepalen waar precies de fout ontstond en welk feitelijk bewijs de fout weerlegt.

Methodologie: Het HART Framework

De auteurs stellen HART (Hallucination Attribution Retrieval Tracing) voor, een raamwerk dat hallucinatie-analyse omvormt van een louter detectietask naar een gestructureerd taak van attributie en bewijstraceerbaarheid. Het proces verloopt in vier fasen:

1. Span Localisatie: Het identificeren van specifieke tekstfragmenten in de output van het LLM die hallucinaties bevatten.
2. Mechanisme Attributie: Het classificeren van de hallucinatie op twee niveaus:
   • Type hallucinatie: Entity, Fact, Logic, of Fabrication.
   • Foutmechanisme: Entity Mismatch, Overgeneralization, Reasoning Failure, Context Leakage, of Fabrication Heuristic.
3. Evidence Retrieval: Het zoeken naar extern bewijs (tegenbewijs) dat de hallucinatie weerlegt.
4. Causale Traceerbaarheid: Het koppelen van het fragment, het type, het mechanisme en het bewijs in één traceerbaar tuple.

Dataset Constructie:
De auteurs hebben de eerste gestructureerde dataset voor hallucinatie-traceerbaarheid gebouwd. Deze dataset bevat:

• Geannoteerde hallucinatie-fragmenten (spannen).
• Labels voor het type hallucinatie en het onderliggende foutmechanisme.
• Een set van "adversariale bewijzen" (counterfactual evidence) die semantisch gealigneerd is met de hallucinatie maar feitelijk correct is.
• De annotatie gebeurt via een hybride proces: LLM-assistentie voor initiële annotatie, gevolgd door menselijke verificatie en verfijning om ruis te minimaliseren.

Retrieval Architectuur:
Het retrieval-systeem gebruikt een twee-traps benadering:

• Coarse Retrieval: Gebruik van Sentence-BERT voor het omzetten van tekst naar vectorrepresentaties en FAISS voor snelle nearest-neighbor zoekopdrachten in een grote bewijsdatabase (Wikipedia en officiële sites).
• Fine-Grained Reranking: Een Cross-Encoder model wordt gebruikt om de top-k kandidaten opnieuw te scoren op basis van diepere semantische overeenkomst en feitelijke consistentie.
• Multi-Query Strategie: Voor elk hallucinatie-fragment worden meerdere query's gegenereerd om de recall te vergroten.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het paper introduceert een nieuw perspectief waarbij hallucinaties niet alleen worden gedetecteerd, maar worden getraceerd naar externe feitelijke bronnen en causale mechanismen. Dit verschuift de focus van interne modelanalyse naar real-world feitelijke coherentie.
2. Het HART Framework: Een unificatie van span-classificatie, foutmechanisme-attributie en bewijsretrieval in één enkel raamwerk, wat een volledig causaal traceerproces mogelijk maakt.
3. De Dataset: De creatie van het eerste fijnkorrelige, gestructureerde dataset op span-niveau met multidimensionale annotaties (type, mechanisme, bewijsset), specifiek ontworpen voor causale interpretatie-evaluatie.

Resultaten

De experimenten zijn uitgevoerd op datasets gegenereerd door Qwen2.5-7B en Mistral-Small-24B.

• Retrieval Performance: HART presteert aanzienlijk beter dan sterke baselines zoals BM25, DPR en standaard Sentence-BERT.
  • Op de Qwen-dataset bereikte HART een Recall@1 van 0.8024, vergeleken met slechts 0.1074 voor BM25.
  • De combinatie van Dense Embedding, Multi-Query strategie en Cross-Encoder Reranking leverde de beste resultaten op alle metrieken (Recall, nDCG, MRR).
• Classificatie Performance: De classifiers voor hallucinatie-type en foutmechanisme bereikten respectievelijk 79.13% en 83.32% validatie-accuraatheid. Dit toont aan dat het model hallucinaties niet alleen kan vinden, maar ook correct kan categoriseren.
• Statistische Analyse: De analyse toont aan dat "Fabrication Heuristic" (het verzinnen van content) en "Fact" hallucinaties de meest voorkomende fouten zijn, terwijl logische fouten zeldzamer zijn.

Betekenis en Impact

Dit werk is significant omdat het de interpretatie van LLM-hallucinaties naar een hoger niveau tilt:

• Verhoogde Betrouwbaarheid: Door hallucinaties te koppelen aan verifieerbaar extern bewijs, kunnen gebruikers in hoog-risico domeinen (zoals gezondheidszorg, recht en financiën) de betrouwbaarheid van antwoorden beter beoordelen.
• Interpreteerbaarheid: Het biedt niet alleen een "ja/nee" antwoord over een fout, maar verklaart waarom de fout ontstond (het mechanisme) en wat het juiste feit is.
• Toekomstige Richting: Het legt de basis voor cross-modale attributie en het modelleren van multi-hop causale ketens, wat essentieel is voor het bouwen van vertrouwenswaardige AI-systemen.

Kortom, HART transformeert hallucinatie-analyse van een passieve detectietask naar een actief, bewijsgebaseerd traceerproces dat de kloof tussen modeloutput en de objectieve werkelijkheid dicht.