Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering

Probleemstelling

Grote Taalmodellen (LLMs) staan bekend om hun neiging tot "hallucinaties": het genereren van plausibele maar feitelijk onjuiste, tegenstrijdige of irrelevante informatie. Dit vormt een groot risico voor toepassingen in gevoelige domeinen zoals de gezondheidszorg en het recht. Hoewel er benchmarks bestaan (zoals TruthfulQA en HaluEval) die zich richten op feitelijke juistheid, is er weinig onderzoek gedaan naar de specifieke rol van citaten. Het paper identificeert een kritiek gat: hoe kunnen vervalste of misleidende citaten de kans vergroten dat een model een valse claim accepteert en deze zelfs verder onderbouwt met gegenereerde, onware content?

Methodologie

De auteurs introduceerden een nieuwe benadering die bestaat uit drie hoofdblokken: datasetcreatie, experimentele evaluatie en interne state-analyse.

1. Datasetcreatie: FalseCite

Om dit fenomeen systematisch te bestuderen, ontwikkelden de auteurs FalseCite, een gecurateerde dataset met 82.000 valse claims.

• Bronnen: De dataset combineert FEVER (voor algemene, niet-wetenschappelijke claims over popcultuur, politiek en geschiedenis) en SciQ (voor wetenschappelijke claims).
• Generatie van valse claims:
  • Van FEVER werden alleen de als "onwaar" gelabelde claims gebruikt (~47k).
  • Van SciQ werden onjuiste antwoorden gekoppeld aan vragen om declaratieve zinnen te vormen (35k wetenschappelijke valse claims).
• Generatie van misleidende citaten: Er werd een "mix-and-match" strategie gebruikt waarbij bronnamen werden gecombineerd met vooraf gedefinieerde citaten-sjablonen (bijv. "Volgens {bron}...").
• Koppelingsstrategieën: De valse claims werden op twee manieren gekoppeld aan citaten:
  1. Willekeurig (Random): Geen semantische afstemming tussen claim en citaat.
  2. Semantisch (Semantic): Gebruik van embeddings (NovaSearch/stella_en_1.5B_v5) om citaten te koppelen die semantisch het meest lijken op de claim, waardoor de valse claim overtuigender wordt.

2. Experimentele Evaluatie

De auteurs testten drie modellen: GPT-4o-mini (relatief groot/robuust), Falcon-7B en Mistral-7B (kleiner).

• Labeling: Omdat menselijke annotatie te tijdrovend was, werd GPT-4.1 gebruikt als "expert model" om te bepalen of een antwoord een hallucinatie was. Het model werd getraind om te focussen op de feitelijke juistheid van de claim zelf, aangezien het geen internettoegang heeft om de authenticiteit van de bron te verifiëren.
• Vergelijking: De hallucinatiepercentages werden gemeten onder drie condities: zonder citaat, met een willekeurig citaat, en met een semantisch gekoppeld citaat.

3. Interne State Analyse en Clustering

Om te begrijpen hoe hallucinaties ontstaan, analyseerden de auteurs de interne staten van de modellen.

• Activatie Capture: Voor elke hallucinerende respons werden de vijf meest invloedrijke lagen geïdentificeerd door de correlatie (Spearman-correlatie) tussen de lagen en het hallucinatie-label te berekenen.
• Vector Extractie: Per token en per laag werden attention-vectoren geaggregeerd (gemiddelde, maximum en entropie) om statische representaties te vormen.
• Clustering: Na dimensiereductie met PCA (naar 100 dimensies) werd k-means clustering toegepast op de verborgen staten (hidden state vectors) om patronen te vinden die correleren met hallucinaties.

Belangrijkste Resultaten

1. Impact van Valse Citaten

De resultaten tonen aan dat valse citaten consistent leiden tot een toename in hallucinatiegedrag over alle modellen heen.

• Willekeurige citaten veroorzaken de sterkste toename in hallucinaties.
• Semantisch gekoppelde citaten veroorzaken een kleinere, maar nog steeds merkbare toename.
• Modellverschillen:
  • GPT-4o-mini had de laagste baseline hallucinatiegraad (zonder citaat), maar vertoonde de grootste toename (+39,65% bij willekeurige citaten) wanneer een citaat werd toegevoegd. Dit suggereert dat zelfs robuuste modellen gevoelig zijn voor de "autoriteit" van een citaat.
  • Kleinere modellen (Falcon-7B, Mistral-7B) accepteerden valse claims en citaten sneller als waar, maar het verschil tussen willekeurige en semantische citaten was hier minder extreem dan bij GPT-4o-mini.

2. Interne State Visualisatie

De analyse van de verborgen staten onthulde een opvallend patroon:

• De hidden state vectors, ongeacht of het om een hallucinatie of een feitelijke respons ging, neigden om een distinct hoorn-vormige (horn-like) structuur te vormen wanneer gevisualiseerd.
• Hoewel de clustering zelf geen duidelijke scheidslijn tussen hallucinatie en non-hallucinatie liet zien, hadden de bovenste twee clusters in de visualisatie een iets hogere hallucinatiegraad. Dit suggereert dat hallucinaties een evolutie van signalen door de lagen van het model vertegenwoordigen, maar dat deze signalen moeilijk strikt te scheiden zijn van normale generatieprocessen.

Bijdragen en Significantie

1. FalseCite Benchmark: Het paper introduceert een nieuwe, grootschalige dataset die specifiek is ontworpen om de kwetsbaarheid van LLMs voor misleidende citaten te testen. Dit vult een lacune in bestaande benchmarks die zich voornamelijk op feitelijke juistheid zonder context van bronnen richten.
2. Inzicht in Hallucinatiemechanismen: Het onderzoek onderscheidt twee types hallucinaties:
   • Citatie-gedreven: Het model vertrouwt blind op een vervalste bron.
   • Content-gebaseerd: Het model introduceert onjuistheden en bouwt daarop verder.
3. Interne State Analyse: De studie biedt een nieuwe methode om hallucinaties te visualiseren via de interne staten van het model. De ontdekking van de "hoorn-vorm" in de vectorruimte biedt een nieuw perspectief voor toekomstig onderzoek naar het detecteren en mitigeren van hallucinaties op het niveau van neurale activatie.
4. Praktische Implicatie: De bevinding dat zelfs geavanceerde modellen (zoals GPT-4o-mini) sterk beïnvloed worden door de aanwezigheid van een citaat, waarschuwt voor het gebruik van LLMs in domeinen waar bronverificatie cruciaal is. Het benadrukt de noodzaak van systemen die citaten kunnen verifiëren en niet alleen de tekstuele coherentie beoordelen.

Conclusie:
Het paper demonstreert dat de aanwezigheid van een citaat, zelfs een vervalst, een sterke trigger is voor hallucinaties in LLMs. Door de combinatie van de FalseCite dataset en analyse van interne staten, bieden de auteurs een fundament voor het ontwikkelen van robuustere modellen die minder vatbaar zijn voor misleidende externe referenties.