💬 NLP

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

Het artikel introduceert TOHA, een op topologie gebaseerde hallucinatie-detector voor Retrieval-Augmented Generation-systemen die feitelijk onjuiste outputs identificeert door de topologische divergentie tussen de aandachtsgrafieken van prompt en respons te meten, en dat state-of-the-art prestaties bereikt met minimale data en rekenkracht.

Oorspronkelijke auteurs: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Baran

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een zeer getalenteerde, maar soms overmoedige verhalenverteller. Wanneer je het een vraag stelt, "denkt" het niet alleen in woorden; het kijkt naar een gigantisch, onzichtbaar web van connecties tussen elk woord dat het ooit heeft gezien en elk woord dat het gaat zeggen. Dit web wordt een aandachtskaart genoemd.

Het artikel introduceert een nieuw hulpmiddel genaamd TOHA (TOpology-based HAllucination detector) om deze verhalenverteller te betrappen wanneer het dingen begint te verzinnen (hallucinaties). Hier is hoe het werkt, eenvoudig uitgelegd:

1. Het Web van de Verhalenverteller (De Aandachtsgrafiek)

Stel je de aandachtskaart van het LLM voor als een stadsplattegrond.

De Prompt (Je Vraag): Dit zijn de gebouwen aan de linkerkant van de kaart.
Het Antwoord (Het Antwoord): Dit zijn de nieuwe gebouwen die aan de rechterkant worden gebouwd.
De Lijnen: De lijnen die de gebouwen verbinden, tonen hoe sterk het model naar één woord "kijkt" terwijl het een ander woord schrijft. Als het model de waarheid spreekt, moeten de nieuwe gebouwen (het antwoord) stevig verbonden zijn met de oude (de feiten in je vraag).

2. Het "Hallucinatie"-Probleem

Wanneer het model hallucineert, begint het nieuwe structuren te bouwen die niet goed aansluiten bij de oorspronkelijke stad. Het is alsof het model een brug tekent naar een gebouw dat niet bestaat in je vraag.

Waarheidsgetrouw Antwoord: De nieuwe gebouwen zijn verbonden door sterke, korte bruggen met de oude.
Geënculeerd Antwoord: De nieuwe gebouwen zweven in de lucht, of zijn verbonden door zeer lange, zwakke of niet-bestaande bruggen.

3. De TOHA-Detective (Topologische Divergentie)

TOHA is een detective die de vorm van deze connecties meet. Het maakt gebruik van een wiskundig concept genaamd "Topologische Divergentie".

De Analogie: Stel je voor dat je een stapel stenen hebt (de woorden in je vraag) en je probeert een nieuwe stapel stenen (het antwoord) direct ernaast te bouwen.
- Als je een trouw kopie maakt, gebruik je korte touwen om de nieuwe stenen aan de oude te binden. De totale lengte van het benodigde touw is kort.
- Als je dingen verzint, bevinden je nieuwe stenen zich ver weg of zweven ze. Om ze aan de oude stapel te verbinden, heb je zeer lange, dure touwen nodig.
De Score: TOHA berekent de totale lengte van deze "touwen" (wiskundig: de lengte van een Minimale Spanning Forest).
- Korte totale touwlengte = Het antwoord is geworteld in de feiten (Lage Hallucinatie-score).
- Lange totale touwlengte = Het antwoord drijft weg van de feiten (Hoge Hallucinatie-score).

4. De "Speciale Ogen" (Hallucinatie-bewuste Hoofden)

LLM's hebben vele "hoofden" (verschillende delen van het brein die naar de tekst kijken). Het artikel ontdekte dat niet alle hoofden even goed zijn in het opsporen van leugens.

Sommige hoofden fungeren als kopieermachines. Ze hebben de neiging om naar het aller eerste woord van de zin te kijken als ze in de war raken.
De onderzoekers ontdekten dat specifieke "hoofden" consequent een lange touwlengte (hoge divergentie) vertonen wanneer het model liegt, ongeacht het onderwerp.
TOHA controleert niet het hele brein; het vraagt gewoon deze paar "speciale ogen" om hun mening. Als ze zeggen: "Hé, deze connecties zijn te lang", markeert TOHA het als een hallucinatie.

5. Waarom Dit Een Grote Zaken Is

Geen Extra Training: In tegenstelling tot andere methoden die duizenden voorbeelden van "leugens" nodig hebben om te leren hoe ze deze moeten opsporen, is TOHA "trainingsvrij". Het kijkt gewoon in real-time naar de wiskunde van de connecties.
Supersnel: Andere methoden vragen het model vaak om het verhaal 10 of 20 keer te vertellen om te zien of de antwoorden overeenkomen (alsof je een getuige vraagt om zijn verhaal te herhalen). TOHA hoeft het verhaal maar een keer te bekijken. Het is tot 70 keer sneller dan deze langzamere methoden.
Werkt Overal: De onderzoekers testten het op verschillende modellen (zoals Llama en Mistral) en verschillende taken (vragen beantwoorden, nieuws samenvatten). Het werkte consequent goed, zelfs wanneer het model over volledig verschillende onderwerpen sprak.

Samenvatting

TOHA is als een kwaliteitscontrole-inspecteur voor AI-verhalen. In plaats van het verhaal te lezen om de feiten te controleren, kijkt het naar de blauwdruk (de aandachtskaart). Als de blauwdruk laat zien dat de nieuwe delen van het verhaal ver weg zweven van de oorspronkelijke feiten, zet TOHA een rood vlaggetje. Dit doet het snel, goedkoop en zonder dat het een woordenboek van leugens hoeft te memoriseren.

Technische Samenvatting: TOHA – Topologiegebaseerde Hallucinatiedetectie op Aandachtsgrafieken

Probleemstelling

Grote Taalmodellen (LLMs), met name wanneer ze worden ingezet in Retrieval-Augmented Generation (RAG)-scenario's, blijven vatbaar voor "hallucinaties" – het genereren van inhoud die feitelijk of contextueel onjuist is. Hoewel er bestaande detectiemethoden zijn, lopen deze tegen aanzienlijke praktische beperkingen aan: toezichtgebaseerde benaderingen vereisen schaarse geannoteerde datasets; consistentiegebaseerde methoden (bijvoorbeeld het genereren van meerdere steekproeven) brengen hoge rekenkosten met zich mee; en onzekerheidsgebaseerde metrieken (bijvoorbeeld perplexiteit) slagen er vaak niet in de ware onzekerheid van het model of de nuances van de interne staat vast te leggen. Er is behoefte aan een detectiemechanisme dat data-efficiënt is, computatieverlicht is en in staat is om in te spelen op de interne structurele eigenschappen van LLMs zonder uitgebreide hertraining.

Methodologie

Het artikel introduceert TOHA (een TOpologiegebaseerde HAllucinatie-detector), een trainingsvrij raamwerk dat is ontworpen om hallucinaties te detecteren door de topologische structuur van aandachtskaarten binnen LLMs te analyseren.

1. Aandachtsgrafieken als Topologische Objecten

De methode herformuleert het zelf-aandachtsmechanisme van decoder-only LLMs als een volledige gewogen graaf $G$ . In deze graaf:

Knopen representeren tokens, onderverdeeld in prompt-tokens ( $P$ ) en responstokens ( $R$ ).
Randen zijn gewogen met $1 - w_{ij}$ , waarbij $w_{ij}$ de aandachtscore is van token $i$ naar token $j$ , en pseudo-afstanden voorstellen.
De prompt-subgraaf wordt behandeld als een referentiestructuur, terwijl de responssubgraaf de gegenereerde inhoud vertegenwoordigt.

2. MTop-DivG(R, P) Metriek

De kern van TOHA is MTop-DivG(R, P), een aanpassing van Manifold Topology Divergence (MTop-Div) voor grafische omgevingen.

Berekening: De methode zet de randgewichten tussen prompt-tokens ( $P$ ) op nul om de structurele relatie tussen de prompt en het antwoord te isoleren. Vervolgens wordt de homologie-barcode van orde 0 van de resulterende gewijzigde graaf berekend.
Definitie: De divergentiescore is de som van de lengtes van de intervallen in de barcode van orde 0 ( $B_0$ ).
Geometrische Interpretatie: Deze score is gelijk aan de lengte van het Minimale Spanningbos (MSF) dat de responstokens ( $R$ ) verbindt met de prompt-tokens ( $P$ ).
Informatietheoretische Interpretatie: De score dient als proxy voor de "noviteit" van het antwoord ten opzichte van de prompt. Een hogere divergentie impliceert dat de responstokens minder strak verbonden zijn met de promptstructuur, wat wijst op de introductie van nieuwe, potentieel gehallucineerde informatie.

3. Hallucinatiebewuste Koppen

Een cruciale bevinding van het artikel is dat niet alle aandachtskoppen evenveel bijdragen aan hallucinatiedetectie.

Door de divergentiewaarden over verschillende lagen en koppen te analyseren, identificeerden de auteurs een specifieke subset van "hallucinatiebewuste" koppen.
Deze koppen leveren consistent hogere divergentiescores op voor gehallucineerde steekproeven vergeleken met onderbouwde steekproeven over diverse datasets (bijvoorbeeld MS MARCO, CoQA, SQuAD).
Interessant is dat deze specifieke koppen vaak "koppelend gedrag" vertonen (sterk aandacht richten op het eerste token wanneer eerdere voorkomens ontbreken), wat overeenkomt met eerdere bevindingen op het gebied van mechanistische interpreteerbaarheid.

4. Het TOHA-algoritme

Het algoritme werkt in twee fasen:

Kopselectie (Proeffase): Met behulp van een kleine set geannoteerde proefdata (gehallucineerd versus onderbouwd) rangschikt de methode aandachtskoppen op basis van hun vermogen om de twee klassen te scheiden (gemeten door $\Delta_{ij}$ ). Het selecteert de top $N_{opt}$ koppen (maximaal 10) die de Area Under the Receiver Operating Characteristic Curve (AUROC) maximaliseren.
Voorspelling: Voor een teststeekproef is de uiteindelijke hallucinatiescore het gemiddelde MTop-DivG(R, P)-waarde, berekend uitsluitend over de geselecteerde $N_{opt}$ koppen.

Belangrijkste Bijdragen

TOHA-raamwerk: Een trainingsvrije, topologiegebaseerde hallucinatie-detector die gebruikmaakt van de structurele eigenschappen van aandachtsgrafieken. Het werkt aanzienlijk sneller dan vergelijkbare methoden van hoge kwaliteit en vereist minimale geannoteerde data.
MTop-DivG(R, P): Een nieuwe metriek die Manifold Topology Divergence aanpast aan aandachtsgrafieken. Het kwantificeert topologische dissimilariteit tussen prompt en antwoord, en vangt effectief de noviteit van het antwoord in RAG-scenario's.
Ontdekking van Hallucinatiebewuste Koppen: De identificatie van een kleine, consistente subset van aandachtskoppen die hallucinaties betrouwbaar onderscheiden over datasets. Deze bevinding maakt robuuste detectie mogelijk met slechts ongeveer 10 koppen, wat cross-domein overdraagbaarheid garandeert.
Efficiëntie en Prestaties: De methode bereikt state-of-the-art of concurrerende resultaten op meerdere benchmarks, terwijl het computatie-efficiënt is (ongeveer 70 keer sneller dan consistentiegebaseerde methoden zoals SelfCheckGPT in de praktijk).

Experimentele Resultaten

De auteurs evalueerden TOHA op vijf datasets (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) met behulp van vijf open-source LLMs (LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B).

Prestaties: TOHA presteerde consistent beter dan onzekerheidsgebaseerde baselines (Perplexity, Max Entropy) en kwam overeen met of overtrof consistentiegebaseerde methoden (SelfCheckGPT, Semantic Entropy) en methoden gebaseerd op interne staten (ReDEEP, HaloScope).
- Opmerkelijke verbeteringen waren +11,7% op MS MARCO (Mistral-7B) en +21,6% op CoQA (LLaMA-2-7B) vergeleken met sterke baselines.
- Op de multi-hop HotpotQA-dataset toonde TOHA superieure prestaties, wat de effectiviteit bevestigt in complexe, real-world query-scenario's.
Efficiëntie: TOHA is ongeveer 7 keer sneller dan SelfCheckGPT met één generatie en meer dan 70 keer sneller wanneer SelfCheckGPT meerdere generaties vereist (10-20). De runtime is vergelijkbaar met lichtgewicht entropy-baselines.
Robuustheid: De methode toonde sterke overdraagbaarheid; de prestaties op transferdatasets (bijvoorbeeld trainen op MS MARCO, testen op XSum) bleven binnen de standaardafwijkingen van de prestaties van de methode op data uit de verdelingsverdeling.
Data-efficiëntie: De methode vereist slechts een kleine proefset (zoveel als 50 steekproeven) om de optimale koppen te selecteren, waarna deze werkt zonder verdere training.

Betekenis en Claims

Het artikel claimt dat het analyseren van de topologische structuur van aandachtsmatrices een robuuste en efficiënte indicator biedt voor feitelijke betrouwbaarheid in LLMs. De betekenis van TOHA ligt in het vermogen om:

De kloof te overbruggen tussen theoretische topologische data-analyse (TDA) en praktische hallucinatiedetectie.
Data-schaarste te overwinnen door minimale geannoteerde data te vereisen voor kalibratie, in tegenstelling tot toezichtgebaseerde classifiers.
Rekenoverhead te verminderen door het genereren van meerdere steekproeven te vermijden, waardoor het geschikt is voor real-time of resource-beperkte toepassingen.
Interpreteerbaarheid te bieden door hallucinatiesignalen te koppelen aan specifieke "hallucinatiebewuste" aandachtskoppen, wat inzicht biedt in de mechanistische oorsprong van hallucinaties (met name hun link met koppelend gedrag).

De auteurs concluderen dat TOHA een praktische, schaalbare oplossing biedt om de veiligheid en betrouwbaarheid van LLMs te waarborgen in gevoelige domeinen, met name binnen RAG-systemen waar feitelijke nauwkeurigheid van het grootste belang is. Ze erkennen beperkingen met betrekking tot model-specifieke afhankelijkheden (de specifieke koppen kunnen variëren per architectuur) en de huidige beperking tot tekst-only modaliteiten.