💬 NLP

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

Das Papier stellt TOHA vor, einen auf Topologie basierenden Halluzinationsdetektor für Retrieval-Augmented-Generation-Systeme, der faktisch inkorrekte Ausgaben durch Messung der topologischen Divergenz zwischen den Aufmerksamkeitsgraphen von Prompt und Antwort identifiziert und dabei mit minimalen Daten und Rechenressourcen State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Baran

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen sehr talentierten, aber manchmal übermütigen Geschichtenerzähler vor. Wenn Sie es eine Frage stellen, „denkt" es nicht nur in Worten; es betrachtet ein riesiges, unsichtbares Netz von Verbindungen zwischen jedem Wort, das es je gesehen hat, und jedem Wort, das es gleich sagen wird. Dieses Netz wird als Aufmerksamkeitskarte (Attention Map) bezeichnet.

Die Arbeit stellt ein neues Werkzeug namens TOHA (TOpology-based HAllucination detector) vor, um diesen Geschichtenerzähler zu erwischen, wenn er anfängt, Dinge zu erfinden (zu halluzinieren). So funktioniert es, einfach erklärt:

1. Das Netz des Geschichtenerzählers (Der Aufmerksamkeitsgraph)

Stellen Sie sich die Aufmerksamkeitskarte des LLM als einen Stadtplan vor.

Der Prompt (Ihre Frage): Dies sind die Gebäude auf der linken Seite der Karte.
Die Antwort (Die Reaktion): Dies sind die neuen Gebäude, die auf der rechten Seite errichtet werden.
Die Linien: Die Linien, die die Gebäude verbinden, zeigen, wie stark das Modell beim Schreiben eines Wortes auf ein anderes „schaut". Wenn das Modell die Wahrheit sagt, sollten die neuen Gebäude (die Antwort) fest mit den alten verbunden sein (den Fakten in Ihrer Frage).

2. Das Problem der „Halluzination"

Wenn das Modell halluziniert, beginnt es, neue Strukturen zu bauen, die nicht gut mit der ursprünglichen Stadt verbunden sind. Es ist, als würde das Modell eine Brücke zu einem Gebäude zeichnen, das in Ihrer Frage gar nicht existiert.

Wahrheitsgemäße Antwort: Die neuen Gebäude sind durch starke, kurze Brücken mit den alten verbunden.
Halluzinierte Antwort: Die neuen Gebäude schweben in der Luft oder sind durch sehr lange, schwache oder gar nicht existente Brücken verbunden.

3. Der TOHA-Detektiv (Topologische Divergenz)

TOHA ist ein Detektiv, der die Form dieser Verbindungen misst. Er verwendet ein mathematisches Konzept namens „Topologische Divergenz".

Die Analogie: Stellen Sie sich vor, Sie haben einen Steinhaufen (die Wörter in Ihrer Frage) und versuchen, direkt daneben einen neuen Steinhaufen (die Antwort) zu bauen.
- Wenn Sie eine treue Kopie bauen, verwenden Sie kurze Seile, um die neuen Steine an die alten zu binden. Die benötigte Gesamtlänge der Seile ist kurz.
- Wenn Sie Dinge erfinden, sind Ihre neuen Steine weit entfernt oder schweben. Um sie mit dem alten Haufen zu verbinden, benötigen Sie sehr lange, teure Seile.
Die Punktzahl: TOHA berechnet die Gesamtlänge dieser „Seile" (mathematisch: die Länge eines minimalen Spannwaldes).
- Kurze Gesamtlänge der Seile = Die Antwort ist in den Fakten verankert (niedriger Halluzinations-Score).
- Lange Gesamtlänge der Seile = Die Antwort entfernt sich von den Fakten (hoher Halluzinations-Score).

4. Die „Spezialaugen" (Halluzinationsbewusste Köpfe)

LLMs haben viele „Köpfe" (verschiedene Teile des Gehirns, die den Text betrachten). Die Arbeit hat herausgefunden, dass nicht alle Köpfe gleichermaßen gut darin sind, Lügen zu erkennen.

Manche Köpfe wirken wie Kopiermaschinen. Sie neigen dazu, auf das allererste Wort des Satzes zu schauen, wenn sie verwirrt sind.
Die Forscher haben festgestellt, dass bestimmte „Köpfe" konsistent eine lange Seillänge (hohe Divergenz) aufweisen, sobald das Modell lügt, unabhängig vom Thema.
TOHA überprüft nicht das ganze Gehirn; es fragt nur diese wenigen „Spezialaugen" nach ihrer Meinung. Wenn sie sagen: „Hey, diese Verbindungen sind zu lang", markiert TOHA dies als Halluzination.

5. Warum das eine große Sache ist

Kein zusätzliches Training: Im Gegensatz zu anderen Methoden, die Tausende von Beispielen für „Lügen" benötigen, um zu lernen, wie man sie erkennt, ist TOHA „training-free". Es betrachtet einfach die Mathematik der Verbindungen in Echtzeit.
Super schnell: Andere Methoden fragen das Modell oft 10 oder 20 Mal, die Geschichte zu erzählen, um zu sehen, ob die Antworten übereinstimmen (wie wenn man einen Zeugen auffordert, seine Geschichte zu wiederholen). TOHA muss die Geschichte nur einmal betrachten. Es ist bis zu 70-mal schneller als diese langsameren Methoden.
Überall einsetzbar: Die Forscher haben es an verschiedenen Modellen (wie Llama und Mistral) und verschiedenen Aufgaben getestet (Fragen beantworten, Nachrichten zusammenfassen). Es funktionierte konsistent gut, selbst wenn das Modell über völlig unterschiedliche Themen sprach.

Zusammenfassung

TOHA ist wie ein Qualitätskontrollinspektor für KI-Geschichten. Anstatt die Geschichte zu lesen, um die Fakten zu überprüfen, betrachtet er den Grundriss (die Aufmerksamkeitskarte). Wenn der Grundriss zeigt, dass die neuen Teile der Geschichte weit entfernt von den ursprünglichen Fakten schweben, hebt TOHA eine rote Flagge. Dies geschieht schnell, kostengünstig und ohne dass ein Wörterbuch der Lügen auswendig gelernt werden muss.

Technische Zusammenfassung: TOHA – Topologiebasierte Halluzinationserkennung auf Aufmerksamkeitsgraphen

Problemstellung

Large Language Models (LLMs), insbesondere im Einsatz in Retrieval-Augmented Generation (RAG)-Szenarien, bleiben anfällig für „Halluzinationen" – die Generierung von faktisch oder kontextuell falschem Inhalt. Obwohl bestehende Erkennungsmethoden existieren, stoßen sie auf erhebliche praktische Einschränkungen: Überwachte Ansätze benötigen knappe annotierte Datensätze; konsistenzbasierte Methoden (z. B. die Generierung mehrerer Stichproben) verursachen hohe Rechenkosten; und Unsicherheitsbasierte Metriken (z. B. Perplexität) erfassen oft nicht die wahre Unsicherheit des Modells oder Nuancen seines internen Zustands. Es besteht ein Bedarf an einem Erkennungsmechanismus, der dateneffizient, rechnerisch leichtgewichtig ist und die internen strukturellen Eigenschaften von LLMs nutzen kann, ohne umfangreiches Nachtrainieren zu erfordern.

Methodik

Die Arbeit stellt TOHA (ein TOpology-based HAllucination detector) vor, ein trainingsfreies Framework zur Erkennung von Halluzinationen durch Analyse der topologischen Struktur von Aufmerksamkeitskarten innerhalb von LLMs.

1. Aufmerksamkeitsgraphen als topologische Objekte

Die Methode fasst den Selbst-Aufmerksamkeitsmechanismus von Decoder-only-LLMs als vollständigen gewichteten Graphen $G$ neu. In diesem Graphen:

Knoten repräsentieren Tokens, unterteilt in Prompt-Tokens ( $P$ ) und Response-Tokens ( $R$ ).
Kanten sind mit $1 - w_{ij}$ gewichtet, wobei $w_{ij}$ der Aufmerksamkeitswert vom Token $i$ zum Token $j$ ist und Pseudo-Entfernungen darstellt.
Der Prompt-Teilgraph wird als Referenzstruktur behandelt, während der Response-Teilgraph den generierten Inhalt repräsentiert.

2. MTop-DivG(R, P)-Metrik

Der Kern von TOHA ist MTop-DivG(R, P), eine Anpassung der Manifold Topology Divergence (MTop-Div) für Graphensettings.

Berechnung: Die Methode setzt Kantengewichte zwischen Prompt-Tokens ( $P$ ) auf Null, um die strukturelle Beziehung zwischen Prompt und Response zu isolieren. Anschließend wird der 0. Ordnung Homologie-Barcode des resultierenden modifizierten Graphen berechnet.
Definition: Der Divergenzwert ist die Summe der Längen der Intervalle im 0. Ordnung Barcode ( $B_0$ ).
Geometrische Interpretation: Dieser Wert entspricht der Länge des Minimal Spanning Forest (MSF), der die Response-Tokens ( $R$ ) mit den Prompt-Tokens ( $P$ ) verbindet.
Informationstheoretische Interpretation: Der Wert dient als Proxy für die „Neuartigkeit" der Response im Verhältnis zum Prompt. Eine höhere Divergenz impliziert, dass die Response-Tokens weniger eng mit der Prompt-Struktur verbunden sind, was auf die Einführung neuer, potenziell halluzinierter Informationen hindeutet.

3. Halluzinationsbewusste Köpfe

Ein zentrales Ergebnis der Arbeit ist, dass nicht alle Aufmerksamkeitsköpfe gleichermaßen zur Halluzinationserkennung beitragen.

Durch Analyse der Divergenzwerte über verschiedene Schichten und Köpfe hinweg identifizierten die Autoren eine spezifische Teilmenge von „halluzinationsbewussten" Köpfen.
Diese Köpfe liefern für halluzinierte Stichproben im Vergleich zu fundierten Stichproben über diverse Datensätze hinweg (z. B. MS MARCO, CoQA, SQuAD) konsistent höhere Divergenzwerte.
Interessanterweise zeigen diese spezifischen Köpfe oft ein „Kopierverhalten" (starke Aufmerksamkeit auf das erste Token, wenn vorherige Vorkommen fehlen), was mit früheren mechanistischen Interpretierbarkeitsbefunden übereinstimmt.

4. Der TOHA-Algorithmus

Der Algorithmus arbeitet in zwei Phasen:

Kopfauswahl (Probe-Phase): Unter Verwendung eines kleinen Satzes annotierter Probedaten (halluziniert vs. fundiert) werden die Aufmerksamkeitsköpfe basierend auf ihrer Fähigkeit, die beiden Klassen zu trennen (gemessen durch $\Delta_{ij}$ ), rangiert. Es werden die besten $N_{opt}$ Köpfe (begrenzt auf 10) ausgewählt, die die Fläche unter der Receiver Operating Characteristic Curve (AUROC) maximieren.
Vorhersage: Für eine Teststichprobe ist der endgültige Halluzinationswert der durchschnittliche MTop-DivG(R, P)-Wert, der nur über die ausgewählten $N_{opt}$ Köpfe berechnet wird.

Hauptbeiträge

TOHA-Framework: Ein trainingsfreier, topologiebasierter Halluzinationsdetektor, der die strukturellen Eigenschaften von Aufmerksamkeitsgraphen nutzt. Er arbeitet signifikant schneller als vergleichbare Methoden gleicher Qualität und erfordert minimale annotierte Daten.
MTop-DivG(R, P): Eine neuartige Metrik, die die Manifold Topology Divergence an Aufmerksamkeitsgraphen anpasst. Sie quantifiziert die topologische Dissimilarität zwischen Prompt und Response und erfasst effektiv die Neuartigkeit der Response in RAG-Szenarien.
Entdeckung halluzinationsbewusster Köpfe: Die Identifizierung einer kleinen, konsistenten Teilmenge von Aufmerksamkeitsköpfen, die Halluzinationen über Datensätze hinweg zuverlässig unterscheiden. Diese Erkenntnis ermöglicht eine robuste Erkennung unter Verwendung von nur ca. 10 Köpfen und gewährleistet eine übertragbare Leistung über Domänen hinweg.
Effizienz und Leistung: Die Methode erzielt auf mehreren Benchmarks State-of-the-Art- oder wettbewerbsfähige Ergebnisse und ist dabei rechnerisch effizient (in der Praxis ca. 70-mal schneller als konsistenzbasierte Methoden wie SelfCheckGPT).

Experimentelle Ergebnisse

Die Autoren evaluierten TOHA auf fünf Datensätzen (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) unter Verwendung von fünf Open-Source-LLMs (LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B).

Leistung: TOHA übertraf konsistent Unsicherheitsbasierte Baselines (Perplexität, Max Entropy) und entsprach oder übertraf konsistenzbasierte Methoden (SelfCheckGPT, Semantic Entropy) sowie Methoden auf Basis des internen Zustands (ReDEEP, HaloScope).
- Bemerkenswerte Verbesserungen umfassten +11,7 % auf MS MARCO (Mistral-7B) und +21,6 % auf CoQA (LLaMA-2-7B) im Vergleich zu starken Baselines.
- Auf dem Multi-Hop-Datensatz HotpotQA zeigte TOHA überlegene Leistung und validierte damit seine Wirksamkeit in komplexen, realweltlichen Abfrageszenarien.
Effizienz: TOHA ist etwa 7-mal schneller als SelfCheckGPT mit einer einzigen Generierung und über 70-mal schneller, wenn SelfCheckGPT mehrere Generierungen (10–20) erfordert. Seine Laufzeit ist mit leichten Entropie-Baselines vergleichbar.
Robustheit: Die Methode zeigte eine starke Übertragbarkeit; die Leistung auf Transferdatensätzen (z. B. Training auf MS MARCO, Testen auf XSum) blieb innerhalb der Standardabweichungen der Leistung der Methode auf in-Distribution-Daten.
Dateneffizienz: Die Methode benötigt nur einen kleinen Probesatz (so wenig wie 50 Stichproben), um die optimalen Köpfe auszuwählen, woraufhin sie ohne weiteres Training arbeitet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Analyse der topologischen Struktur von Aufmerksamkeitsmatrizen einen robusten und effizienten Indikator für die faktische Zuverlässigkeit in LLMs liefert. Die Bedeutung von TOHA liegt in seiner Fähigkeit:

Die Lücke zu schließen zwischen theoretischer topologischer Datenanalyse (TDA) und praktischer Halluzinationserkennung.
Datenskarge zu überwinden, indem nur minimale annotierte Daten zur Kalibrierung benötigt werden, im Gegensatz zu überwachten Klassifikatoren.
Rechenoverhead zu reduzieren, indem die Generierung mehrerer Stichproben vermieden wird, was es für Echtzeit- oder ressourcenbeschränkte Anwendungen geeignet macht.
Interpretierbarkeit zu bieten, indem Halluzinationssignale mit spezifischen „halluzinationsbewussten" Aufmerksamkeitsköpfen verknüpft werden, was Einblicke in die mechanistischen Ursprünge von Halluzinationen bietet (insbesondere deren Zusammenhang mit Kopierverhalten).

Die Autoren schließen, dass TOHA eine praktische, skalierbare Lösung zur Sicherstellung der Sicherheit und Zuverlässigkeit von LLMs in sensiblen Bereichen bietet, insbesondere innerhalb von RAG-Systemen, wo faktische Genauigkeit von höchster Priorität ist. Sie erkennen Einschränkungen hinsichtlich modell-spezifischer Abhängigkeiten (die spezifischen Köpfe können je nach Architektur variieren) und der aktuellen Beschränkung auf Text-only-Modalitäten an.