💬 NLP

CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

Das Papier schlägt CORTEX vor, eine Methode zur Halluzinationserkennung auf Token-Ebene für Retrieval-Augmented Generation, die unbegründete Inhalte identifiziert, indem sie die internen Repräsentationen eines Modells mit und ohne abgerufene Dokumente vergleicht, während sie Informationspropagation und span-konsistente Glättung nutzt, um eine feingliedrige Lokalisierung von Halluzinationen zu erreichen.

Ursprüngliche Autoren: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Assistenten (die KI), der versucht, eine Frage für Sie zu beantworten. Um sicherzustellen, dass die Antwort korrekt ist, geben Sie dem Assistenten einen Stapel Referenzbücher (die abgerufenen Dokumente), an denen er sich orientieren kann, während er schreibt.

Manchmal macht der Assistent einen großartigen Job und hält sich strikt an die Bücher. Ein andermal erfindet er versehentlich ein Faktum oder vermischt ein Detail, obwohl die Bücher direkt vor ihm auf dem Tisch liegen. Das nennt man eine „Halluzination“.

Das Problem ist: In einer langen, detaillierten Antwort schreibt die KI vielleicht 90 % der Fakten korrekt aus den Büchern, unterläuft ihr aber bei nur ein oder zwei Sätzen ein Fehler. Die meisten aktuellen Werkzeuge sind wie ein Sicherheitsmann, der erst am Ende den gesamten Bericht prüft. Wenn der Bericht größtenteils gut ist, sagt er vielleicht: „Sieht gut aus!“ und übersieht die winzige Lüge, die mitten im Text versteckt ist.

Dieses Paper stellt CORTEX vor, ein neues Werkzeug, das wie ein „Mikroskop“ konzipiert ist, um die Antwort Wort für Wort (oder Token für Token) zu prüfen, um genau zu erkennen, an welcher Stelle die KI Dinge erfindet.

So funktioniert CORTX, erklärt anhand von drei einfachen Analogien:

1. Der „Mit und Ohne“-Test (Vergleichende interne Repräsentationen)

Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein Schüler tatsächlich ein Lehrbuch liest oder nur rät.

Der alte Weg: Sie schauen sich die Antwort des Schülers an und versuchen zu erraten, ob er das Buch gelesen hat.
Der CORTEX-Weg: Sie stellen dem Schüler dieselbe Frage zweimal.
1. Das erste Mal: Sie geben ihm das Lehrbuch zum Lesen.
2. Das zweite Mal: Sie nehmen das Lehrbuch weg und lassen ihn aus dem Gedächtnis antworten.

CORTEX vergleicht die „Gehirnaktivität“ (die internen Gedanken) der KI in diesen beiden Szenarien.

Wenn die KI über einen Fakt spricht, der im Buch steht, verändert sich ihr „Gehirn“ signifikant, wenn das Buch präsent ist. Es ist, als würden die Augen des Schülers aufleuchten, weil er die Antwort im Text gefunden hat.
Wenn die KI etwas erfindet (halluziniert), sieht ihr „Gehirn“ fast genauso aus, egal ob das Buch da ist oder nicht, weil sie einfach aus ihrem eigenen Gedächtnis schöpft.

Durch den Vergleich dieser beiden Zustände kann CORTEX genau erkennen, welche Wörter sich aufgrund des Buches geändert haben (gut) und welche Wörter gleich geblieben sind, weil sie erfunden wurden (schlecht).

2. Der „Chain of Thought“-Detektiv (Kontextueller Residualwert)

Manchmal ist eine KI klug genug, einen Fakt aus dem Buch am Anfang der Antwort zu lesen und diesen Fakt dann zu nutzen, um den Rest des Satzes später aufzubauen.

Das Problem: Wenn man nur den späteren Satz betrachtet, könnte es so aussehen, als würde die KI das Buch nicht mehr verwenden, weil das Buch dort nicht direkt erwähnt wird. Dies könnte einen Detektor täuschen, der fälschlicherweise denkt, der spätere Satz sei eine Lüge, obwohl er auf einem wahren Fakt basiert, der zuvor gefunden wurde.
Die CORTEX-Lösung: CORTEX fungiert wie ein Detektiv, der der Spur folgt. Es erkennt: „Hey, dieser Satz stützt sich auf einen Fakt, den die KI vor zwei Sätzen gelesen hat.“ Es subtrahiert diesen „indirekten Einfluss“, damit es nicht verwirrt wird. Dies verhindert, dass das Tool die KI fälschlicherweise der Lüge bezichtigt, wenn sie eigentlich nur eine wahre Geschichte fortführt.

3. Der „Rauschfilter“ (Label-Persistence Smoothing)

Stellen Sie sich vor, Sie hören einen Radiosender, der viel Rauschen hat. Manchmal lässt das Rauschen ein einzelnes Wort wie eine Lüge klingen, obwohl der ganze Satz wahr ist.

Das Problem: Rohe Detektionswerkzeuge können „zittrig“ sein. Sie markieren vielleicht ein Wort als Lüge, das nächste als Wahrheit und das darauffolgende wieder als Lüge, was ein unordentliches, verstreutes Muster erzeugt. In der Realität ist es jedoch meist so, dass eine KI, wenn sie lügt, eine ganze Phrase oder einen ganzen Satz erfindet und nicht nur ein isoliertes Wort.
Die CORTEX-Lösung: CORTEX wendet einen „Glättungsfilter“ an. Es geht davon aus, dass, wenn ein Wort eine Lüge ist, die unmittelbar benachbarten Wörter wahrscheinlich Teil derselben Lüge sind. Es verbindet die Punkte und verwandelt ein verstreutes Chaos aus „Vielleicht-Lügen“ in einen klaren, soliden Block von „definitiven Lügen“. Dies macht das Endergebnis für einen Menschen viel einfacher lesbar und verständlich.

Die Ergebnisse

Die Autoren haben CORTEX an zwei verschiedenen Fragen sets und drei verschiedenen KI-Modellen getestet. Sie fanden heraus, dass:

CORTEX viel besser darin ist, die exakten Wörter zu finden, die erfunden wurden, im Vergleich zu anderen Methoden.
Es selbst dann funktioniert, wenn die KI ein „API“-Modell ist (eine Black Box, in die man nicht hineinsehen kann), indem es ein anderes, offenes KI-Modell nutzt, um die Detektivarbeit im Hintergrund zu leisten.
Jeder Teil des Systems (der Vergleich, die Chain-of-Thought-Prüfung und die Glättung) hat dazu beigetragen, die Detektion genauer zu machen.

Kurz gesagt: CORTEX ist ein Werkzeug, das uns hilft, KI-Antworten mehr zu vertrauen, indem es genau punktgenau aufzeigt, wo die KI Dinge erfindet, anstatt nur zu raten, ob die gesamte Antwort gut oder schlecht ist.

Technisches Resümee: CORTEX

Problemstellung

Retrieval-Augmented Generation (RAG) wird weit verbreitet eingesetzt, um die Ausgaben von Large Language Models (LLMs) durch externe Referenzen zu fundieren, dennoch generieren Modelle häufig halluzinierte Inhalte, selbst wenn Referenzen bereitgestellt werden. Bestehende Methoden zur Halluzinationserkennung stehen vor zwei primären Einschränkungen:

Granularität: Die meisten Ansätze operieren auf der „Antwort-Ebene“ (answer level) und bewerten die gesamte Antwort als eine einzige Einheit. Dies ist unzureichend für langgestreckte RAG-Ausgaben, in denen fundierte und halluzinierte Inhalte oft koexistieren.
Methodik: Viele bestehende Methoden verlassen sich auf Selbstkonsistenz (was mehrere Generationen erfordert) oder prompt-basierte Faktenprüfung (was zusätzliche Inferenz und Prompt-Engineering erfordert), was hohe Rechenkosten verursacht. Darüber hinaus analysieren viele repräsentationsbasierte Detektoren einen einzelnen internen Zustand isoliert, anstatt zu vergleichen, wie sich der Zustand des Modells ändert, wenn Referenzen vorhanden sind gegenüber wenn sie fehlen.

Das Paper schlägt die Notwendigkeit einer Methode zur Erkennung auf Token-Ebene vor, die unbegründete Inhalte innerhalb gemischter Ausgaben lokalisieren kann und als praktisches, post-hoc Framework sowohl für Open-Weight- als auch für Closed-Weight-Modelle (API-basiert) fungiert.

Methodik: CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) ist ein post-hoc Halluzinationserkennungs-Framework, das speziell für RAG entwickelt wurde. Es nutzt ein Open-Weight-LLM ( $M_{open}$ ) als Analysemodell, um die internen Repräsentationen einer generierten Antwort zu untersuchen, die möglicherweise von einem Closed-Weight-LLM ( $M_{close}$ ) produziert wurde.

Das Framework operiert durch drei Kernkomponenten:

1. Referenz-induzierte Delta-Repräsentation

CORTEX konstruiert eine paarweise kontrafaktische Sicht derselben Antwort unter zwei Bedingungen:

Referenz-konditionierter Input: $x_{ref} = \text{Frage} \parallel \text{Referenzen} \parallel \text{Antwort}$
No-Reference-Input: $x_{no-ref} = \text{Frage} \parallel \text{Antwort}$

Durch die Verarbeitung beider Inputs durch $M_{open}$ extrahiert die Methode interne Token-Repräsentationen ( $h_i$ ) für jedes Antwort-Token $t_i$ . Sie berechnet eine Delta-Repräsentation ( $\Delta h_i$ ), welche die Änderung des Zustands des Tokens darstellt, wenn Referenzen bereitgestellt werden:
$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$
Die Intuition ist, dass fundierte Tokens kohärente repräsentative Verschiebungen zeigen, wenn sie in Referenzen eingebettet sind, während halluzinierte Tokens schwächere oder inkohärente Änderungen aufweisen.

2. Aufmerksamkeitsbasierter kontextueller Residuum

Bei der Generierung langer Texte kann der Einfluss der Referenz indirekt propagiert werden. Ein Token $t_i$ könnte nicht durch eine direkte Verbindung zur Referenz fundiert sein, sondern durch vorangegangene Tokens ( $t_{<i}$ ), die fundiert waren. Sich allein auf $\Delta h_i$ zu verlassen, könnte diese indirekt fundierten Tokens fälschlicherweise als Halluzinationen klassifizieren.

Um dies zu adressieren, berechnet CORTEX ein kontextuelles Residuum ( $c_i$ ). Es schätzt den durch vorangegangene Tokens vermittelten Referenzeinfluss unter Verwendung von Attention-Gewichten ( $\alpha_{ij}^{ref}$ ) aus dem referenz-konditionierten Input:
$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$
$c_i = \Delta h_i - \bar{\Delta h}_i$
Das Residuum $c_i$ isoliert die tokenspezifische Änderung, die nach Berücksichtigung des durch den Kontext propagierten Einflusses verbleibt, wodurch Fehlklassifizierungen für Tokens reduziert werden, die indirekt in der Referenz fundiert sind.

3. Token-Level Klassifikation und Glättung

Die Features $[\Delta h_i; c_i]$ werden in einen Multilayer-Perceptron (MLP) Klassifikator eingespeist, um einen Roh-Halluzinationsscore $s_i$ zu erzeugen.

Um mit menschlichen Annotationsmustern übereinzustimmen (bei denen Halluzinationen typischerweise als zusammenhängende Spannen statt als isolierte Tokens auftreten), wendet CORTEX als Post-Processing-Schritt eine Label-Persistence-Glättung (Label-Persistence Smoothing) an. Diese modelliert die Tendenz von Halluzinations-Labels, über benachbarte Tokens hinweg zu persistieren, unter Verwendung eines paarweisen Persistenzterms ( $\rho$ ) und eines Token-Level Konfidenzwerts abgeleitet aus $s_i$ . Der finale geglättete Score wird via Forward-Backward-Algorithmus berechnet, was lokales Rauschen reduziert und gleichzeitig die Granularität auf Token-Ebene bewahrt.

Wichtigste Beiträge

Erster Token-Level RAG-Detektor: Soweit den Autoren bekannt, ist CORTEX die erste Token-Level Halluzinationserkennungsmethode, die speziell für RAG entwickelt wurde und eine feinkörnige Lokalisierung unbegründeter Inhalte ermöglicht.
Praktisches Post-Hoc Framework: Die Methode erfordert keine Modifikation der Parameter des Generators. Sie kann die Ausgaben beliebiger LLMs analysieren, einschließlich API-basierter Closed-Weight-Modelle, indem sie ein separates Open-Weight-Modell zur Merkmalsextraktion nutzt.
Vergleichender Repräsentationsansatz: Im Gegensatz zu vorherigen Arbeiten, die einzelne interne Zustände analysieren, nutzt CORTEX den Kontrast zwischen referenz-konditionierten und No-Reference-internen Repräsentationen, um referenz-induzierte Signale zu isolieren.
Kontextuelles und Span-bewusstes Design: Die Einführung des kontextuellen Residuums adressiert die indirekte Fundierung, während die Label-Persistence-Glättung Vorhersagen mit Span-basierten Annotationsstrukturen in Einklang bringt.

Experimentelle Ergebnisse

Die Autoren evaluierten CORTEX auf zwei Benchmarks (RAGTruth und HalluRAG) unter Verwendung von drei LLMs (Llama-3.1-8B, Qwen3-8B und Mistral-7B).

Token-Level Performance: CORTEX übertraf fünf Baselines (einschließlich NLL, SAPLMA, LLM-Check, ICR Probe und RAGLens) signifikant in Bezug auf Average Precision (AP) und AUROC. Auf RAGTruth erreichte CORTEX eine AP von 0,5940 (Qwen) im Vergleich zum nächstbesten Modell (RAGLens) mit 0,4575.
Answer-Level Performance: Obwohl für die Token-Level-Detektion trainiert, erreichte CORTEX eine wettbewerbsfähige Antwort-Level-Performance (unter Verwendung des maximalen Token-Scores als Antwort-Score), was zeigt, dass Token-Level-Signale effektiv für die globale Zuverlässigkeitsbewertung sind.
Ablationsstudien: Das Entfernen des kontextuellen Residuums ( $c$ ) oder des Glättungsschritts führte zu Leistungsabfällen, was bestätigt, dass beide Komponenten für eine robuste Detektion notwendig sind. Der Glättungsschritt erwies sich als breitgehend vorteilhaft, selbst wenn er auf Baseline-Methoden angewendet wurde.

Bedeutung und Ansprüche

Das Paper behauptet, dass CORTEX die Effektivität des Vergleichs interner Repräsentationen unter unterschiedlicher Konditionierung (mit vs. ohne Referenzen) als Signal für die Halluzinationserkennung demonstriert.

Praktikabilität: Durch die Entkopplung des Generators vom Analysator bietet CORTEX eine lebensfähige Lösung zur Zuverlässigkeitsbewertung in eingesetzten Systemen, in denen der Generator ein Black-Box-API ist.
Granularität: Es adressiert die Einschränkung der Antwort-Level-Detektion, indem es einen Mechanismus zur Lokalisierung von Halluzinationen auf spezifische Tokens bereitstellt, die dann auf jede gewünschte Granularität (Wörter, Sätze, Absätze) aggregiert werden können.
Geltungsbereich: Die Autoren merken explizit an, dass CORTEX für die referenz-fundierte Generierung konzipiert ist. Es detektiert Inhalte, die durch die bereitgestellten Referenzen nicht gestützt werden, was entscheidend für kontrollierte Anwendungen (z. B. Enterprise Support) ist, aber nützliches parametrisches Wissen in offenen Szenarien markieren könnte. Das Paper behauptet nicht, allgemeine faktische Unrichtigkeit unabhängig vom bereitgestellten Kontext zu detektieren.

Die Autoren schließen, dass diese vergleichenden Signale interner Repräsentationen auch als Basis für zukünftige Strategien zur Halluzinationsminderung dienen könnten, wie etwa Reward Modeling für das Tuning von Generatoren.