💬 NLP

Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Dieser Beitrag stellt ein Proxy-Analyse-Framework vor, das Halluzinationen in großen Sprachmodellen durch die Analyse der internen Aktivierungen kleiner, lokal gehosteter Open-Weight-Modelle erkennt und dabei einen State-of-the-Art-Performance über diverse Analyse-Architekturen hinweg erzielt, während gleichzeitig gezeigt wird, dass eine größere Modellgröße nicht notwendigerweise mit einer besseren Detektionsgenauigkeit korreliert.

Ursprüngliche Autoren: Akshita Singh, Prabesh Paudel, Siddhartha Roy

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akshita Singh, Prabesh Paudel, Siddhartha Roy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal unzuverlässigen Schriftsteller (ein Large Language Model), der versucht, Fragen basierend auf einem bestimmten Dokument zu beantworten. Manchmal erfindet dieser Schriftsteller Dinge oder „halluziniert", indem er Fakten mit Fiktion vermischt.

Das Problem lautet: Wie fangen Sie den Schriftsteller beim Lügen, ohne in sein Gehirn zu spähen oder ihn zu bitten, seinen Denkprozess zu erklären? Normalerweise können Sie, wenn der Schriftsteller ein geschlossenes System ist (wie eine große kommerzielle API), seine inneren Abläufe nicht einsehen.

Diese Arbeit stellt eine clevere neue Lösung vor: Der „Proxy-Analysator".

Die Kernidee: Der Detektiv der „zweiten Meinung"

Anstatt zu versuchen, in das Gehirn des Schriftstellers zu blicken, haben die Autoren einen kleinen, unabhängigen Detektiv (ein kleineres KI-Modell) entwickelt, der die fertige Geschichte zusammen mit dem Originalquellendokument liest.

Stellen Sie es sich so vor:

Der Schriftsteller: Ein Schüler, der eine Prüfung schreibt.
Die Quelle: Das Lehrbuch.
Die Halluzination: Der Schüler schreibt eine Antwort, die gut klingt, aber nicht im Lehrbuch steht.
Der alte Weg: Versuchen, in den Kopf des Schülers zu schauen, um zu sehen, ob er rät. (Unmöglich, wenn der Schüler eine „Blackbox" ist).
Der neue Weg (diese Arbeit): Sie stellen einen kleinen, scharfsinnigen Nachhilfelehrer (den Proxy-Analysator) ein, um die Antwort des Schülers und das Lehrbuch Seite für Seite zu lesen. Der Nachhilfelehrer muss nicht wissen, wie der Schüler denkt; er sucht nur nach Spannungen zwischen der Antwort und dem Buch.

Wenn die Antwort des Schülers dem Buch widerspricht, leuchtet das „Gehirn" des Nachhilfelehrers (die internen elektrischen Signale der KI) auf eine spezifische, vorhersehbare Weise auf. Das System erkennt diese elektrischen „Ausbrüche", um die Lüge zu entlarven.

Wie der Detektiv funktioniert (die 18 Hinweise)

Der Detektiv liest nicht nur die Worte; er betrachtet die Mechanik, wie die KI den Text verarbeitet. Die Autoren haben 18 verschiedene „Hinweise" (Merkmale) entwickelt, basierend darauf, wie KI-Transformer funktionieren. Hier sind einige Analogien für die wichtigsten:

Der „Aufmerksamkeits"-Scheinwerfer (Signal 2): Stellen Sie sich vor, die KI hat einen Scheinwerfer, der auf den Quelltext scheint. Wenn sie die Wahrheit sagt, bleibt der Scheinwerfer auf dem Buch. Wenn sie lügt, wandert der Scheinwerfer ab oder gerät in Verwirrung. Das System misst genau, wo das Licht scheint.
Der Kampf zwischen „Gedächtnis" und „Lesen" (Signal 4): KI hat zwei Möglichkeiten zu antworten: das Buch lesen (gut) oder sich auf ihre eigenen auswendig gelernten Fakten verlassen (riskant). Das System misst, welche davon gewinnt. Wenn das „Gedächtnis" lauter schreit als das „Lesen", ist es wahrscheinlich eine Halluzination.
Der „Verwirrungs"-Messgerät (Signal 3): Wenn eine KI die Wahrheit liest, verteilt sie ihre Aufmerksamkeit. Wenn sie lügt, bleibt sie oft an einigen auswendig gelernten Wörtern hängen, was einen „Zusammenbruch" der Aufmerksamkeit erzeugt. Das System erkennt diesen Zusammenbruch.

Die großen Experimente

Die Forscher testeten diesen Detektiv mit sieben verschiedenen KI-Modellen unterschiedlicher Größe, von winzig (0,5 Milliarden Parameter) bis riesig (9 Milliarden Parameter). Sie behandelten diese Modelle als die „Detektive", um zu sehen, welcher am besten beim Aufspüren von Lügen war.

Die überraschenden Ergebnisse:

Größer ist nicht immer besser: Normalerweise gehen wir davon aus, dass ein größerer, teurerer Detektiv klüger ist. Aber hier schlug ein 3-Milliarden-Parameter-Modell tatsächlich das 8-Milliarden-Parameter-Modell derselben Familie. Es ist, als würde man feststellen, dass ein kompakter, wendiger Wagen auf einer bestimmten Strecke schneller ist als ein riesiger Luxus-SUV. Das Design des Detektivs war wichtiger als seine Größe.
Der „kleine" Detektiv ist großartig: Ein winziges 0,5-Milliarden-Parameter-Modell (Qwen2.5) schnitt fast genauso gut ab wie die massiven Modelle. Das bedeutet, Sie brauchen keinen Supercomputer, um Halluzinationen zu fangen; ein kleines, schnelles, billiges Modell kann die Aufgabe genauso gut erledigen.
Die Experten schlagen: Ihr System übertraf konsistent die bisher beste Methode (ReDeEP), die Zugriff auf die internen Daten des ursprünglichen Schriftstellers erforderte. Der Proxy-Analysator erledigte dies, ohne jemals den ursprünglichen Schriftsteller zu berühren.

Warum das wichtig ist

Die Arbeit behauptet, dies sei ein Wendepunkt, weil:

Es bei „Blackbox"-Schriftstellern funktioniert: Sie können dies verwenden, um Antworten aus geschlossenen Systemen (wie GPT-4) zu überprüfen, bei denen Sie den internen Code nicht einsehen können.
Es universell ist: Da die „Lüge" eine Diskrepanz zwischen Antwort und Quelle ist, zeigt jede KI, die den Text liest, dieselbe elektrische „Spannung". Der Detektor interessiert sich nicht dafür, wer die Antwort geschrieben hat.
Es effizient ist: Sie müssen den massiven Generator nicht zweimal ausführen, um ihn zu überprüfen. Sie führen nur einmal einen winzigen, billigen Detektor aus.

Der Haken (Einschränkungen)

Die Autoren geben eine Schwäche zu: Ihr Detektiv wurde auf kurzen Dokumenten trainiert (etwa 1.200 Zeichen). Als sie ihn an viel längeren Dokumenten (3.000 Zeichen) testeten, geriet er leicht in Verwirrung, weil die „Länge" des Textes die Art und Weise veränderte, wie die Hinweise aussahen. Sie glauben, dies durch erneutes Trainieren des Detektivs auf längeren Texten beheben zu können, aber vorläufig funktioniert er am besten bei Dokumenten mit Standardlänge.

Kurz gesagt: Die Arbeit beweist, dass Sie KI-Halluzinationen aufspüren können, indem Sie eine kleine, unabhängige KI einstellen, um die Antwort und die Quelle zu lesen und nach spezifischen elektrischen „Anzeichen" zu suchen, die eine Lüge anzeigen. Und überraschenderweise ist ein kleiner, gut konstruierter Detektiv oft besser als ein riesiger.

Technische Zusammenfassung: Halluzinationserkennung mittels Aktivierungen offener Proxy-Analysatoren

Problemstellung
Retrieval-Augmented Generation (RAG)-Pipelines sind für Unternehmensanwendungen entscheidend, leiden jedoch bei domänenspezifischen Aufgaben unter Halluzinationsraten im Bereich von 5 % bis 20 %. Bestehende Erkennungsmethoden weisen erhebliche Einschränkungen auf: Nachgelagerte Verifikations- und Unsicherheitsbasierte Ansätze sind rechenintensiv und erfordern mehrere Modellläufe; weiße-Box-mechanistische Methoden bieten zwar hohe Genauigkeit, setzen jedoch direkten Zugriff auf die internen Zustände des Generators voraus. Dies schließt geschlossene API-Modelle (z. B. GPT-4), Multi-Backend-Systeme oder Szenarien aus, in denen das erneute Durchlaufen eines massiven Generators allein zur Erkennung unverhältnismäßig teuer ist. Die Kernherausforderung besteht darin, Halluzinationen zu erkennen, ohne auf die Gewichte oder internen Aktivierungen des Generators zugreifen zu müssen.

Methodik
Die Autoren schlagen ein Proxy-Analysator-Framework vor, das den Detektor vom Generator entkoppelt. Gegeben ein Quelldokument ( $S$ ), eine Frage ( $Q$ ) und eine Kandidatenantwort ( $A$ ), speist das System diesen Text in ein kleines, lokal gehostetes, offenes „Analysator"-Modell ein. Der Detektor stützt sich ausschließlich auf die internen Aktivierungen des Analysators, um zu bestimmen, ob $A$ halluziniert ist, unabhängig davon, welches Modell $A$ generiert hat.

Das Framework extrahiert 18 Merkmale, die während eines einzigen Vorwärtsdurchlaufs auf Transformer-Mechanismen basieren:

Aktivierungssignale (S1–S4):
- S1 (Residual-Norm): Verfolgt das Wachstum der Normen des Residualstroms; treue Antworten zeigen ein stetiges Wachstum, während Halluzinationen früh ein Plateau erreichen.
- S2 (Pro-Kopf-Quellen-Aufmerksamkeit): Das wichtigste Merkmal (~50 % der Merkmalswichtigkeit), das die Aufmerksamkeit pro Kopf und Schicht auf das Quelldokument misst.
- S3 (Aufmerksamkeitsentropie): Treues Lesen verteilt die Aufmerksamkeit; Halluzinationen kollabieren auf memorisierte Token.
- S4 (MLP-Norm): Verfolgt die Feuerrate parametrischer Speicher, analog zu einem „Parametrischen Wissensscore".
Logit- und Interaktionssignale (S5–S7): Umfasst Logit-Linsen-Trajektorien, bedingte Perplexität und Interaktionsterme, die die Dominanz parametrischer Speicher gegenüber dem Quellenlesen widerspiegeln.
Externe und lexikalische Signale (S8–S10): Umfasst einen Vectara HHEM-Score, das Verhältnis der Antwortlänge zur Quellenlänge und die Jaccard-Token-Überlappung.
Fenster- und Steigungssignale (S11–S15): Aggregiert S1 und S2 über ein festes Fenster von Schichten und analysiert Steigungen der Residualnormen und Grounding-Verhältnisse.
Token-Level-Grounding-Statistiken (S16–S18): Neue Statistiken, die das minimale Grounding-Score, die Varianz und die Steigung von Grounding-Trajektorien pro Token erfassen.

Ein neuartiger Attention Head Importance (AHI)-Score wird eingeführt, um zu identifizieren, welche spezifischen Aufmerksamkeitsköpfe treue von halluzinierten Antworten am besten trennen und dabei unter Out-of-Distribution (OOD)-Bedingungen rohe mittlere Aufmerksamkeitssignale übertreffen.

Das System verwendet einen Stacking-Ensemble (Logistische Regression, Random Forest, HistGradientBoosting, XGBoost), der auf 72.135 Stichproben aus fünf Datensätzen (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI) trainiert wurde. Ein spezialisierter Klassifikator, RagtStacking, wird ausschließlich auf RAGTruth-Daten trainiert, um spezifische Muster von Treueversagen zu erfassen.

Hauptbeiträge

Merkmalsframework: Einführung von 18 mechanistisch fundierten Merkmalen, einschließlich drei neuer Token-Level-Grounding-Statistiken, abgeleitet aus einem einzigen Vorwärtsdurchlauf eines offenen Modells.
Attention Head Importance (AHI): Eine überwachte Metrik, die spezifische Aufmerksamkeitsköpfe identifiziert, die für Grounding entscheidend sind, und dabei eine überlegene Stabilität unter OOD-Verschiebungen im Vergleich zu rohen mittleren Aufmerksamkeitswerten demonstriert.
Skalierung vs. Architektur-Studie: Eine umfassende Evaluierung über sieben Modelle (0,5B bis 9B Parameter) aus vier Familien (Qwen2.5, Gemma-2, Pythia, LLaMA-3), die zeigt, dass Modellfamilie und Architekturgestaltung die Parameteranzahl oft übertreffen.
Leistungsbenchmarking: Nachweis, dass Proxy-Analysatoren State-of-the-Art-weiße-Box-Methoden (ReDeEP) ohne Generatorzugriff übertreffen können.
Korrelation von Aufgaben-Tiefe: Entdeckung, dass Halluzinationserkennungssignale je nach Aufgabentyp in unterschiedlichen Schichttiefen ihren Höhepunkt erreichen (z. B. erreicht QA in tieferen Schichten ihren Höhepunkt als die Verifikation von Behauptungen).

Ergebnisse

Hauptbenchmark (RAGTruth): Über alle sieben Analysatorarchitekturen hinweg übertraf das System konsistent den token-level AUC von ReDeEP (0,73) um 7,4 bis 10,3 Prozentpunkte.
- Qwen2.5-7B erreichte einen F1-Score von 0,717 und einen AUC von 0,834 (mit RagtStacking) und übertraf damit den token-level F1 von ReDeEP (0,713).
- Gemma-2-9B erreichte den höchsten AUC von 0,836.
- Qwen2.5-0,5B erreichte einen F1-Score von 0,706 und zeigt, dass Modelle unter einer Milliarde Parameter viable sind.
Konvergenz der Modellgröße: Trotz eines 18-fachen Unterschieds in der Parameteranzahl betrug die AUC-Streuung über alle sieben Modelle hinweg nur 2,3 Prozentpunkte (0,814 bis 0,837).
Die „LLaMA-Anomalie": Entgegen den Skalierungsgesetzen übertraf LLaMA-3-3B LLaMA-3-8B auf RAGTruth (AUC 0,822 vs. 0,819; F1 0,698 vs. 0,687). Das 8B-Modell erholte sich nur auf OOD-Daten, was darauf hindeutet, dass innerhalb derselben Familie eine größere Größe keine bessere Erkennung garantiert.
OOD-Leistung: Auf LLM-AggreFact gruppierten sich alle Modelle innerhalb von 2,8 Prozentpunkten der balancierten Genauigkeit. Leistungsunterschiede zu Baselines wurden auf Mismatches in der Quelldokumentlänge zurückgeführt (1.200 Zeichen im Training vs. ~3.000 in AggreFact), nicht auf ein fundamentales Signalversagen. Sechs der 18 Signale blieben über Längenverschiebungen hinweg stabil.
Generator-Agnostizismus: Das System zeigte konsistente Leistung über verschiedene Generatoren hinweg (GPT-4, GPT-3.5, Mistral-7B, Llama-2-Varianten), was die Erkennung von Quellendokument-Halluzinationsmustern und nicht generatorspezifischer Artefakte bestätigt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass das Architekturdesign ein stärkerer Treiber der Erkennungsqualität ist als die reine Parameteranzahl. Die Ergebnisse stellen die Intuition in Frage, dass „größer immer besser ist", und zeigen, dass ein 0,5B-Qwen-Modell Modelle übertreffen oder gleichkommen kann, die zehnmal so groß sind, und dass ein 3B-LLaMA sein 8B-Pendant übertreffen kann.

Die Autoren behaupten, dass ihr Ansatz einen universellen Wächter für RAG-Systeme bietet. Durch die Trennung des Detektors vom Generator kann das System mit einer einzigen Implementierung über diverse Backends (einschließlich geschlossener APIs) eingesetzt werden. Die Erkenntnisse legen nahe, dass Halluzination eine Eigenschaft der Diskrepanz zwischen Antwort und Quelle ist, die durch den internen Zustand jedes Transformers, der den Text liest, erkennbar ist, wodurch der spezifische Generator für den Erkennungsprozess irrelevant wird. Die Arbeit schließt, dass zwar derzeitige OOD-Lücken aufgrund von Einschränkungen der Trainingsdaten (Quellenlänge) bestehen, die grundlegende Signalstabilität jedoch darauf hindeutet, dass der Ansatz für einen breiteren Einsatz grundsätzlich fundiert ist.