💬 NLP

TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction

TRACE ist ein deterministischer, trainingsfreier Algorithmus zur Inferenzzeit, der Halluzinationen in großen Sprachmodellen reduziert, indem er basierend auf der internen kreuzschichtigen Kandidatentrajektorie jedes Eingabebeispiels dynamisch die optimale Schicht und den Korrekturoperator (wie skalare Umkehrung oder Wiederherstellung eines früheren Zustands) auswählt und damit ohne externe Daten oder Feinabstimmung bei 15 Modellen signifikante Genauigkeitsgewinne erzielt.

Ursprüngliche Autoren: Tej Sanibh Ranade

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tej Sanibh Ranade

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, mehrstöckige Fabrik vor, in der ein Produkt (eine Antwort) Schicht für Schicht zusammengebaut wird. Ganz unten treten die Rohstoffe ein. Während sie durch die Etagen (Schichten) nach oben wandern, werden sie verarbeitet, verfeinert und verpackt. Schließlich wird das fertige Produkt im allerletzten Stockwerk versandt.

Das Problem, wie das Papier erklärt, besteht darin, dass die Fabrik manchmal direkt am Versanddock einen Fehler macht. Die Arbeiter im obersten Stockwerk könnten verwirrt, abgelenkt oder unter Druck geraten und versenden eine „Halluzination" (eine selbstbewusste, aber falsche Antwort), obwohl die Wahrheit auf den Etagen darunter klar sichtbar und korrekt war.

Frühere Versuche, dies zu beheben, waren wie die Verwendung eines einzigen, starren Werkzeugs für jedes Problem:

Der „Lenkrad"-Ansatz: Der Versuch, die Fabrik auf Basis einer festen Regel nach links oder rechts zu zwingen.
Der „Externe Berater"-Ansatz: Das Hinzuziehen von externen Experten (Abrufsysteme), um die Arbeit zu überprüfen.
Der „Vergleichen und Kontrastieren"-Ansatz: Einfach nur den obersten Stockwerk anzusehen und zu sagen: „Das sieht nicht richtig aus, versuchen wir es mit dem Stockwerk darunter."

Das Papier argumentiert, dass diese Methoden zu starr sind. Manchmal ist die Wahrheit tief in der Mitte verborgen; manchmal ist sie ganz am Anfang; manchmal führt die Fabrik einen Kampf zwischen drei verschiedenen falschen Ideen, nicht nur zwischen zwei. Ein einzelnes Werkzeug kann all diese verschiedenen Szenarien nicht beheben.

Die Lösung: TRACE (Der intelligente Fabrikinspektor)

Die Autoren stellen TRACE vor, eine neue Methode, die wie ein intelligenter, adaptiver Inspektor wirkt, der durch die Fabrik geht, während das Produkt hergestellt wird. Anstatt eine feste Regel zu verwenden, betrachtet TRACE die „Reise" der Antwort, während sie vom untersten Stockwerk zum obersten wandert.

Hier ist, wie TRACE funktioniert, unter Verwendung einfacher Analogien:

1. Die „Reisekarte" (Kreisschichten-Kandidaten-Trajektorie)

Während die Fabrik eine Frage verarbeitet, betrachtet TRACE nicht nur die endgültige Antwort. Sie erstellt eine „Reisekarte" für jede mögliche Antwort. Sie fragt: „Hat die Fabrik die Wahrheit unten bevorzugt? Hat sie in der Mitte geschwankt? Ist sie plötzlich oben zu einer Lüge gewechselt?"

2. Zwei Arten von Problemen, zwei Arten von Lösungen

TRACE analysiert die Reisekarte, um zu sehen, welche Art von Schwierigkeiten die Fabrik hat, und wählt dann das richtige Werkzeug aus:

Szenario A: Das „Einbahnstraßen"-Problem (Skalarer Regime)
- Die Situation: Die Fabrik kämpft im Grunde um einen Kampf zwischen zwei Optionen: Wahrheit vs. Lüge. Die gesamte Fabrik stimmt für den größten Teil der Reise der Wahrheit zu, aber das oberste Stockwerk wird verwirrt und schaltet auf die Lüge um.
- Die Lösung: TRACE wirkt wie ein Lautstärkeregler. Sie dreht einfach das Signal „Wahrheit" lauter und das Signal „Lüge" leiser. Es ist eine einfache, einseitige Korrektur.
- Unter-Variation: Wenn die Fabrik oben so verwirrt ist, dass der Lautstärkeregler nicht funktioniert, wirkt TRACE wie eine Zeitmaschine. Sie sagt: „Das oberste Stockwerk ist kaputt; wir versenden das Produkt genau so, wie es war, als es das erste Stockwerk verlassen hat, denn das war die ehrlichste Version."
Szenario B: Das „Chaos in der Mitte"-Problem (Multidirektionales Regime)
- Die Situation: Die Fabrik ist chaotisch. Es gibt drei oder vier verschiedene falsche Ideen, die gegeneinander kämpfen, und die Wahrheit versteckt sich auf einer bestimmten mittleren Etage, aber das oberste Stockwerk wählt den falschen Gewinner. Ein einfacher „Lautstärkeregler" kann dies nicht beheben, da das Problem zu komplex ist.
- Die Lösung: TRACE wirkt wie ein Scheinwerfer. Sie scannt die Reisekarte, findet die spezifische Etage, auf der der Kandidat „Wahrheit" am stärksten und klarsten war (die „Entscheidende Schicht"), und sagt: „Ignorieren Sie das oberste Stockwerk. Versenden Sie das Produkt genau so, wie es auf dieser spezifischen Etage aussah."

3. Der „Fabrik-Blueprint" (Modell-Invariante)

Um zu wissen, welches Werkzeug für das „Einbahnstraßen"-Problem zu verwenden ist, liest TRACE den Blueprint der Fabrik (die Gewichte des Modells) einmal, bevor sie beginnt.

Wenn der Blueprint zeigt, dass das oberste Stockwerk normalerweise zuverlässig ist, verwendet TRACE den Lautstärkeregler.
Wenn der Blueprint zeigt, dass das oberste Stockwerk dazu neigt, von der Wahrheit abzuweichen, verwendet TRACE die Zeitmaschine, um zum Anfang zurückzukehren.

Warum dies wichtig ist (Die Ergebnisse)

Das Papier testete diesen „intelligenten Inspektor" an 15 verschiedenen KI-Modellen (von klein bis riesig) über 3 verschiedene Faktenprüfungen.

Kein Training erforderlich: TRACE muss die KI nicht neu unterrichten. Sie funktioniert sofort während der Antwortgenerierung.
Keine externen Daten: Sie muss nicht im Internet nach Antworten suchen. Sie nutzt das eigene interne Gedächtnis der KI.
Universeller Erfolg: Sie verbesserte die Genauigkeit jedes einzelnen getesteten Modells. Es gab null Fälle, in denen sie die Dinge verschlechterte.
Große Gewinne: Im Durchschnitt steigerte sie die faktische Genauigkeit um etwa 12 Punkte (ein riesiger Sprung in diesem Bereich), wobei einige Modelle Verbesserungen von fast 47 Punkten sahen.

Der Haken (Einschränkungen)

Das Papier ist ehrlich bezüglich der Kompromisse:

Geschwindigkeit: Da TRACE jede Etage der Fabrik betrachten muss, um die „Reisekarte" zu erstellen, dauert die Generierung einer Antwort etwa 2 bis 3 Mal länger als bei einer Standard-KI.
Umfang: Sie funktioniert derzeit am besten bei kurzen, Multiple-Choice-artigen Fragen (wie „Ist X wahr oder falsch?"). Sie wurde noch nicht beim Schreiben langer Geschichten oder komplexer medizinischer Ratschläge getestet.

Zusammenfassung

Denken Sie an TRACE als einen Detektiv, der nicht nur den Tatort (die endgültige Antwort) betrachtet, sondern die gesamte Zeitleiste der Ereignisse untersucht. Sie findet heraus, wo der Fehler passiert ist und wie er behoben werden kann, und verwendet eine andere Strategie für einen einfachen Ausrutscher als für ein komplexes Durcheinander. Sie beweist, dass die KI die Wahrheit bereits tief in sich selbst kennt; sie braucht nur einen intelligenten Weg, um zur richtigen Zeit den richtigen Teil ihres eigenen Gehirns zu hören.

Technische Zusammenfassung: TRACE (Trajektorienkorrektur durch schichtenübergreifende Evidenz zur Halluzinationsreduktion)

1. Problemstellung

Trotz Fortschritten bei der Skalierung und der Nachschulung zur Ausrichtung produzieren Large Language Models (LLMs) weiterhin selbstsichere faktische Fehler oder Halluzinationen. Bestehende Korrekturstrategien lassen sich im Allgemeinen in drei Kategorien einteilen:

Externe Evidenz: Retrieval-augmentierte Generierung (RAG) und Verifikationssysteme, die auf externen Daten basieren.
Aktivierungssteuerung: Methoden wie Inference-Time Intervention (ITI), die Aktivierungen entlang fester „Wahrheits"-Richtungen steuern.
Schichtkontrast: Dekodierungsstrategien (z. B. DoLa, SLED), die Signale aus Zwischenschichten mit der finalen Schicht kontrastieren oder aggregieren.

Die Arbeit argumentiert, dass diese Ansätze strukturell unvollständig sind, da sie eine einheitliche Beziehung zwischen Schichttiefe und Wahrhaftigkeit voraussetzen. Empirische Beobachtungen deuten darauf hin, dass Zwischenschichten weder einheitlich wahrhafter noch einheitlich weniger vertrauenswürdig sind als finale Schichten. Stattdessen variiert die Entwicklung der Kandidatenunterstützung über die Netzwerktiefe erheblich:

Spät-korrigierbar: Wahrhafte Unterstützung ist intern vorhanden, wird aber von finalen Schichten unterdrückt.
Früh-zuverlässig: Wahrhafte Unterstützung ist in frühen Schichten am stärksten, wird aber von späteren Schichten erodiert.
Multi-direktional: Mehrere konkurrierende Kandidaten bleiben über die Tiefe hinweg aktiv, was nicht-skalare Korrekturen erfordert.

Aktuelle festgeformte Interventionen scheitern, da sie sich nicht an diese variierenden „Kandidatentrajektorien" anpassen können. Eine Methode, die eine einzelne vorzeichenbehaftete skalare Korrektur annimmt, ist für Fälle unzureichend, in denen der Wettbewerb tatsächlich multi-direktional ist.

2. Methodik: TRACE

TRACE ist ein deterministischer, training-freier Algorithmus zur Laufzeit, der Halluzinationen korrigiert, indem er den geeigneten Korrekturoperator direkt aus der internen schichtenübergreifenden Kandidatentrajektorie des Modells ableitet. Es werden keine Labels, Retrieval, Vortraining, Feinabstimmung oder pro-Modell-Kalibrierung benötigt.

Kernkomponenten

Die Methode stützt sich auf zwei strukturelle Größen:

Item-seitig: Schichtenübergreifende Kandidatentrajektorie $S(x)$ :
- Erzeugt durch das Auslesen des Residualstreams in jeder Schicht über den eigenen Ausgabekopf des Modells (Logit-Lens-Konstruktion).
- Repräsentiert die Entwicklung der längennormalisierten Log-Wahrscheinlichkeiten für eine Menge von Kandidaten-Vervollständigungen über die Tiefe hinweg.
- Daraus wird die Effektive Trajektorien-Dimension ( $d_{eff}$ ) berechnet. Diese Metrik (das Partizipationsverhältnis der Eigenwerte der Gram-Matrix der Trajektorie) bestimmt, ob der Kandidatenwettbewerb effektiv eindimensional (Rang-1) oder mehrdimensional ist.
Modell-seitig: Nur-Gewichte-Invariante $I(M)$ :
- Ein dimensionsloses Verhältnis, das einmal aus den Gewichtstensor des Modells berechnet wird (insbesondere Zeilennorm-Statistiken früher/mittlerer Schlüssel/Wert-Projektionen gegenüber späten Ausgabeprojektionen und der finalen Norm).
- $I(M)$ charakterisiert, ob die Architektur des Modells dazu neigt, Evidenz aus späten Schichten zu verstärken oder von zuverlässigen frühen Zuständen abzuweichen.

Korrekturregime und Operatoren

Basierend auf $d_{eff}$ und $I(M)$ wählt TRACE dynamisch einen von drei Korrekturoperatoren aus:

Multi-direktionales Regime ( $d_{eff} > \tau_{dim}$ ):
- Bedingung: Der Kandidatenwettbewerb erstreckt sich über mehrere unabhängige Richtungen (Rang > 1). Skalare Mischungen sind mathematisch unzureichend, um diese Fälle zu korrigieren.
- Operator: Kandidatenraum-Korrektur. TRACE identifiziert die Schicht $\ell^*$ mit der schärfsten Kandidaten-Rangfolge (Maximierung der Margin zwischen den Top-zwei Kandidaten relativ zur Entropie) und verwendet die vollständige Log-Wahrscheinlichkeitsverteilung dieser Schicht als Korrektur.
- Gating: Diese Überschreibung wird nur angewendet, wenn die ausgewählte Schicht signifikant schärfer ist als die finale Schicht und die finale Schicht ausreichend unsicher ist.
Skalares Regime ( $d_{eff} \le \tau_{dim}$ ):
- Bedingung: Der Wettbewerb kollabiert zu einer einzigen vorzeichenbehafteten Achse. Die Korrektur reduziert sich auf eine skalare Mischung des finalen Schicht-Scores $b(x)$ und eines aus der Trajektorie abgeleiteten Scores $t(x)$ .
- Unterverzweigung via $I(M)$ :
  - Vorzeichenbehaftete Mischung ( $I(M) > \tau_I$ ): Wenn die späten Schichten des Modells vertrauenswürdig sind, berechnet TRACE eine zweite Ansicht $t(x)$ durch erneutes Auslesen der Trajektorie auf schichtenübergreifende Kohärenz (Steigung, Sprung, Krümmung der Token-Unterstützung). Anschließend werden $b(x)$ und $t(x)$ mit einem vorzeichenbehafteten Skalar $\lambda$ gemischt, der davon abhängt, ob die Trajektorie die Basis verstärkt oder widerspricht.
  - Wiederherstellung des frühesten Zustands ( $I(M) \le \tau_I$ ): Wenn die späten Schichten des Modells unzuverlässig sind (anfällig für Abweichungen), ignoriert TRACE die Trajektorienzusammenfassung und greift auf den Score der frühesten Schicht $s_0(x)$ zurück, jedoch nur, wenn das Vertrauen der finalen Schicht gering ist (unter einem natürlichen Minimum).

Algorithmusablauf

Berechnung von $S(x)$ und $b(x)$ aus einem einzigen kandidatenkonditionierten Vorwärtsdurchlauf.
Berechnung von $d_{eff}(x)$ .
Falls Multi-direktional: Wähle die entscheidende Schicht $\ell^*$ , extrahiere ihre Verteilung und wende Gating an. Wenn die Gating-Bedingungen erfüllt sind, gib das Argmax der entscheidenden Schicht zurück; andernfalls gib das Basis-Argmax zurück.
Falls Skalar: Berechne $I(M)$ $I (M)$ .
- Wenn $I(M)$ hoch ist: Berechne $t(x)$ , bestimme das Mischvorzeichen und gib das gemischte Argmax zurück.
- Wenn $I(M)$ niedrig ist: Prüfe das Vertrauen der finalen Schicht; wenn gering, gib das Argmax der frühesten Schicht zurück; andernfalls gib das Basis-Argmax zurück.

3. Hauptbeiträge

Formulierung auf Trajektorien-Ebene: Identifiziert die schichtenübergreifende Kandidatentrajektorie als primäres Objekt für Korrekturen zur Laufzeit und ersetzt feste Probeschichten und feste Steuerungsrichtungen.
Strukturelle Theorie der Korrektur: Beweist, dass Korrekturregime unterschiedlich sind: Rang-eins-Trajektorien erlauben skalare Korrektur, während multi-direktionale Trajektorien eine Operator-Klasse im Kandidatenraum erfordern.
Universeller Algorithmus (TRACE): Setzt diese Theorie in einen deterministischen, training-freien Algorithmus um, der seinen Korrekturoperator aus der Trajektorienstruktur und den Modellgewichten ableitet.
Umfassende Evaluation: Zeigt, dass eine einzige, eingefrorene Hyperparameter-Einstellung die Faktizität über 15 Modelle, 8 Familien und 3 Benchmarks hinweg verbessert, ohne Regressionen zu verursachen.

4. Experimentelle Ergebnisse

Die Methode wurde auf TruthfulQA, HaluEval-QA und HaluEval-Sum über 15 vortrainierte Modelle hinweg evaluiert (einschließlich LLaMA, Gemma, Qwen, GPT-OSS, Mixtral, Phi, Ministral und DeepSeek).

Leistung: TRACE verbesserte jede einzelne Evaluierungszelle (insgesamt 45 Kombinationen aus Modell und Benchmark).
- Mittlerer Gewinn: +12,26 MC1-Punkte und +8,65 MC2-ähnliche Punkte.
- Maximaler Gewinn: +47,20 MC1 und +43,38 MC2-ähnliche Punkte (beobachtet bei Gemma-3-1B).
- Regressionen: 0/45.
Robustheit: Die Methode verwendete einen einzigen eingefrorenen Hyperparametersatz $\Theta$ für alle Modelle, ohne pro-Modell-Tuning.
Overhead: Die Wanduhrzeit-Kosten steigen um einen Faktor von 1,33x bis 3,42x (Mittelwert 2,27x) im Vergleich zu einem basislinien-kandidatenkonditionierten Durchlauf, hauptsächlich aufgrund des zusätzlichen schichtweisen Auslesens.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Vorwärtsdurchlauf vortrainierter LLMs ausreichende strukturierte Evidenz enthält, um einen einzigen, universellen Halluzinationsreduktions-Algorithmus zu tragen, vorausgesetzt, die Intervention wird von der Trajektorie selbst induziert und nicht durch feste Heuristiken auferlegt.

Strukturelle Notwendigkeit: Die Arbeit zeigt, dass eine Korrekturstrategie, die nur Skalare verwendet, für multi-direktionale Kandidatenräume mathematisch unvollständig ist und den Kandidatenraum-Zweig von TRACE erfordert.
Modellanpassung: Die Verwendung der Nur-Gewichte-Invariante $I(M)$ ermöglicht es dem Algorithmus, sich an architektonische Unterschiede anzupassen (z. B. ob ein Modell abdriftet oder späte Schichten verstärkt), ohne neu trainiert werden zu müssen.
Limitationen: Die Autoren räumen ein, dass TRACE derzeit auf Englisch, kandidatenbeschränkte Faktizität (MC1/MC2-Protokolle) beschränkt ist. Es wirkt auf abgeschlossene Vorwärtsdurchläufe und nicht auf iterative Langform-Generierung und adressiert nicht die Ursachen von Halluzinationen während des Trainings. Es führt zudem durch das zusätzliche Auslesen eine Inference-Latenz ein.

Die Arbeit schließt, dass das Scheitern früherer festgeformter Methoden kein Tuning-Problem ist, sondern eine Diskrepanz zwischen der Korrekturklasse und der Trajektorienstruktur. TRACE löst dies, indem es das richtige Korrekturregime aus den Daten selbst ableitet.