💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

Dieser Beitrag stellt eine neue Methode zur Quantifizierung der Unsicherheit von Large Language Models vor, die durch das Training eines Regressionsmodells auf Aufmerksamkeitskarten, Token-Wahrscheinlichkeiten und rekurrent berechneten Unsicherheitswerten Halluzinationen effektiv erkennt und die selektive Generierung über mehrere Datensätze und Modelle hinweg verbessert.

Ursprüngliche Autoren: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hören einem sehr intelligenten, schnell redenden Roboter zu, der Ihnen eine Geschichte erzählt. Der Roboter ist hervorragend darin, Sätze zu erfinden, aber manchmal ist er sich Dinge sicher, die tatsächlich falsch sind (diese werden „Halluzinationen" genannt).

Das Problem ist, dass der Roboter nicht weiß, dass er lügt. Er redet einfach weiter, und wenn er früh einen Fehler macht, wird er noch selbstsicherer, während er den Rest der Geschichte auf diesem Fehler aufbaut. Es ist wie ein Spiel „Stille Post", bei dem die erste Person eine falsche Tatsache flüstert und alle anderen sie mit zunehmender Selbstsicherheit wiederholen.

Das Problem: Der blinde Fleck des Roboters
Aktuelle Methoden, um zu prüfen, ob der Roboter lügt, betrachten normalerweise den „Selbstvertrauens-Wert" (confidence score) des Roboters für jedes einzelne Wort. Doch das ist tückisch. Wenn der Roboter sagt: „Der Himmel ist grün", könnte er sich trotzdem beim nächsten Wort „Gras" sehr sicher fühlen, weil er einfach seiner eigenen Logik folgt. Er merkt nicht, dass der gesamte Satz auf einer Lüge aufbaut.

Die Autoren dieses Papiers nennen dies das Problem der „bedingten Abhängigkeit". Das Selbstvertrauen des Roboters für das nächste Wort hängt vollständig vom vorherigen Wort ab, selbst wenn dieses vorherige Wort ein Fehler war.

Die Lösung: TAD (Trainable Attention-Based Dependency)
Die Forscher haben ein neues Werkzeug namens TAD entwickelt. Stellen Sie sich TAD als einen superintelligenten Redakteur vor, der neben dem Roboter sitzt und beobachtet, wie er Wort für Wort schreibt.

So funktioniert der Redakteur, anhand einiger einfacher Analogien:

Der „Blick" (Attention): Wenn der Roboter spricht, „schaut" er auf vorherige Wörter, um zu entscheiden, was er als Nächstes sagt. Die Forscher stellten fest, dass der „Blick" (die Aufmerksamkeit) des Roboters, wenn er die Wahrheit sagt, stabil und fokussiert ist. Wenn er jedoch zu halluzinieren beginnt, wird sein Blick wackelig oder verwirrt. TAD beobachtet diesen Blick genau.
Die „Kettenreaktion" (Recurrence): Der Redakteur betrachtet nicht nur das aktuelle Wort. Er erinnert sich an die Unsicherheit der vorherigen Wörter. Wenn der Roboter beim Wort Nr. 1 strauchelte, markiert der Redakteur das Wort Nr. 2, 3 und 4 als verdächtig, selbst wenn der Roboter sich bei ihnen sehr sicher anhört. Es ist wie ein Lehrer, der weiß, dass, wenn ein Schüler den ersten Schritt einer Matheaufgabe falsch berechnet, die Endergebnis wahrscheinlich auch falsch ist, egal wie ordentlich der Schüler es geschrieben hat.
Das „Zweistufige Training": Um diesen Redakteur zu unterrichten, verwendeten die Forscher einen zweistufigen Prozess.
- Schritt 1: Sie lehrten den Redakteur, Fehler allein anhand des rohen Selbstvertrauens des Roboters zu erkennen.
- Schritt 2: Sie ließen den Redakteur sein eigenes „Bauchgefühl" aus Schritt 1 nutzen, um noch besser zu lernen. Es ist wie beim Sporttraining: Zuerst lernt man die Grundbewegungen, dann übt man ein komplettes Spiel, bei dem man auf die eigenen vorherigen Bewegungen reagieren muss.

Wie sie es testeten
Sie testeten diesen Redakteur an zehn verschiedenen Aufgabentypen, vom Zusammenfassen von Nachrichtenartikeln bis hin zum Beantworten kniffliger Quizfragen, und zwar mit drei verschiedenen Versionen des Roboters (LLaMA, Gemma und Qwen).

Das Ergebnis: TAD war viel besser darin, die Lügen des Roboters aufzudecken als jede andere Methode, die sie versuchten. Es war besonders gut darin, zu erkennen, wenn eine lange Geschichte aus dem Ruder lief.
Die Effizienz: Im Gegensatz zu anderen Methoden, bei denen der Roboter fünfmal über die Antwort „nachdenken" muss (was langsam und teuer ist), ist TAD sehr schnell. Es fügt dem Denkprozess des Roboters nur etwa 5 % zusätzliche Zeit hinzu. Es ist wie ein kurzer zweiter Blick, anstatt den Roboter zu bitten, die ganze Geschichte neu zu schreiben.

Das Fazit
Das Papier behauptet, dass wir durch das Unterrichten eines Computermodells, darauf zu achten, wie der Roboter seine eigenen vorherigen Wörter betrachtet, und durch das Erinnern an Fehler, die früher im Satz gemacht wurden, einen viel besseren „Lügendetektor" für KI aufbauen können. Dies macht KI sicherer und zuverlässiger, besonders bei langen Antworten, ohne die Dinge zu sehr zu verlangsamen.

Was das Papier NICHT behauptet

Es wird nicht behauptet, dass dies für jeden KI-Typ in jeder Situation funktioniert (es wurde an spezifischen Modellen und Aufgaben getestet).
Es wird nicht behauptet, dass dies ein medizinisches Werkzeug oder ein Richter ist.
Es wird nicht behauptet, dass die KI niemals wieder Fehler machen wird; es wird lediglich behauptet, dass dieses Werkzeug besser darin ist, Fehler zu erkennen, damit sie herausgefiltert werden können.

1. Problemstellung

Large Language Models (LLMs) neigen dazu, Halluzinationen und qualitativ minderwertige Ausgaben zu generieren. Die Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) ist ein kritischer Mechanismus zur Erkennung dieser Fehler, typischerweise durch die Zuweisung eines Konfidenzwerts zu generiertem Text. Bestehende UQ-Methoden stoßen jedoch auf eine fundamentale Einschränkung: die bedingte Abhängigkeit.

Das Kernproblem: LLMs generieren Text autoregressiv (Token für Token). Die Wahrscheinlichkeit des aktuellen Tokens $y_i$ ist bedingt durch alle vorherigen Tokens $y_{<i}$ . Wenn ein früher Token eine Halluzination (ein Fehler) ist, behandelt das Modell ihn als Grundwahrheit für nachfolgende Schritte. Folglich generiert das Modell nachfolgende Tokens mit hoher Konfidenz, obwohl die gesamte Sequenz fehlerhaft ist.
Die Lücke: Standard-UQ-Methoden berechnen Unsicherheit basierend auf der unmittelbaren bedingten Wahrscheinlichkeit $p(y_i | y_{<i})$ . Sie versagen darin, die Unsicherheit vorheriger Schritte fortzupflanzen. Wenn der erste Token falsch ist, das Modell aber im nächsten Token unter diesem falschen Kontext konfident ist, wird die gesamte Sequenz als „sicher" eingestuft, was zu unentdeckten Halluzinationen führt.
Aktuelle Einschränkungen: Frühere Versuche, diese Abhängigkeit zu modellieren, stützen sich auf Heuristiken (z. B. die Bestrafung von Scores basierend auf vorheriger Max-Aufmerksamkeit) oder erfordern rechenintensive Sampling-Verfahren (Generierung mehrerer Ausgaben zur Prüfung der Konsistenz).

2. Methodik: Trainable Attention-based Dependency (TAD)

Die Autoren schlagen TAD vor, einen überwachten, datengesteuerten Ansatz, um die „unbedingte" Unsicherheit eines Tokens zu erlernen, indem komplexe Abhängigkeiten zwischen Generierungsschritten modelliert werden.

A. Kernkonzept

Anstatt sich ausschließlich auf die rohe bedingte Wahrscheinlichkeit des LLM zu verlassen, lernt TAD eine Regressionsfunktion $C(\cdot)$ , die die unbedingte Konfidenz eines Tokens $y_i$ schätzt. Diese Funktion integriert:

Wahrscheinlichkeiten des aktuellen Schritts: Die vom LLM bereitgestellten Token-Wahrscheinlichkeiten $p(y_i | y_{<i})$ .
Aufmerksamkeitskarten (Attention Maps): Die Aufmerksamkeitsgewichte vom aktuellen Token zu vorherigen Tokens, die den internen Fokus und die Abhängigkeitsstruktur des Modells kodieren.
Rekurrente Unsicherheit: Die geschätzten unbedingten Konfidenzwerte vorheriger Tokens ( $C_{<i}$ ).

Die Formulierung lautet:
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. Trainingsverfahren (Zweistufig)

Da die Zielvariable (unbedingte Konfidenz) vom Output des Modells selbst abhängt (Rekursion), wenden die Autoren ein zweistufiges Trainingsverfahren an:

Stufe 1: Training eines Regressionsmodells ausschließlich mit aktuellen Token-Wahrscheinlichkeiten und Aufmerksamkeitsgewichten. Das Ziel für den ersten Token ist die semantische Ähnlichkeit zwischen der generierten Sequenz und der Grundwahrheit. Für nachfolgende Tokens bleibt das Ziel die Grundwahrheitsähnlichkeit, doch das Modell lernt, basierend auf unmittelbaren Merkmalen vorherzusagen.
Stufe 2: Nachtraining des Modells unter Verwendung der Vorhersagen aus Stufe 1 als Merkmale. Konkret werden die „rekursiv berechneten Unsicherheitsscores" vorheriger Schritte (vorhergesagt vom Modell der Stufe 1) in das Modell der Stufe 2 eingespeist. Dies ermöglicht dem Modell zu lernen, wie Unsicherheit über die Sequenz hinweg fortgepflanzt wird.

C. Feature-Engineering

Zielvariablen (Targets): Die Grundwahrheit für das Training wird aus der semantischen Ähnlichkeit (unter Verwendung von Metriken wie COMET, AlignScore oder Accuracy) zwischen der vollständigen generierten Sequenz und der Referenzantwort abgeleitet.
Eingaben: Für jeden Token $y_i$ umfasst der Merkmalsvektor Aufmerksamkeitsgewichte zu den $N$ vorhergehenden Tokens, deren bedingte Wahrscheinlichkeiten sowie die geschätzte unbedingte Konfidenz dieser vorhergehenden Tokens.

D. Inferenz

Während der Inferenz verarbeitet TAD Tokens sequenziell. Für den ersten Token verwendet es die rohe Wahrscheinlichkeit. Für nachfolgende Tokens berechnet es rekursiv die unbedingte Konfidenz unter Verwendung der gelernten Funktion $C$ und aggregiert diese Token-Level-Scores (via Mittelwert oder Log-Summe), um einen Unsicherheitsscore auf Sequenzebene zu erzeugen.

3. Hauptbeiträge

Neuartiger überwachter Ansatz: TAD ist die erste Methode, die die bedingte Abhängigkeit zwischen Generierungsschritten explizit mittels eines überwachten Regressionsmodells lernt, das auf Aufmerksamkeitskarten und rekurrenten Unsicherheitsscores trainiert wurde.
Integration rekurrenter Merkmale: Das Paper zeigt, dass die Einbeziehung rekursiv berechneter Unsicherheitsscores für eine genaue UQ unerlässlich ist, da sie das „Risiko" früher Fehler effektiv auf die gesamte Sequenz fortplant.
Zweistufiges Training: Die Autoren führen ein spezifisches Trainingsprotokoll ein, um die zirkuläre Abhängigkeit der Vorhersage von Unsicherheit basierend auf vorherigen Unsicherheitsvorhersagen zu handhaben, was Überanpassung verhindert und die Konvergenz verbessert.
Effizienz: Im Gegensatz zu sampling-basierten Methoden (z. B. Semantic Entropy), die mehrere Forward-Passes erfordern, fügt TAD nur einen minimalen rechnerischen Overhead hinzu (ca. 5 % über der Standard-Inferenz), da es eine leichte lineare Regression oder einen MLP auf einem einzigen Forward-Pass aufsetzt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TAD auf 10 Datensätzen (abdeckend Zusammenfassung, maschinelle Übersetzung und verschiedene QA-Aufgaben) sowie 3 LLMs (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

Leistung: TAD erzielte die beste Gesamtleistung über alle Modelle und Datensätze hinweg.
- Es übertraf signifikant state-of-the-art unüberwachte Methoden (z. B. Perplexity, Semantic Entropy) und überwachte Baselines (z. B. LookBackLens, SATRMD, Sheeps).
- Auf dem TruthfulQA-Datensatz verbesserte TAD das Prediction Rejection Ratio (PRR) um 0,045 gegenüber der zweitbesten Baseline.
- Auf MedQUAD übertraf es den Zweitplatzierten um 0,077 PRR.
Ablationsstudien:
- Merkmale: Das Entfernen von Aufmerksamkeitsgewichten oder rekurrenten Merkmalen verschlechterte die Leistung signifikant, was bestätigt, dass beide kritisch sind.
- Training: Das zweistufige Trainingsverfahren erwies sich als essenziell; ein einstufiger Ansatz konnte die notwendigen Abhängigkeiten nicht erfassen.
- Schichten: Aufmerksamkeitsgewichte aus mittleren Schichten erwiesen sich als am informativsten, obwohl auch erste und letzte Schichten beitrugen.
Generalisierung: TAD zeigte vielversprechende Out-of-Domain (OOD)-Generalisierung. Während die meisten überwachten Methoden versagten, wenn sie auf QA trainiert und auf Zusammenfassung/Übersetzung getestet wurden, behielt TAD eine robuste Leistung bei und übertraf Baselines auf nicht gesehenen QA-Domänen.
Effizienz: TAD führte nur einen 5%igen Laufzeit-Overhead ein, wohingegen sampling-basierte Methoden (wie Semantic Entropy) einen Overhead von 400–600 % verursachten.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Blindstelle in der LLM-Sicherheit: die Unfähigkeit standardmäßiger Unsicherheitsmetriken, kaskadierende Fehler zu erkennen, die durch frühe Halluzinationen verursacht werden.

Praktische Auswirkungen: TAD bietet eine rechnerisch effiziente Plug-and-Play-Lösung für die selektive Generierung (Ablehnung qualitativ minderwertiger Ausgaben). Es ermöglicht den sichereren Einsatz von LLMs in hochriskanten Anwendungen ohne die prohibitiven Kosten von sampling-basierten Verifikationsverfahren.
Theoretische Einsicht: Die Arbeit validiert, dass Aufmerksamkeitskarten reiche Informationen über die bedingten Abhängigkeiten von Generierungsschritten enthalten und dass diese Abhängigkeiten gelernt werden können, um „unbedingte" Wahrhaftigkeit zu schätzen.
Zukünftige Richtungen: Die Autoren schlagen vor, TAD auf Retrieval-Augmented Generation (RAG) zu erweitern, um die Glaubwürdigkeit von abgerufenen Beweisen zu bewerten, was die Zuverlässigkeit von wissensintensiven LLM-Anwendungen weiter erhöht.

Zusammenfassend stellt TAD einen bedeutenden Schritt vorwärts dar, um LLMs zuverlässiger zu machen, indem es von statischen, token-level Wahrscheinlichkeitsprüfungen zu einer dynamischen, kontextbewussten Unsicherheitsschätzung übergeht, die die „Gedankenkette" und ihr Potenzial zur Fehlerfortpflanzung versteht.