💬 NLP

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

Das Papier stellt CALIBER vor, eine Methode, welche die Kalibrierung von Reasoning-Sprachmodellen verbessert, indem sie zwischen den Konfidenzzuständen vor und nach dem Reasoning unterscheidet und jeden mit einem auf seinen spezifischen Informationskontext ausgerichteten Zielwert überwacht, wodurch der Kalibrierungsfehler über verschiedene Benchmarks und Modellgrößen hinweg signifikant reduziert wird.

Ursprüngliche Autoren: Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie machen einen sehr schwierigen Mathetest. Es gibt zwei Momente, in denen Sie sich fragen möchten: „Wie sicher bin ich mir, dass ich das richtig bekomme?“

Bevor Sie mit dem Nachdenken beginnen: Sie schauen sich die Aufgabe an und schätzen: „Hm, das sieht schwer aus. Ich könnte es richtig lösen, oder auch nicht.“
Nachdem Sie es gelöst haben: Sie haben Ihre Antwort aufgeschrieben und Ihre Arbeit überprüft. Nun fragen Sie sich: „Okay, wenn ich mir die spezifische Antwort ansehe, die ich gerade geschrieben habe – ist sie tatsächlich korrekt?“

Das Papier CALIBER argumentiert, dass die meisten aktuellen KI-Modelle einen Fehler machen, indem sie diese beiden Momente als dasselbe behandeln. Sie versuchen, eine einzige „Konfidenzbewertung“ (Confidence Score) zu liefern, die beide Aufgaben gleichzeitig erfüllen soll. Die Autoren sagen, das sei so, als würde man einen Wettervorhersager bitten, sowohl vorherzusagen: „Wird es heute regnen?“ (bevor er in den Himmel schaut) als auch: „Hat es heute Nachmittag geregnet?“ (nachdem der Sturm bereits vorbeigezogen ist), und dafür dieselbe einzelne Zahl zu verwenden. Das ist verwirrend und führt zu schlechten Schätzungen.

Das Problem: Die Vermischung von „Vorher“ und „Nachher“

Stellen Sie sich ein KI-Modell wie einen Detektiv vor, der einen Krimi löst.

Die „Vorher“-Konfidenz: Dies ist der Detektiv, der den Tatort betrachtet und sagt: „Basierend darauf, wie chaotisch es hier aussieht, liegt die Chance, dass ich diesen Fall lösen kann, bei 60 %.“ Hier geht es um die Schwierigkeit des Rätsels.
Die „Nachher“-Konfidenz: Dies ist der Detektiv, der auf seine endgültige Schlussfolgerung und die gesammelten Beweise blickt und sagt: „Basierend auf den spezifischen Hinweisen, die ich gefunden habe, bin ich mir zu 95 % sicher, dass meine Schlussfolgerung richtig ist.“ Hier geht es um die Qualität der spezifischen Antwort.

Bestehende Methoden zwingen die KI oft dazu, nur eine einzige Zahl anzugeben. Wenn die KI sagt: „Ich bin mir zu 80 % sicher“, liegt das dann daran, dass das Rätsel einfach war, oder daran, dass die KI großartige Hinweise gefunden hat? Das Papier argumentiert, dass man es nicht wissen kann, und deshalb ist die Konfidenz der KI oft „fehlkalibriert“ (das heißt, sie behauptet, sich sicher zu sein, obwohl sie falsch liegt, oder ist sich unsicher, obwohl sie richtig liegt).

Die Lösung: CALIBER (Calibration Before and After Reasoning)

Die Autoren haben ein neues System namens CALIBER entwickelt. Anstatt nach nur einer Schätzung zu fragen, verlangen sie von der KI zwei Schätzungen zu unterschiedlichen Zeiten:

Die „Vor dem Nachdenken“-Schätzung: Bevor die KI mit ihrem „Denkprozess“ beginnt, gibt sie einen Konfidenzwert an. Dieser Wert ist darauf trainiert, vorherzusagen: „Wie hoch ist die Wahrscheinlichkeit, dass ich diese Art von Problem überhaupt lösen kann?“
Die „Nach dem Nachdenken“-Schätzung: Nachdem die KI ihr Denken abgeschlossen und eine Antwort geschrieben hat, gibt sie einen zweiten Konfidenzwert an. Dieser Wert ist darauf trainiert, vorherzusagen: „Ist diese spezifische Antwort, die ich gerade geschrieben habe, tatsächlich korrekt?“

Das Geheimrezept: Das Papier fand heraus, dass diese beiden Schätzungen unterschiedlich „gelehrt“ werden müssen.

Die „Vor dem Nachdenken“-Schätzung wird dadurch gelehrt, dass man eine Gruppe von Versuchen betrachtet. Wenn die KI die Antwort bei ähnlichen Fragen 7 von [] 10 Mal richtig bekommt, sollte sie lernen, noch vor dem eigentlichen Prozess „70 %“ zu sagen.
Die „Nach dem Nachdenken“-Schätzung wird dadurch gelehrt, dass man die spezifische Antwort betrachtet. Wenn die KI diese spezifische Antwort richtig bekommen hat, sollte sie lernen, „100 % sicher“ zu sagen. Wenn sie sie falsch bekommen hat, sollte sie „0 % sicher“ sagen.

Indem man diese beiden Aufgaben trennt und sie mit der richtigen „Hausaufgabe“ (den Daten) lehrt, weiß die KI viel besser, was sie weiß.

Was passierte, als sie es testeten?

Die Forscher testeten dies an Mathematikaufgaben und allgemeinen Wissensfragen (wie Trivia). Sie verglichen CALIBER mit anderen Methoden, die nur eine einzige Konfidenzbewertung abfragen.

Das Ergebnis: CALIBER war viel besser darin, ehrlich zu sein.
- Wenn CALIBER sagte, es sei sich zu „90 % sicher“, war es tatsächlich in 90 % der Fälle richtig.
- Andere Methoden sagten oft „90 % sicher“, waren aber nur in 60 % der Fälle richtig (überkonfident) oder sagten „50 % sicher“, obwohl sie in 90 % der Fälle richtig lagen (unterkonfident).
Der „Out-of-Distribution“-Test: Sie testeten die KI auch auf Fragen, die sie noch nie zuvor gesehen hatte (wie den Wechsel von Mathe-Rätseln zu Allgemeinwissen). Selbst bei diesen neuen, schwierigen Aufgaben blieb CALIBER in seiner Konfidenz viel ehrlicher als die anderen Methoden.

Die „Lücke“ ist nützlich

Eine interessante Sache, die das Papier erwähnt, ist die Lücke (Gap) zwischen den beiden Zahlen.

Wenn die KI mit einer niedrigen Konfidenz beginnt (z. B. „Ich bin mir nicht sicher, ob ich das lösen kann“), aber mit einer hohen Konfidenz endet (z. B. „Aber jetzt, wo ich es gelöst habe, bin ich sicher!“), dann sagt uns diese Lücke, dass der Denkprozess geholfen hat.
Wenn die KI hoch startet, aber niedrig endet, bedeutet das, dass der Denkprozess einen Fehler aufgedeckt hat.

Zusammenfassung

Vereinfacht ausgedrückt korrigiert CALIBER die Konfidenz von KIs, indem es erkennt, dass „die Vorhersage, ob ein Problem lösbar ist“ und „die Vorhersage, ob eine spezifische Antwort richtig ist“, zwei verschiedene Fähigkeiten sind. Indem man die KI lehrt, diese beiden Dinge separat und korrekt zu tun, wird die KI zu einem viel zuverlässigeren Partner, der weiß, wann er sich selbst vertrauen kann und wann er vorsichtig sein muss.

Technisches Resümee: CALIBER – Kalibrierung des Vertrauens vor und nach dem Denkvorgang in Sprachmodellen

Problemstellung

Reasoning-Sprachmodelle werden zunehmend damit beauftragt, nicht nur komplexe Probleme zu lösen, sondern auch die Wahrscheinlichkeit ihres eigenen Erfolgs einzuschätzen. Bestehende Kalibrierungsmethoden rufen typischerweise eine einzige Vertrauenseinschätzung zu einem spezifischen Zeitpunkt im Generierungsprozess ab: entweder vor dem Beginn des Denkprozesses (Pre-Thinking) oder nach der Erzeugung einer endgültigen Antwort (Post-Thinking).

Die Autoren argumenten, dass das Vertrauen in Reasoning-Modellen zustandsabhängig ist.

Pre-Thinking-Vertrauen konditioniert lediglich auf den Prompt ( $x$ ). Es sollte die Wahrscheinlichkeit schätzen, mit der die aktuelle Policy des Modells den Prompt lösen kann, unabhängig von dem spezifischen Reasoning-Trace, der generiert werden wird.
Post-Thinking-Vertrauen konditioniert auf den Prompt, den realisierten Denkprozess ( $z$ ) und die endgültige Antwort ( $\hat{y}$ ). Es sollte die Korrektheit der spezifisch realisierten Antwort einschätzen.

Aktuelle Methoden vermischen diese unterschiedlichen Informationszustände oft, indem sie ein einziges Überwachungsziel auf eine einzige Schätzung anwenden, oder indem sie ein Ziel verwenden, das nicht zum Informationszustand passt (z. B. das Training einer Pre-Thinking-Schätzung mit einem Instanz-basierten Korrektheitsziel). Diese Diskrepanz zwischen dem, was das Modell zu schätzen versucht, und dem, was es vorherzusagen trainiert wird, führt zu suboptimaler Kalibrierung, insbesondere unter Verteilungsverschiebungen (Distribution Shift).

Methodik: CALIBER

Die Autoren führen CALIBER (Calibration Before and After Reasoning) ein, ein Framework, das zwei unterschiedliche Vertrauenseinschätzungen innerhalb einer einzigen Antwort hervorruft und jede mit einem ihrem Informationszustand entsprechenden Ziel überwacht.

1. Zustandsabhängige Kalibrierung

CALIBER strukturiert die Ausgabe des Modells wie folgt:

Pre-Confidence ( $p_{pre}$ ): Wird vor dem Denkprozess ausgegeben. Sie ist nur auf den Prompt konditioniert.
Denkprozess & Antwort: Der standardmäßige Reasoning-Prozess.
Post-Confidence ( $p_{post}$ ): Wird nach dem Denkprozess und der Antwort ausgegeben. Sie ist auf die vollständige realisierte Antwort konditioniert.

2. Überwachungsziele (Supervision Targets)

Das Framework weist spezifische Kalibrierungsziele basierend auf der Position der Einschätzung zu:

Pre-Confidence-Ziel (Gruppenweise): Wird gegen die empirische Erfolgsrate der aktuellen Policy auf den Prompt ( $\hat{p}(x)$ ) überwacht, berechnet als der Durchschnitt der Korrektheit von $N$ Stichproben-Rollouts für diesen Prompt. Dies spiegelt die Lösbarkeit des Prompts wider.
Post-Confidence-Ziel (Instanzweise): Wird gegen die binäre Korrektheit des spezifischen Rollouts ( $c_i$ ) überwacht. Dies spiegelt die Korrektheit der realisierten Antwort wider.

3. Trainingsziel

Das Training nutzt Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Die Gesamtbelohnung für einen Rollout $i$ ist die Summe aus vier gleich gewichteten Komponenten:

Genauigkeitsbelohnung ( $R_{acc}$ ): Binäre Korrektheit der Antwort.
Format-Belohnung ( $R_{fmt}$ ): Stellt sicher, dass das Modell die erforderlichen Tags und gültigen Vertrauenswerte ausgibt.
Pre-Confidence Kalibrierungsbelohnung: $1 - (p_{pre} - \hat{p}(x))^2$ .
Post-Confidence Kalibrierungsbelohnung: $1 - (p_{post} - c_i)^2$ .

Um Optimierungsschwierigkeiten zu adressieren, bei denen die gering varianzbehaftete gruppenweise Pre-Confidence-Belohnung von den hochvarianten instanzweisen Belohnungen dominiert wird, setzt CALIBER ein zweistufiges Trainingsschema ein:

Warmup: Optimiert nur die gruppenweise Pre-Confidence-Belohnung, um diverse Einschätzungen zu etablieren.
Gemeinsames Training (Joint Training): Optimiert Pre-Confidence, Post-Confidence und Genauigkeitsbelohnungen gleichzeitig.

Zentrale Beiträge

Zustandsabhängige Rahmung: Das Paper rahmt das Vertrauen in Reasoning-Modellen als distinkte Größen basierend auf dem Informationszustand: Pre-Thinking-Vertrauen entspricht der Lösbarkeit der Frage (gruppenweise), während Post-Thinking-Vertrauen der Antwort-basierten Korrektheit (instanzweise) entspricht.
CALIBER-Framework: Ein einheitliches Protokoll, das beide Einschätzungen hervorruft und jede mit ihrem angemessenen Überwachungsziel abgleicht, wodurch die Mismatch-Problematik bisheriger Single-Confidence-Methoden vermieden wird.
Kontrollierter Vergleich: Die Autoren isolieren den Beitrag der Positions-Ziel-Ausrichtung durch den Vergleich von CALIBER mit einer kontrollierten Menge von Baselines (RLCR, COREA-lite, CoCA-lite, DCPO-lite) unter einem gemeinsamen Trainings- und Evaluierungsprotokoll, wodurch confounding Design-Entscheidungen wie segmentierte Credit Assignment ausgeschlossen werden.
Diagnostische Lücke: Das Framework ermöglicht die Analyse der Lücke zwischen Pre- und Post-Confidence, was als pro-Beispiel-Signal dafür dient, wie sich die Unsicherheit des Modells während des Reasonings entwickelt.

Ergebnisse

In-Domain Performance (BigMathDigits)

7B Modell: CALIBER reduziert den Expected Calibration Error (ECE) im Vergleich zur stärksten Single-Confidence-Baseline (DCPO-lite) um 52,5 %. Es erzielt den besten ECE, Brier-Score und AUROC bei gleichzeitiger Beibehaltung der Genauigkeit innerhalb von 2,1 Prozentpunkten des Bestwertes.
30B Modell: CALIBER erreicht den besten ECE (0,022) bei gleichzeitig kompetitiver AUROC (0,797) und unterscheidet sich damit deutlich von Methoden wie CoCA-lite, die zwar einen niedrigen ECE, aber eine schlechte Diskriminierung (AUROC ~0,5) aufweisen.

Out-of-Distribution (OOD) Generalisierung

Evaluierung auf GPQA, TriviaQA und SimpleQA:

Kalibrierung: CALIBER erzielt konsistent den besten ECE und Brier-Score auf GPQA und TriviaQA für beide Modellgrößen.
SimpleQA: Bei dieser extremen Verteilungsverschiebung erreicht CALIBER den besten ECE und Brier-Score für das 7B Modell. Für das 30B Modell erreicht CALIBER zwar einen etwas höheren ECE als DCPO-lite, erzielt aber eine wesentlich höhere AUROC, was auf einen besseren Kalibrierungs-Diskriminierungs-Tradeoff hindeutet.
Zuverlässigkeit: Reliabilitätsdiagramme zeigen, dass CALIBER extreme Übervertrauensbildung vermeidet und gut mit der Diagonale in Bereichen hoher Konfidenz korreliert.

Ablationsstudien

Eine Ablation, bei der die Ziele vertauscht wurden (Training der Pre-Confidence mit Instanz-Zielen und der Post-Confidence mit Gruppen-Zielen), ergab:

In-Domain: Die Ergebnisse waren gemischt; das 30B Modell profitierte signifikant von der korrekten Ausrichtung, während das 7B Modell gemischte Metriken zeigte.
OOD: Die Positions-Ziel-Ausrichtung erwies sich als entscheidend. CALIBER übertraf die vertauschte Baseline über alle OOD-Datensätze und Modellgrößen hinweg konsistent und reduzierte den ECE signifikant. Dies deutet darauf hin, dass die Übereinstimmung des Überwachungsziels mit dem Informationszustand essenziell für eine robuste Kalibrierung unter Verteilungsverschiebungen ist.

Signifikanz und Ansprüche

Das Paper behauptet, dass CALIBER demonstriert, dass die Kalibrierung für Reasoning-Modelle als ein dynamisches Problem behandelt werden sollte und nicht als ein statischer Skalar, der an einer Antwort haftet.

Ausrichtung ist entscheidend: Die primäre Signifikanz liegt in der Demonstration, dass die "Positions-Ziel-Ausrichtung" (Matching von Pre-Thinking zu Gruppen-Erfolg und Post-Thinking zu Instanz-Korrektheit) der entscheidende Faktor für die Verbesserung der Kalibrierung ist, insbesondere unter Verteilungsverschiebungen.
Diagnostischer Nutzen: Die Lücke zwischen Pre- und Post-Confidence bietet ein aussagekräftiges Diagnosewerkzeug dafür, wie sich die Unsicherheit des Modells nach dem Reasoning verändert, anstatt nur einen statischen Vertrauenswert zu liefern.
Sicherheit und Vertrauen: Durch die Verbesserung der Kalibrierung ohne signifikante Einbußen bei der Aufgaben-Genauigkeit unterstützt CALIBER den sichereren Einsatz von Reasoning-Modellen in Kontexten, in denen falsche Antworten kostspielig sind, da es Nutzern ermöglicht, die Selbsteinschätzung des Modells besser zu vertrauen.

Die Autoren schließen mit dem Hinweis, dass zukünftige Arbeiten diesen zustandsabhängigen Ansatz über zwei Punkte hinaus erweitern, die Hypothese der prompt-basierten Lösbarkeit direkter testen und diese Ergebnisse über zusätzliche Modellfamilien und Aufgabenbereiche hinweg validieren sollten.