🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

Dieses Papier stellt CASPO vor, ein Framework, das die Zuverlässigkeit und Effizienz großer Reasoning-Modelle verbessert, indem es die Token-Level-Vertrauenswürdigkeit durch Direct Preference Optimization mit der logischen Korrektheit abstimmt und eine dynamische Beschneidung unsicherer Reasoning-Zweige über den Confidence-aware Thought (CaT)-Mechanismus ermöglicht.

Ursprüngliche Autoren: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber übermütigen Schüler darin, komplexe mathematische Probleme zu lösen. Dieser Schüler, nennen wir ihn „Reasoning Bot", ist hervorragend darin, die richtige Endantwort zu finden, erreicht diese jedoch oft, indem er einen falschen Weg einschlägt, dies erkennt und sich dann magisch korrigiert, ohne zuzugeben, dass er verwirrt war. Oder schlimmer noch: Er geht selbstbewusst einen Sackgassenweg entlang, überzeugt davon, recht zu haben, und stolpert nur durch puren Zufall über die korrekte Antwort.

Das Problem liegt nicht nur darin, ob er die Antwort richtig oder falsch hat; es besteht darin, dass er nicht weiß, wann er unsicher ist. Er könnte zu 99 % zuversichtlich bezüglich eines Schritts sein, der tatsächlich Unsinn ist, oder zu 10 % zuversichtlich bezüglich eines Schritts, der vollkommen logisch ist. Dies macht ihn unzuverlässig, insbesondere in hochriskanten Situationen wie der Medizin oder Finanzwesen, wo man jedem einzelnen Schritt der Reise vertrauen muss, nicht nur dem Zielort.

Die Arbeit stellt eine neue Trainingsmethode namens CASPO (Confidence-Aware Step-wise Preference Optimization) und eine neue Denkweise namens CaT (Confidence-aware Thought) vor. Hier ist, wie sie funktionieren, anhand einfacher Analogien.

Das Problem: Die Falle des „Fake Confidence"

Derzeit sind diese KI-Modelle wie Schauspieler, die Skripte auswendig lernen. Wenn eine Zeile flüssig klingt und gut fließt, sagt der Schauspieler sie mit hoher Zuversicht, selbst wenn die Zeile logisch keinen Sinn ergibt.

Der Fehler: Das Modell verwechselt „flüssig klingen" mit „richtig sein".
Das Ergebnis: Es erzeugt lange, überzeugende Denkketten, die in Wirklichkeit voller logischer Lücken stecken.

Die Lösung: CASPO (Der „Ehrlichkeits-Trainer")

Die Autoren wollten das Modell lehren, ehrlich über seine eigene Unsicherheit zu sein. Sie entwickelten ein Trainingssystem, das wie ein strenger Trainer funktioniert, der nicht nur die Endpunktzahl bewertet, sondern jeden einzelnen Zug des Schülers beobachtet.

Wie es funktioniert:

Der „Ehrlichkeits"-Maßstab: Anstatt einen externen Experten zu bitten, jeden Schritt zu prüfen (was langsam und teuer ist), hört das System auf die eigene innere „Stimme" des Modells. Es misst, wie sehr das Modell „zögert" (unter Verwendung eines Konzepts namens Entropie).
- Analogie: Wenn das Modell einen Satz generiert und sich des nächsten Wortes sehr sicher ist, ist seine innere „Zögerung" gering. Wenn es zwischen vielen Wörtern rät, ist seine Zögerung hoch.
Das Trainingsspiel: Das System erstellt ein Spiel, in dem es zwei Pfade vergleicht:
- Pfad A: Ein korrekter Schritt, bei dem das Modell überraschenderweise unsicher war (hohe Zögerung).
- Pfad B: Ein falscher Schritt, bei dem das Modell selbstbewusst sicher war (geringe Zögerung).
- Die Lektion: Das Modell wird belohnt, wenn es den korrekten Schritt wählt, auch wenn es unsicher war, und bestraft, wenn es den falschen Schritt wählt, wenn es übermäßig selbstbewusst war.
Das Ziel: Mit der Zeit lernt das Modell, sich selbst zu kalibrieren. Es lernt, dass „hohe Zuversicht" nur auftreten sollte, wenn die Logik tatsächlich stichhaltig ist, und „geringe Zuversicht", wenn die Logik wackelig ist.

Das Ergebnis: CaT (Der „intelligente Navigator")

Sobald das Modell trainiert ist, ehrlich über seine Zuversicht zu sein, führen die Autoren eine neue Art ein, es während der Problemlösung einzusetzen, genannt CaT.

Stellen Sie sich vor, Sie wandern durch einen dichten Wald (den Denkprozess) auf der Suche nach einem Schatz (der Antwort).

Der alte Weg (Selbstkonsistenz): Sie schicken 100 Wanderer auf zufällige Pfade los. Sie warten, bis alle fertig sind, und wählen dann die Antwort, die die meisten gefunden haben. Dies ist langsam und teuer.
Der CaT-Weg: Sie schicken einige Wanderer los. Während sie gehen, prüfen sie ihren inneren Kompass (die kalibrierte Zuversicht).
- Wenn ein Wanderer eine Gabelung erreicht und sein Kompass wild zu kreisen beginnt (geringe Zuversicht), sagt CaT ihm sofort, dass er anhalten und umkehren soll.
- Wenn ein Wanderer sich reibungslos mit einem stabilen Kompass bewegt (hohe Zuversicht), lässt CaT ihn weitergehen.

Warum dies eine große Sache ist:

Geschwindigkeit: Es verschwendet keine Zeit damit, Sackgassen zu erkunden. Es schneidet schlechte Pfade frühzeitig ab.
Effizienz: Es erzielt bessere Ergebnisse als Methoden, die versuchen, Tausende von Antworten zu generieren, tut dies jedoch mit fast keinem zusätzlichen Rechenleistungsaufwand.
Zuverlässigkeit: Da das Modell trainiert wurde, nur dann zuversichtlich zu sein, wenn es recht hat, sind die Pfade, die es wählt, viel wahrscheinlicher logisch stichhaltig.

Die Beweise

Die Forscher testeten dies an zehn verschiedenen Benchmarks, einschließlich schwieriger Mathematikwettbewerbe (wie AIME) und Logikrätseln.

Die Ergebnisse: Die mit CASPO trainierten Modelle erzielten konsistent bessere Punktzahlen als andere Top-Methoden.
Die Überraschung: Selbst ohne Verwendung externer „Belohnungsmodelle" (die wie teure menschliche Korrektoren sind) lernte das Modell, seinen eigenen internen Zuversichtssignalen zu vertrauen.
Skalierbarkeit: Diese Methode funktionierte sowohl bei kleineren Modellen als auch bei sehr großen, leistungsstarken Modellen (wie Qwen3) gut und erweist sich als robustes Werkzeug für die Zukunft.

In Kürze

Die Arbeit argumentiert, dass wir, um das KI-Reasoning zuverlässig zu machen, das Modell nicht nur lehren sollten, die richtige Antwort zu finden. Wir müssen es lehren, zu wissen, wann es Bescheid weiß, und zu wissen, wann es es nicht weiß. Indem wir das Modell trainieren, seine innere Zuversicht mit logischer Wahrheit in Einklang zu bringen, können wir KI schaffen, die nicht nur ihren Weg zur richtigen Antwort errät, sondern den Pfad mit einem stabilen, ehrlichen Kompass geht.

Technische Zusammenfassung: Vertrauensbewusste Ausrichtung macht schlussfolgernde LLMs zuverlässiger

1. Problemstellung

Große Schlussfolgerungsmodelle (LRMs) wie OpenAI-o1 und Qwen-3 haben durch schrittweise Generierung erhebliche Fähigkeiten bei der Lösung mathematischer und wissenschaftlicher Probleme unter Beweis gestellt. Es besteht jedoch eine kritische Schwachstelle: Diese Modelle gelangen häufig über logisch fehlerhafte Zwischenschritte zu korrekten Endergebnissen. Dies erzeugt eine Diskrepanz zwischen der finalen Genauigkeit und der Zuverlässigkeit der Schlussfolgerung.

Die Ursache liegt in einer Fehlausrichtung zwischen dem internen Vertrauen des Modells (Token-Level-Wahrscheinlichkeiten) und der logischen Korrektheit. Aktuelle LRMs zeigen oft hohes Vertrauen bei syntaktisch gültigen, aber logisch inkorrekten Schritten (Halluzinationen), während sie bei rigorosen, aber unbekannten Herleitungen ein geringes Vertrauen aufweisen. Bestehende Ausrichtungsstrategien, wie Process Reward Models (PRMs) oder massives Sampling (z. B. Self-Consistency), verlassen sich auf externe Verifizierer oder rechenintensive Suche, was die Skalierbarkeit einschränkt und versagt, die intrinsische Unsicherheit des Modells zur Selbstverifizierung zu nutzen.

2. Methodik: CASPO-Rahmenwerk

Die Autoren schlagen CASPO (Confidence-Aware Step-wise Preference Optimization) vor, ein einheitliches Rahmenwerk, das Token-Level-Vertrauen mit schrittweiser logischer Korrektheit ausrichtet. Das Rahmenwerk arbeitet in zwei miteinander verbundenen Phasen:

A. Training: Vertrauensbewusste schrittweise Präferenzoptimierung

Anstatt ausschließlich die Korrektheit der finalen Trajektorie zu optimieren, konzentriert sich CASPO auf die Kalibrierung der Unsicherheit des Modells auf Ebene der einzelnen Schritte.

Unsicherheitsmetrik: Das Rahmenwerk nutzt die Shannon-Entropie von Token-Level-Verteilungen als referenzfreie Maßzahl für intrinsische Unsicherheit. Hohe Entropie zeigt geringes Vertrauen an.
Datenerstellung: Ein starkes Offline-Modell (Evaluierer) verifiziert die Korrektheit von Schlussfolgerungsschritten. Präferenzpaare werden basierend auf dem Zusammenspiel von Korrektheit und Vertrauen konstruiert:
- Korrekt, aber unsicher: Wenn ein Schritt korrekt ist, aber geringes Vertrauen aufweist, wird er als bevorzugte Antwort ( $y_w$ ) gegenüber einem konkurrierenden Kandidaten mit hohem Vertrauen behandelt.
- Inkorrekt, aber vertrauensvoll: Wenn ein Schritt inkorrekt ist, wird die korrekte Antwort gegenüber der inkorrekten Generierung des Modells bevorzugt.
- Korrekt und vertrauensvoll: Diese Schritte werden weggelassen, um redundantes Lernen zu vermeiden.
Optimierung: Das Modell wird mittels Iterativer Direct Preference Optimization (DPO) trainiert. Das Zielmodell $\pi_\theta$ wird so optimiert, dass die relative Wahrscheinlichkeit bevorzugter Schritte gegenüber nicht bevorzugten steigt, wobei das Modell der vorherigen Iteration als Referenz ( $\pi_{ref}$ ) dient. Dies bootstrapt die Fähigkeit des Modells, Vertrauensfehlkalibrierungen selbst zu korrigieren, ohne dass während der Inferenz ein separater Belohnungsmodell erforderlich ist.

B. Inferenz: Vertrauensbewusste Gedanken (CaT)

Während der Inferenz wird das kalibrierte Vertrauen genutzt, um den Schlussfolgerungsraum dynamisch zu navigieren.

Mechanismus: Das Modell erkundet einen Schlussfolgerungsbaum, wobei jeder Knoten einer partiellen Trajektorie entspricht. Ein kumulativer Vertrauenswert $C(z_{1:t})$ wird durch Multiplikation des normalisierten Vertrauens jedes Schritts berechnet.
Beschneidung: Pfade werden nur erweitert, wenn ihr kumulativer Vertrauenswert einen Schwellenwert $\tau$ überschreitet. Pfade mit geringem Vertrauen werden frühzeitig beschneidet.
Effizienz: Diese Strategie verteilt das Rechenbudget neu auf vielversprechende Pfade und fungiert als intrinsischer Selbstkorrekturfilter mit vernachlässigbarem Latenz-Overhead ( $O(V)$ , wobei $V$ die Vokabulargröße ist) und vermeidet die $O(L^2d)$ -Komplexität externer Process Reward Models.

3. Hauptbeiträge

CASPO-Rahmenwerk: Ein einheitlicher Ansatz, der intrinsische Token-Level-Entropie über iterative DPO mit logischer Korrektheit ausrichtet und die Abhängigkeit von externen Evaluierern während der Inferenz beseitigt.
CaT-Strategie: Eine Dekodierungsstrategie, die kalibriertes Vertrauen nutzt, um unsichere Schlussfolgerungszweige dynamisch zu beschneiden, was Effizienz und Zuverlässigkeit verbessert.
Schrittweiser Datensatz: Die Veröffentlichung eines schrittweisen Datensatzes mit Vertrauensannotationen zur Unterstützung einer feinkörnigen Analyse der Schlussfolgerungszuverlässigkeit.
Skalierbarkeit: Demonstration, dass die Methode auf stärkere Basismodelle (z. B. Qwen3-8B-Base) skaliert und Baum-Such-Baselines ohne Verwendung von Belohnungsmodell-Daten übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CASPO über zehn Benchmarks (einschließlich MATH500, AIME'24, AIME'25, OlympiadBench und nicht-mathematischer Aufgaben wie Code-Generierung und Leseverstehen) sowie mehrere Modellfamilien (Qwen2.5, Llama-3.1).

Leistungssteigerung: Auf Qwen2.5-7B-Instruct verbesserte CASPO die durchschnittliche Genauigkeit von 44,4 % auf 50,6 %. Mit der CaT-Inferenzstrategie erreichte die Genauigkeit 56,1 %.
Überlegenheit gegenüber Baselines: CASPO übertraf konsistent Baselines zur Trajektorienoptimierung (GRPO, Simple-RL-Zero, PURE-VR, DPO-VP) und Inferenzzeit-Methoden (CoT, Self-Consistency).
Skalierbarkeit: Auf Qwen3-8B-Base übertraf CASPO Baum-Such-Baselines wie rStar-Math und Satori bei AIME'24 und AIME'25, trotz der Verwendung von null Belohnungsmodell-Daten (im Vergleich zu Millionen von Proben, die von Baselines benötigt werden).
Kalibrierungsqualität: Nach dem Training sank der Expected Calibration Error (ECE) auf MATH-500 signifikant von 0,184 (Base) auf 0,081 (CASPO), was darauf hindeutet, dass hohe prädiktive Zuverlässigkeit nun strikt mit gültigen logischen Schritten korreliert.
Effizienz: CaT erreichte eine höhere Genauigkeit als Self-Consistency bei deutlich geringerer Latenz (2,8 s/Abfrage vs. 12,5 s/Abfrage auf Qwen2.5-7B-Instruct).
Generalisierung: Die Methode zeigte eine robuste Übertragung auf nicht-mathematische Domänen, einschließlich Code-Generierung (HumanEval) und Leseverstehen (RACE), was darauf hindeutet, dass die Ausrichtung von Vertrauen und Korrektheit eine grundlegende Schlussfolgerungsfähigkeit ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CASPO die Glaubwürdigkeit des Schlussfolgerungsprozesses fundamental verbessert, anstatt lediglich Benchmark-Scores aufzublähen. Durch die Entkopplung von Vertrauen und externer Überwachung sowie die Nutzung intrinsischer Token-Level-Unsicherheit ermöglicht das Rahmenwerk Modellen:

Logische Inkonsistenzen autonom zu identifizieren und zu korrigieren.
Zuverlässige Schlussfolgerungen ohne die Rechenlast externer Richter oder massiven Samplings zu erreichen.
Ein skalierbares und transparentes Rahmenwerk zur Verbesserung der Schlussfolgerungszuverlässigkeit bereitzustellen.

Die Autoren betonen, dass ihr Ansatz die „Granularitätslücke" in der aktuellen Schlussfolgerungsforschung adressiert und von Belohnungen auf Trajektorienebene zur schrittweisen Vertrauenskalibrierung übergeht. Sie stellen fest, dass die Methode zwar für die initiale Datenerstellung auf einen Offline-Evaluierer angewiesen ist, das Kern-Lernsignal jedoch aus der eigenen Entropie des Modells abgeleitet wird, was Stabilität gewährleistet, selbst wenn der Evaluierer Pfade gelegentlich falsch labelt. Die Arbeit legt nahe, dass die Ausrichtung interner Wahrscheinlichkeiten mit externer Korrektheit ein gangbarer Weg zu verifizierbar fundierten Schlussfolgerungstrajektorien in hochriskanten Domänen ist.