💬 NLP

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

Dieser Beitrag stellt RLCR (Reinforcement Learning with Calibration Rewards) vor, einen neuartigen Trainingsansatz, der binäre Richtigkeitsbelohnungen um einen Brier-Score erweitert, um gleichzeitig die Genauigkeit und die kalibrierte Konfidenz von Sprachmodellen zu verbessern und damit die durch herkömmliches Reinforcement Learning häufig verursachten Halluzinationen und Kalibrierungsverschlechterungen zu mindern.

Ursprüngliche Autoren: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Schüler für eine schwierige Prüfung. Das Ziel ist nicht nur, dass er die richtigen Antworten findet, sondern dass er weiß, wann er ratet und wann er sich sicher ist.

Dieser Artikel mit dem Titel „Beyond Binary Rewards" (Jenseits binärer Belohnungen) stellt eine neue Methode vor, um diese KI-„Schüler" (Sprachmodelle) so zu trainieren, dass sie sowohl intelligenter als auch ehrlicher bezüglich ihres Vertrauens werden.

Das Problem: Die Falle des „Raten-Spiels"

Derzeit verwenden wir beim Training von KI zur Lösung schwieriger Probleme (wie Mathematik oder Allgemeinwissen) ein einfaches Bewertungssystem namens binäre Belohnungen.

Die Regel: Ist die Antwort richtig, gibt es einen Punkt. Ist sie falsch, gibt es null Punkte.
Der Fehler: Dieses System interessiert sich nicht dafür, wie die KI zur Antwort gelangt ist. Es vergibt denselben Punkt, egal ob die KI die Lösung durch tiefgründige Logik gefunden hat oder einfach wild geraten und Glück gehabt hat.
Das Ergebnis: Die KI lernt, zu einem „selbstsicheren Glücksspieler" zu werden. Sie beginnt, Antworten mit 100-prozentigem Vertrauen zu geben, selbst wenn sie keine Ahnung hat, wovon sie spricht. In der realen Welt ist dies gefährlich, da die KI „halluzinieren" (Dinge erfinden) und dabei sehr sicher von ihren Lügen sprechen könnte.

Die Lösung: RLCR (Der „Ehrlichkeits-Trainer")

Die Autoren schlagen eine neue Trainingsmethode namens RLCR (Reinforcement Learning with Calibration Rewards – Verstärkungslernen mit Kalibrierungsbelohnungen) vor. Stellen Sie sich dies vor wie das Einstellen eines Trainers, der den Schüler gleichzeitig an zwei Dingen bewertet:

Haben Sie die Antwort richtig? (Genauigkeit)
War Ihr Vertrauensniveau korrekt? (Kalibrierung)

Wie es funktioniert:
Anstatt nur „Richtig" oder „Falsch" zu sagen, muss die KI nun sagen: „Hier ist meine Antwort, und hier ist eine Zahl zwischen 0 und 1, die angibt, wie sicher ich bin."

Der Trainer verwendet eine spezielle Bewertungsvorschrift (den Brier-Score), um das Vertrauen zu bewerten:

Wenn die KI sagt „Ich bin zu 90 % sicher" und es ist richtig, erhält sie eine hervorragende Bewertung.
Wenn die KI sagt „Ich bin zu 90 % sicher" und es ist falsch, erhält sie eine harte Strafe.
Wenn die KI sagt „Ich bin zu 50 % sicher" (unsicher) und es ist falsch, erhält sie eine geringere Strafe.

Dies lehrt die KI eine entscheidende Lektion: Es ist besser, unsicher und falsch zu sein, als selbstsicher falsch zu liegen.

Die Analogie: Der Wettervorhersager

Stellen Sie sich zwei Wettervorhersager vor:

Vorhersager A (Alte Methode): Sagt immer: „Morgen wird es definitiv regnen!" Wenn es regnet, sind sie ein Genie. Wenn es sonnig ist, liegen sie einfach falsch, geben aber niemals zu, dass sie geraten haben. Sie sind „übermäßig selbstsicher".
Vorhersager B (RLCR-Methode): Sagt: „Es besteht eine 60-prozentige Wahrscheinlichkeit für Regen." Wenn es regnet, lagen sie richtig. Wenn es sonnig ist, geben sie zu: „Nun, ich habe 60 % gesagt, also lag ich falsch, aber ich wusste, dass es eine Chance gab."

Die Studie zeigt, dass Vorhersager B (das RLCR-Modell) viel zuverlässiger ist. Sie liefern nicht nur häufiger die richtigen Antworten; sie sagen Ihnen auch genau, wann sie raten, sodass Sie wissen, wann Sie ihnen vertrauen können und wann Sie nachprüfen sollten.

Was die Experimente zeigten

Die Forscher testeten dies an schwierigen Fragen zu Fakten (wie „Wer gewann 1969 den Eurovision Song Contest?") und an Matheproblemen.

Bessere Ehrlichkeit: Die RLCR-Modelle hörten auf, wild zu raten. Wenn sie unsicher waren, senkten sie ihren Vertrauenswert.
Immer noch intelligent: Entscheidend ist, dass die KI durch die „Ehrlichkeit" nicht „dumm" wurde. Sie behielt ihre hohe Genauigkeit bei den Fragen, die sie kannte.
Generalisierung: Selbst wenn die KI mit Fragen konfrontiert wurde, die sie noch nie gesehen hatte (außerhalb des Domänenbereichs), blieb sie im Vergleich zu den alten Modellen des „selbstsicheren Raters" viel ehrlicher bezüglich ihrer Unsicherheit.
Verbesserung zur Testzeit: Da die Vertrauenswerte der KI nun verlässlich waren, konnten die Forscher sie nutzen, um die endgültige Antwort zu verbessern. Wenn die KI beispielsweise 10 verschiedene Antworten generierte, konnten sie diejenige mit dem höchsten Vertrauenswert auswählen, und diese hatte eine höhere Wahrscheinlichkeit, korrekt zu sein.

Das Fazit

Dieser Artikel beweist, dass wir durch das Lehren der KI, „über ihr eigenes Denken nachzudenken", und durch die Belohnung für Ehrlichkeit bezüglich ihrer Unsicherheit, Argumentationssysteme entwickeln können, die nicht nur genau, sondern auch zuverlässig sind. Sie hören auf, so zu tun, als wüssten sie alles, und beginnen Ihnen zu sagen, wann sie nur raten.

). 2. Eine endgültige Antwort (). 3. Eine Unsicherheitsanalyse (). 4. Eine numerische Konfidenzpunktzahl (`).

Das Trainingsziel kombiniert eine Standardkorrektheitsbelohnung mit einem Brier-Score, einer korrekten Bewertungsfunktion für die Konfidenzschätzung. Die Belohnungsfunktion $R_{RLCR}$ ist definiert als:
$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$
Wobei:

$y$ die vom Modell vorhergesagte Antwort ist.
$y^*$ die Ground-Truth-Antwort ist.
$q$ die verbalisierte Konfidenzpunktzahl ist ( $q \in [0, 1]$ ).
$\mathbb{1}_{y \equiv y^*}$ die Indikatorfunktion für Korrektheit ist.

Theoretische Garantien

Die Arbeit beweist, dass diese Belohnungsfunktion sowohl Genauigkeit als auch Kalibrierung fördert. Spezifisch wird die erwartete Belohnung maximiert, wenn:

Das Modell die Antwort mit der höchsten Wahrscheinlichkeit für Korrektheit ausgibt ( $y = \arg\max_{y'} p(y' \equiv y^*)$ ).
Die Konfidenzpunktzahl $q$ die wahre Wahrscheinlichkeit der Korrektheit genau widerspiegelt ( $q = p(y \equiv y^*)$ ).

Die Autoren zeigen, dass dies für jede beschränkte, korrekte Bewertungsfunktion gilt. Sie kontrastieren dies mit dem logarithmischen Score (Log-Verlust), der zwar eine korrekte Bewertungsfunktion ist, aber unbeschränkt ist. Theoretische Analysen und Toy-Experimente zeigen, dass die Verwendung eines unbeschränkten Scores wie Log-Verlust in Kombination mit einem Korrektheitsbegriff zu „Reward Hacking" führen kann, bei dem Modelle falsche Antworten mit null Konfidenz ausgeben, um den Kalibrierungsbegriff auf Kosten der Genauigkeit zu maximieren.

Wichtige Beiträge und Ergebnisse

1. Verbesserte Kalibrierung ohne Einbußen bei der Genauigkeit

Experimente auf HotpotQA (Multi-Hop-Reasoning) und Big-Math (mathematisches Reasoning) zeigen, dass RLCR die Aufgaben-Genauigkeit von Standard-RLVR erreicht und gleichzeitig die Kalibrierung erheblich verbessert.

In-Distribution: Auf HotpotQA reduzierte RLCR den Expected Calibration Error (ECE) von 0,37 (RLVR) auf 0,03. Auf Math-Datensätzen sank der ECE von 0,26 auf 0,10.
Out-of-Distribution (OOD): Während Standard-RLVR die Kalibrierung bei OOD-Aufgaben oft verschlechtert, verbessert RLCR sie. Beispielsweise erreichte RLCR auf OOD-Benchmarks einen ECE von 0,21 im Vergleich zu 0,46 für RLVR, bei gleichzeitiger Aufrechterhaltung einer vergleichbaren Genauigkeit.

2. Die Rolle des expliziten Unsicherheits-Reasonings

Ablationsstudien zeigen, dass der Erfolg von RLCR auf zwei unabhängigen Komponenten beruht:

Kalibrierungsbewusste Belohnung: Das Training mit der Brier-Score-Belohnung ist der Haupttreiber für die verbesserte Kalibrierung.
Explizites Unsicherheits-Reasoning: Das Auffordern der Modelle, eine <analysis> ihrer Unsicherheit zu generieren, verbessert die Kalibrierung weiter, insbesondere bei kleineren Modellen oder wenn die Kapazität begrenzt ist. Dennoch übertrifft RLCR RLVR in der Kalibrierung auch ohne explizite Analyse erheblich.

3. Testzeit-Scaling und Selbstkonsistenz

Die Arbeit zeigt, dass verbalisierte Konfidenzpunktzahlen aus RLCR zur Laufzeit genutzt werden können, um die Leistung zu verbessern:

Konfidenz-gewichtetes Scaling: Die Verwendung verbalisierter Konfidenz zur Gewichtung von Mehrheitsvoten oder zur Auswahl der besten von N Antworten führt zu höherer Genauigkeit und besserer Kalibrierung als likelihood-basierte Auswahl oder einfache Mehrheitsvoten.
Selbstkonsistenz: RLCR-Modelle weisen eine geringere Varianz in den Konfidenzpunktzahlen über mehrere Reasoning-Ketten für dieselbe Antwort auf, was auf eine stabilere und selbstkonsistentere Unsicherheitsschätzung hindeutet.

4. Generalisierung

Der Ansatz wurde über verschiedene Modellfamilien hinweg validiert (Qwen2.5-7B, OlMo-2-7B und Qwen3-8B) und zeigte konsistente Verbesserungen der Kalibrierung gegenüber RLVR-Baselines.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die explizite Optimierung der Kalibrierung durch korrekte Bewertungsfunktionen eine einfache Modifikation bestehender Reasoning-Trainingspipelines ist, die zuverlässigere Reasoning-Modelle hervorbringt. Die Autoren argumentieren, dass:

Kalibrierung lernbar ist: Modelle können so trainiert werden, dass sie nicht nur korrekt antworten, sondern auch ihre eigene Gewissheit genau einschätzen.
Robustheit: RLCR erzeugt Modelle, die robuster gegenüber Verteilungsverschiebungen sind und die Kalibrierung beibehalten, wo Standard-RL-Modelle versagen.
Praktischer Nutzen: Die verbalisierten Konfidenzpunktzahlen sind nicht nur diagnostisch; sie sind handlungsleitend und ermöglichen Testzeit-Scaling-Methoden, die sowohl Genauigkeit als auch Zuverlässigkeit verbessern, ohne externe Belohnungsmodelle oder zusätzliche Überwachung zu erfordern.

Die Autoren bleiben bescheiden bezüglich der Ergebnisse und räumen ein, dass, obwohl RLCR den Kalibrierungsfehler erheblich reduziert, Out-of-Domain-Kalibrierungsfehler in absoluten Zahlen immer noch hoch sein können und Modelle gelegentlich hohe Konfidenz für widersprüchliche Antworten zuweisen können. Dennoch etabliert die Arbeit einen Weg hin zu Reasoning-Systemen, die sowohl genau sind als auch in der Lage sind, Unsicherheit zu kommunizieren.