💬 NLP

Likelihood-Based Reward Designs for General LLM Reasoning

Dieses Paper zeigt systematisch auf, dass die Verwendung der Log-Wahrscheinlichkeit der Referenzantwort als Belohnungssignal eine überlegene und vielseitige Methode für das Fine-Tuning von großen Sprachmodellen auf Chain-of-Thought-Argumentation ist, wobei sie binäre Belohnungen in verifizierbaren Szenarien übertrifft und in nicht-verifizierbaren Szenarien mit Supervised Fine-Tuning mithalten kann, während sie gleichzeitig die Fallstricke wahrscheinlichkeitsbasierter Alternativen vermeidet.

Ursprüngliche Autoren: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber unerfahrenen Schüler (ein Large Language Model), wie man komplexe Probleme löst. Der Schüler ist gut darin zu reden, aber er muss lernen, „laut zu denken“ (Chain-of-Thought), bevor er eine Antwort gibt.

Das Paper befasst sich mit einem spezifischen Problem: Wie bewertet man diesen Schüler, wenn man keinen Lösungsschlüssel hat?

Der alte Weg: Das „Bestanden/Nicht bestanden“-Quiz

Traditionell nutzen Forscher, um diese Modelle zu lehren, eine Methode, die einem strengen Mathematiklehrer ähnelt.

Der Schüler denkt laut nach.
Der Schüler gibt eine Antwort.
Der Lehrer prüft den Lösungsschlüssel.
- Richtig? Du bekommst einen goldenen Stern (Belohnung = 1).
- Falsch? Du bekommst ein rotes X (Belohnung = 0).

Das Problem: Das funktioniert großartig für Mathematik oder Programmierung, wo es eine einzige richtige Antwort gibt. Aber was ist, wenn Sie den Schüler bitten sollen, eine lange Geschichte, ein Gedicht oder einen komplexen Beweis zu schreiben, bei dem es keine einzelne „richtige“ Antwort gibt? Man kann keine einfache „Bestanden/Nicht bestanden“-Note vergeben. Außerdem, wenn der Schüler 99 % der Zeit falsch liegt, bekommt er nie einen goldenen Stern, und er hört auf zu lernen, weil das Signal zu spärlich ist.

Die neue Idee: Der „Wahrscheinlichkeits“-Score

Die Autoren schlagen eine andere Art der Bewertung vor. Anstatt zu prüfen, ob die Antwort richtig ist, prüfen sie, wie sicher sich der Schüler bei seiner eigenen Antwort ist.

Denken Sie an Folgendes:

Der alte Weg: „Hast du die Antwort richtig? Ja/Nein.“
Der neue Weg: „Wie wahrscheinlich war es, dass du genau diese Worte sagen würdest?“

Wenn der Schüler exakt dieselben Worte wie die Referenzantwort in den Trainingsdaten sagt, gibt der Lehrer ihm einen Score basierend auf der Log-Wahrscheinlichkeit (eine mathematische Art zu sagen: „Wie überrascht warst du, dass dies geschah?“).

Wenn der Schüler sehr sicher war und die richtigen Worte sagte, erhält er einen hohen Score.
Wenn der Schüler nur geraten hat, erhält er einen niedrigen Score.

Die große Entdeckung: „Log-Wahrscheinlichkeit“ ist der magische Schlüssel

Die Forscher haben viele verschiedene Wege getestet, diesen „Konfidenz“-Score zu verwenden. Sie fanden heraus, dass eine spezifische Methode – die Verwendung der Log-Wahrscheinlichkeit der Referenzantwort – die einzige war, die überall funktionierte.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Der „Kurzantwort“-Test (Mathematik & Programmierung)

Das Setup: Kurze Probleme mit einer klaren richtigen Antwort (wie ein Mathequiz).
Das Ergebnis: Die „Log-Wahrscheinlichkeits“-Methode funktionierte genauso gut wie die alte „Bestanden/Nicht bestanden“-Methode, um die richtige Antwort zu erhalten.
Der Bonus: Sie machte die Antworten des Schülers auch viel „natürlicher“ und weniger zittrig. Während die alte Methode den Schüler dazu brachte, wild zu raten, um einen goldenen Stern zu bekommen, sorgte die neue Methode dafür, dass der Schüler sich selbst bei Fehlern sicherer und flüssiger anhörte.

2. Der „Lang-Essay“-Test (Geschichten & Beweise)

Das Setup: Lange, offene Aufgaben, bei denen es keine einzelne richtige Antwort gibt.
Das Problem mit anderen Methoden: Einige Methoden versuchten, eine einfache „Wahrscheinlichkeit“ (nur die rohe Chance, richtig zu liegen) zu verwenden. Aber bei langen Essays ist die Chance, exakt die richtigen Worte zu erraten, winzig klein (wie ein Lottogewinn). Der Score wurde so klein, dass er praktisch Null war, und der Schüler hörte auf zu lernen.
Der Gewinner: Die „Log-Wahrscheinlichkeits“-Methode handhabte dies perfekt. Sie stürzte nicht ab. Sie performte genauso gut, als hätte der Lehrer dem Schüler einfach die Antwort gezeigt und gesagt: „Lerne das auswendig.“

3. Die Überraschung beim „Kurzen Denken“

Eine der interessantesten Erkenntnisse betraf die Frage, wie lange der Schüler nachdachte.

Bei Verwendung des neuen „Log-Wahrscheinlichkeits“-Rewards begann der Schüler anfangs, weniger zu denken. Er verkürzte seinen „Chain of Thought“ (den Denkprozess) auf nur wenige Wörter.
Warum? Das Modell erkannte, dass für die ersten Schritte ein kürzerer, einfacherer Denkprozess tatsächlich zu einem besseren Score führte als ein langer, komplizierterer.
In der Mathematik: Der Schüler lernte schließlich wieder, länger zu denken, während er besser wurde.
In Essays: Er blieb kurz. Er hörte im Grunde auf, „laut zu denken“, und gab die Antwort einfach direkt an, indem er wie ein Standard-Auswendiglernender agierte. Das Paper legt nahe, dass das Modell bei langen, offenen Aufgaben das „Denken“ innerhalb seiner eigenen Gehirnstrukturen (Hidden Layers) durchführt, anstatt es aufzuschreiben; das Erzwingen eines langen Chain of Thought schadet hierbei der Leistung.

Das Fazit

Das Paper kommt zu dem Schluss, dass die Verwendung der Log-Wahrscheinlichkeit als Belohnung ein „universeller Übersetzer“ für das KI-Training ist.

Es überbrückt die Lücke zwischen verifizierbaren Aufgaben (Mathematik) und nicht-verifizierbaren Aufgaben (Schreiben).
Es erfordert keinen speziellen „Verifier“ oder Lösungsschlüssel.
Es ermöglicht der KI, von jedem Datensatz zu lernen, in dem eine Referenzantwort existiert, sei es ein kurzes Matheproblem oder ein langer Beweis.

Kurz gesagt: Anstatt die KI zu fragen „Hast du es richtig gemacht?“, ist die Frage „Wie sicher warst du, dass du dies gesagt hast?“ ein einfacherer und leistungsfähigerer Weg, um KI zum Schlussfolgern zu lehren – und zwar alles abzudecken, von Rätseln bis hin zu langen Essays.

Technisches Resümee: Likelihood-basierte Belohnungsdesigns für allgemeines LLM-Reasoning

Problemstellung

Das Fine-Tuning von Large Language Models (LLMs) für Reasoning-Aufgaben mittels Reinforcement Learning (RL) stützt sich typischerweise auf binäre Belohnungsfunktionen (0/1 Korrektheit), die aus verifizierbaren Grundwahrheiten (z. B. mathematischen Antworten) abgeleitet werden. Dieses Paradigma steht vor zwei primären Einschränkungen:

Abhängigkeit vom Belohnungsdesign: Es erfordert spezifische Verifizierer für jeden Benchmark, die in nicht-verifizierbaren Domänen wie Langform-Beweisen oder offener Generierung nicht verfügbar sind.
Belohnungs-Sparsität: Binäre Belohnungen liefern spärliche Signale, was das effiziente Lernen behindern kann, insbesondere bei komplexen Reasoning-Ketten.

Obwohl jüngere Arbeiten intrinsische Belohnungen oder Self-Rewarding-Mechanismen vorgeschlagen haben, scheitern diese oft daran, die Korrektheits-basierte Trainingsleistung zu übertreffen, oder leiden unter Reward Hacking und Diversity Collapse. Zudem haben bestehende Methoden, die die Wahrscheinlichkeit von Referenzantworten nutzen (z. B. VeriFree, JEPO, RLPR), gemischte Ergebnisse gezeigt, insbesondere durch das Scheitern in nicht-verifizierbaren Settings aufgrund der verschwindenden Wahrscheinlichkeiten langer, exakter Sequenz-Matches.

Methodik

Die Autoren untersuchen Likelihood-basierte Belohnungen, die direkt aus der Wahrscheinlichkeit oder dem Log-Wahrscheinlichkeitswert der Emission einer Referenzantwort (oder einer beliebigen Prompt-Fortsetzung, die in den Daten vorhanden ist) gegeben einem generierten Chain-of-Thought (CoT) abgeleitet werden. Dieser Ansatz vermeidet externe Verifizierer und nutzt Signale, die in großem Maßstab verfügbar sind.

Die Studie vergleicht systematisch mehrere Belohnungsvarianten gegen Standard-Baselines (Supervised Fine-Tuning ohne CoT sowie Standard-RL mit binären Belohnungen):

Base RL: Standard-RL unter Verwendung einer binären Belohnung (1, wenn die Antwort mit der Grundwahrheit übereinstimmt, 0 andernfalls).
Probability (VeriFree): Die Belohnung entspricht der Rohwahrscheinlichkeit $\pi_\theta(a^*|p, z)$ .
Log-prob: Die Belohnung entspricht der Log-Wahrscheinlichkeit $\log \pi_\theta(a^*|p, z)$ .
Average Log-prob: Log-Wahrscheinlichkeit, normiert durch die Antwortlänge ( $\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$ ).
JEPO: Eine Jensen-basierte ELBO-Loss-Variante unter Verwendung von Gruppen-Belohnungen.
SFT: Standardmäßiges Supervised Fine-Tuning, das die Antwort direkt ohne CoT vorhersagt.

Die Experimente verwenden den RLOO (Reinforce Leave-One-Out) Algorithmus zur Schätzung des Advantages. Die Evaluierung umfasst:

Verifizierbare Domänen: MATH und DeepScaleR Benchmarks (Kurzantwort-Probleme).
Nicht-verifizierbare Domänen: Alpaca und NuminaProof (Langform-Antworten und Theorem-Beweise).
Modelle: Llama-3.2-3B-Instruct und Qwen-2.5-3B-Instruct.

Zentrale Beiträge und Erkenntnisse

1. Universalität von Log-Wahrscheinlichkeits-Belohnungen

Die zentrale Erkenntnis ist, dass Log-Wahrscheinlichkeits-Belohnungen die einzige Variante sind, die in allen Settings robust performt.

In verifizierbaren Domänen: Log-prob Belohnungen erreichen Erfolgsraten, die mit Standard-Binär-RL-Baselines vergleichbar oder besser sind. Entscheidend ist, dass sie eine signifikant bessere Perplexität als binäres RL erzielen, wodurch das Trainingsziel mit dem Pretraining-Kriterium (Next-Token Prediction) in Einklang gebracht wird.
In nicht-verifizierbaren Domänen: Während wahrscheinlichkeitsbasierte Belohnungen (wie VeriFree) und Standard-RL aufgrund der verschwindend geringen Wahrscheinlichkeiten eines exakten Matches langer Form-Antworten kollabieren, bleiben Log-prob Belohnungen lebensfähig. Sie performen auf Augenhöhe mit Supervised Fine-Tuning (SFT), während andere wahrscheinlichkeitsbasierte Methoden es nicht schaffen, das Basismodell zu verbessern.

2. Das Phänomen des „CoT Collapse“

Eine wesentliche Beobachtung ist das Verhalten der CoT-Länge während des Trainings:

Verifizierbare Settings: Log-prob Belohnungen führen initial zu einer Verkürzung des CoT, aber die Länge erholt sich im Verlauf des Trainings.
Nicht-verifizierbare Settings: Log-prob Belohnungen führen zu einem permanenten „Collapse“ des CoT, wodurch der Reasoning-Trace auf eine minimale Länge (ca. 10 Token) reduziert wird. In diesem Regime verhält sich die Log-prob Methode effektiv wie SFT.
Mechanismus: Die Autoren hypothetisieren, dass zu Beginn des Trainings kürzere CoTs mit höheren Log-Wahrscheinlichkeiten der korrekten Antwort korrelieren (wahrscheinlich, weil das Basismodell noch nicht an lange Reasoning-Traces angepasst ist). Diese negative Korrelation treibt den RL-Agenten dazu, den CoT zu verkürzen. Versuche, dies durch KL-Regularisierung oder Längenstrafen zu mildern, verhinderten den Kollaps, führten jedoch zu einer Verschlechterung der Performance, was darauf hindeutet, dass die Log-prob Methode in nicht-verifizierbaren Domänen derzeit nur durch die Eliminierung des CoT die SFT-Performance erreicht.

3. Vergleich mit anderen Methoden

Wahrscheinlichkeit vs. Log-Wahrscheinlichkeit: Roh-Wahrscheinlichkeits-Belohnungen (VeriFree) scheitern in nicht-verifizierbaren Settings, da die Wahrscheinlichkeit eines exakten Matches für lange Antworten nahe Null liegt und somit kein Lernsignal liefert. Log-Wahrscheinlichkeit hingegen, als Summe über Tokens, liefert ein dichteres Signal, das nicht so stark verschwindet.
Perplexität vs. Erfolgsrate: Binäres RL optimiert in verifizierbaren Domänen auf die Erfolgsrate, verschlechtert aber die Perplexität (das Modell wird auf falschen Pfaden „übermäßig selbstsicher“). Log-prob Belohnungen optimieren für beides und erhalten eine Verteilung aufrecht, die weniger selbstsicher auf falschen Antworten ist, wodurch die allgemeine Sprachmodell-Qualität besser bewahrt wird.

Bedeutung

Das Paper etabliert Log-Wahrscheinlichkeits-Belohnungen als ein vereinheitlichtes Trainingssignal, das in der Lage ist, verifizierbare und nicht-verifizierbare Reasoning-Aufgaben zu überbrücken, ohne auf externe Korrektheits-Labels angewiesen zu sein.

Es zeigt auf, dass ein einziges Kriterium (Maximierung der Log-Likelihood der Referenzantwort gegeben einen CoT) über das gesamte Spektrum der Antworttypen hinweg angewendet werden kann, von kurzen mathematischen Problemen bis hin zu langen Beweisen.
Es verdeutlicht einen Trade-off: Während Log-prob Belohnungen die Perplexität und Generalisierbarkeit verbessern, erreichen sie in nicht-verifizierbaren Domänen derzeit nicht die SFT-Leistung, sofern der CoT nicht erhalten bleibt (was weitere Untersuchungen der Trainingsdynamik oder des Compute-Scalings erfordert).
Die Arbeit legt nahe, dass für nicht-verifizierbare Domänen das „Credit Assignment Problem“ in RL unter aktuellen Trainingsbudgets für lange CoTs zu schwerwiegend sein könnte, und dass die Vorteile von CoT in diesen Settings möglicherweise deutlich längeres Training oder andere Initialisierungsstrategien (z. B. Warm-Starting) erfordern.

Die Autoren kommen zu dem Schluss, dass Log-Likelihood-Belohnungen eine einfache, allgemeine Rezeptur für das Post-Training von Reasoning-LLMs bieten, die über diverse Antworttypen hinweg gültig ist, wobei der Mechanismus zur Aufrechterhaltung langer CoTs in nicht-verifizierbaren Settings eine offene Herausforderung bleibt.