🤖 machine learning

Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories

Diese Arbeit löst das Explorationsparadoxon beim Post-Training, indem sie Schlussfolgern als Markov-Übergänge modelliert, theoretisch beweist, dass Standardmethoden wie RLVR und ORM/PRM Modelle hin zu hochwahrscheinlichen Pfaden beeinflussen und seltene Reasoning-Schritte vergessen, während sie gleichzeitig demonstriert, dass Explorationsstrategien wie Instanz-Ablehnung und KL-Regularisierung helfen, diese entscheidenden Trajektorien zu bewahren.

Ursprüngliche Autoren: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Veröffentlicht 2026-06-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „kluge, aber sture“ Schüler

Stellen Sie sich einen sehr klugen Schüler vor (das Foundation Model), der jedes Buch in der Bibliothek gelesen hat. Er weiß ein bisschen über alles. Wenn man ihm jedoch eine spezifische, knifflige Matheaufgabe gibt, bleibt er manchmal stecken oder macht Fehler.

Um dies zu beheben, nutzen Lehrer das Post-Training (wie Reinforcement Learning mit Verifiable Rewards, oder RLVR). Das ist so, als würde man dem Schüler einen Test geben, die Antwort prüfen und sagen: „Gut gemacht, wenn du es richtig hattest! Versuche das nochmal.“

Das Problem: Die Arbeit argumentiert, dass dieses „Üben“ oft nach hinten losgeht. Anstatt zu lernen, neue Wege zu lösen, um schwierige Probleme anzugehen, wird der Schüler besessen von den einfachsten Wegen, die er bereits kennt. Wenn ein Problem einen cleveren, seltenen Trick erfordert, vergisst der Schüler diesen, weil er zu sehr damit beschäftigt ist, die einfachen, gängigen Methoden zu üben, die meistens funktionieren.

Die Autoren nennen dies den „Squeezing-Effekt“ (den Quetsch-Effekt). Es ist wie das Auswringen eines Schwamms: Man bekommt zwar das ganze Wasser heraus, aber man zerstört auch die Form des Schwamms. Das Modell wird sehr gut in gängigen Aufgaben, verliert aber die Fähigkeit, mit seltenen, schwierigen Aufgaben umzuge so umzugehen.

Die Analogie: Das Labyrinth des Denkens

Um zu verstehen, warum das passiert, stellen sich die Autoren das Denken wie ein riesiges, baumförmiges Labyrinth vor.

Der Start: Sie befinden sich am Eingang (der Frage).
Die Pfade: Es gibt viele Pfade, die Sie nehmen können, um zum Ausgang (der Antwort) zu gelangen.
Einfache Pfade (Hohe Wahrscheinlichkeit): Dies sind breite, asphaltierte Autobahnen. Die meisten Menschen nehmen sie. Sie funktionieren für die meisten Fragen.
Schwierige Pfade (Niedrige Wahrscheinlichkeit): Dies sind schmale, verwilderte Pfade. Sie werden selten begangen. Aber für spezifische, knifflige Fragen sind dies die einzigen Pfade, die zur richtigen Antwort führen.

1. Pre-training: Die Karte entdecken

Bevor der Schüler mit dem Üben beginnt, erkundet er das Labyrinth. Er findet sowohl die Autobahnen als auch die verborgenen Pfade. Er weiß, dass die Karte existiert.

2. Post-Training: Das „Quetschen“

Wenn der Lehrer beginnt, Belohnungen für richtige Antworten zu geben, betrachtet der Schüler die Karte und denkt: „Hey, die Autobahn ist breit und ich komme meistens richtig an. Ich bleibe einfach auf der Autobahn.“

Die Arbeit beweist mathematisch, dass Standard-Trainingsmethoden (wie RLVR, PPO und RAFT) wie ein Magnet wirken. Sie ziehen die Aufmerksamkeit des Schülers vollständig auf die Autobahnen.

Das Ergebnis: Der Schüler wird ein Meister der Autobahn. Aber wenn eine spezifische Frage nur eine Lösung auf dem verborgenen Pfad hat, hat der Schüler vergessen, wie man ihn findet. Er scheitert an der schwierigen Frage.

3. Die „Konsistenz“-Falle (ORM/PRM)

Die Arbeit untersucht auch eine andere Methode, bei der ein „Scorer“ (ein neuronales Netzwerk) die Schritte des Schülers bewertet, während er nachdenkt.

Die Falle: Der Scorer ist auf Konsistenz voreingenommen. Er mag es, dieselben Schritte immer wieder zu sehen, weil das normalerweise funktioniert. Er vergibt hohe Punktzahlen für die „Autobahn“-Schritte und niedrige Punktzahlen für die „verborgenen Pfad“-Schritte, selbst wenn der verborgene Pfad der einzige Weg ist, um das aktuelle Problem zu lösen.
Das Ergebnis: Der Schüler wird vom verborgenen Pfad weggeleitet, noch bevor er ihn überhaupt erreicht.

Die Lösungen: Wie man den Schüler flexibel hält

Die Arbeit zeigt nicht nur das Problem auf, sondern bietet theoretische Lösungen an, um den Schüler daran zu hindern, die schwierigen Pfade zu vergessen.

Lösung A: Die einfachen Fragen ablehnen (RL-rej)

Stellen Sie sich vor, der Lehrer sagt: „Wenn du dieses Problem über die einfache Autobahn lösen kannst, möchte ich das nicht sehen. Ich möchte nur sehen, wie du die Probleme löst, bei denen die Autobahn versagt.“

Wie es funktioniert: Indem der Lehrer sich weigert, einfache Erfolge zu belohnen, zwingt er den Schüler, die verborgenen Pfade zu erkunden.
Die Behauptung der Arbeit: Dies zwingt das Modell, die seltenen, schwierigen Pfade zu lernen, ohne sie zu vergessen.

Lösung B: Der „Temperatur“-Regler (KL-Regularisierung)

Stellen Sie sich vor, der Schüler ist etwas zu eifrig darin, an der Autobahn zu bleiben. Der Lehrer fügt einen „Temperatur“-Regler hinzu (KL-Regularisierung).

Wie es funktioniert: Dieser Regler sagt dem Schüler: „Sei dir nicht zu sicher deiner Sache. Behalte ein wenig deiner ursprünglichen Neugier bei.“ Dies verhindert, dass der Schüler zu 100 % auf die Autobahn fokussiert wird und stellt sicher, dass er sich noch daran erinnert, dass die verborgenen Pfade existieren.
Die Behauptung der Arbeit: Dies hält die „Multi-Task“-Fähigkeit des Modells lebendig, sodass es nicht vergisst, wie man andere Arten von Problemen löst, während es sich auf eines konzentriert.

Lösung C: Die „Doob h-Transformation“ (DPRM)

Dies ist ein fortgeschrittener mathematischer Trick für die „Scorer“-Methode.

Die Analogie: Anstatt dass der Scorer nur den aktuellen Schritt betrachtet, blickt er auf die gesamte Zukunft des Pfades. Er berechnet: „Wenn ich jetzt diesen schmalen Pfad nehme, wie hoch ist die Chance, dass ich das Ziel erreiche?“
Die Behauptung der Arbeit: Diese Methode (genannt DPRM) ist mathematisch äquivalent zu einer „weichen“ Version der Auswahl der besten Antwort. Sie ermöglicht es dem Modell, die verborgenen Pfade offen und zugänglich zu halten, anstatt sie zu zerquetschen.

Das Urteil

Die Arbeit nutzt Mathematik, um eine einfache Wahrheit zu beweisen: Wenn man nur die „einfachen“ Wege des Denkens belohnt, wird man mit der Zeit die „schwierigen“ Wege vergessen.

Standard-Training: Macht das Modell zu einem Spezialisten für einfache Aufgaben, aber zu einem Versager bei schwierigen, seltenen Aufgaben.
Die Lösung: Man muss aktiv verhindern, dass das Modell sich zu sehr auf das Einfache konzentriert. Dies tut man, indem man einfache Siege ignoriert, „Temperatur“ hinzufügt, um Vielfalt zu erhalten, oder intelligentere Scoring-Methoden verwendet, die das Potenzial seltener Pfade wertschätzen.

Die Autoren betonen, dass ihre Mathematik zwar auf einem vereinfachten „Toy Model“ (einem theoretischen Labyrinth) basiert, sie aber das reale Verhalten erklärt, das man heute bei großen KI-Modellen sieht: Warum sie manchmal bei einfachen Mustern „stecken bleiben“ und die cleveren, seltenen Lösungen nicht finden können, die für schwierige Probleme nötig wären.

Technisches Resümee: Distributionale Biase im Post-Training: Eine Markovsche Analyse von Reasoning-Trajektorien

Problemstellung

Fundamentale Modelle verfügen über breites Wissen, weisen jedoch oft eine eingeschränkte aufgabenspezifische Argumentation (Reasoning) auf. Während Post-Training-Strategien wie Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) und Inference-Time-Scaling (unter Verwendung von Outcome Reward Models [ORM] oder Process Reward Models [PRM]) darauf abzielen, aufgabenspezifische Experten zu erschaffen, offenbaren empirische Beobachtungen ein Paradoxon. Diese Methoden verstärken typischerweise bestehende Reasoning-Pfade, anstatt den Reasoning-Spielraum zu erweitieren. Konkret neigen sie dazu, die Verteilung von Chain-of-Thought (CoT)-Trajektorien zu „stauchen“ (squeeze), indem sie häufige, leicht zu argumentierende Muster bevorzugen, während seltene, aber entscheidende Reasoning-Schritte, die für schwierige Instanzen erforderlich sind, in Vergessenheit geraten. Dies wirft die Frage auf, wie Explorationsstrategien effektiv sein können, wenn das Post-Training nicht in der Lage ist, über den bestehenden Baum-Scope des Basismodells hinaus zu explorieren.

Methodik

Die Autoren schlagen ein handhabbares theoretisches Framework vor, das auf Baumstrukturierten Markov-Ketten (TMC) basiert, um die Reasoning-Fähigkeiten von Fundamentmodellen zu modellieren.

Modellformulierung:
- TMC-Framework: Reasoning wird als diskreter Markov-Prozess abstrahiert, bei dem Zustände logische Behauptungen (z. B. mathematische Ausdrücke) darstellen und nicht Oberflächen-Token. Der Zustandsraum ist geschichtet ( $S_1$ bis $S_L$ ), wobei Übergänge Reasoning-Schritte repräsentieren.
- Aufgabendefinition: Aufgaben werden durch Frage-Antwort-Paare $(q, a, k)$ definiert. Eine Aufgabe ist „gewöhnlich“ (common), wenn sie mindestens einen „leicht zu argumentierenden“ CoT (hohe Übergangswahrscheinlichkeiten) zulässt, und „selten“ (rare), wenn sie ausschließlich auf „schwer zu argumentierenden“ CoTs beruht (die auf spärlichen, niedrigen Übergangswahrscheinlichkeiten basieren).
- Basismodell: Das vortrainierte Basismodell wird als linearer Softmax-Prädiktor modelliert, der mittels Cross-Entropy trainiert wurde und zu den wahren Übergangswahrscheinlichkeiten der TMC konvergiert.
- Belohnungssignale: Das Paper unterscheidet zwischen instanzbasierter Korrektheit (0/1 Belohnung) und populationsbasierter Belohnung (erwartete Genauigkeit), die von ORMs und PRMs verwendet werden.
Theoretische Analyse:
- Die Autoren analysieren die Gradientendynamik gängiger RLVR-Algorithmen (REINFORCE, RAFT, PPO, GRPO) und Inference-Scaling-Methoden (ORM/PRM mit Best-of-N oder Beam Search) innerhalb dieser TMC-Umgebung.
- Sie leiten die „Advantage Gap“ zwischen einfachen und schwierigen CoTs her und zeigen, dass Standard-Objectives inhärent höhere Advantages für einfache Pfade zuweisen, da diese aufgrund ihrer höheren Wahrscheinlichkeit, über die Populationsverteilung hinweg korrekt zu sein, bevorzugt werden.

Zentrale Beiträge

1. Formalisierung von drei empirischen Phänomenen

Das Paper beweist rigoros drei in der Praxis beobachtete Phänomene:

Phänomen 1 (Squeezing-Effekt von RLVR): RLVR-Methoden (REINFORCE, RAFT, PPO, GRPO) bevorzugen inhärent leicht zu argumentierende CoTs. Die theoretische Analyse zeigt, dass die Advantage-getriebenen Updates dazu führen, dass die Wahrscheinlichkeitsmasse der schwer zu argumentierenden CoTs abnimmt, was zu deren eventualem Vergessen führt.
Phänomen 2 (Neural Verifier Consistency Bias): Inference-Scaling mit ORM/PRM stützt sich auf populationsbasierte Belohnungen (erwartete Genauigkeit). Die Autoren beweisen, dass diese Belohnungen systematisch einfache CoTs bevorzugen, da diese im Durchschnitt eine höhere Wahrscheinlichkeit haben, korrekt zu sein, selbst wenn sie für spezifische schwierige Instanzen falsch sind. Folglich scheitert die durch ORM/PRM gesteuerte Suche (BoN, Beam Search) daran, schwierige CoTs auszuwählen.
Phänomen 3 (Verdienst von seltenen CoTs): Schwierige Instanzen in Reasoning-Datensätzen (z. B. GSM8K, AQuA) entsprechen oft seltenen CoTs mit geringem Vertrauen des Basismodells. Standardmäßige Post-Training-Methoden, welche die Verteilung auf einfache Pfade kollabieren lassen, scheitern daran, diese Instanzen zu lösen.

2. Theoretische Rechtfertigung von Explorationsstrategien

Das Paper liefert nachweisbare Garantien für Strategien, die den Simplicity-Bias mildern:

Ablehnung einfacher Instanzen (RL-rej): Durch die Ablehnung von Trainingsinstanzen, bei denen das Modell bereits korrekte Antworten mit hoher Konfidenz generiert (d. h. Instanzen, die durch einfache CoTs lösbar sind), verschiebt sich das Trainingssignal auf schwierige CoTs. Die Autoren beweisen, dass dies es dem Modell ermöglicht, valide schwierige CoTs zu lernen, während die Performance beibehalten wird.
KL-Regularisierung: Die Einbeziehung der KL-Divergenz-Regularisierung (wie in GRPO) verhindert, dass die Verteilung vollständig auf einfache Pfade kollabiert. Die optimale Lösung unter KL-Regularisierung ist eine Gibbs-Verteilung, die die breiten Fähigkeiten des Basismodells bewahrt, was das Sampling von schwierigen CoTs und die Aufrechterhaltung der Multi-Task-Performance ermöglicht.
Doob's h-Transform induziertes PRM (DPRM): Für das Inference-Scaling schlagen die Autoren ein theoretisch fundiertes PRM basierend auf der Doob's h-Transformation vor. Diese Methode erzeugt eine Prozessbelohnung, die bei Verwendung von Sampling (Soft-BoN) asymptotisch äquivalent zur optimalen Gibbs-Verteilung ist. Im Gegensatz zu Standard-Likelihood-basierten PRMs bewahrt DPRM die Diversität des Basismodells und vermeidet den Bias hin zu einfachen CoTs.

Ergebnisse

Die Autoren validieren ihre theoretischen Erkenntnisse durch empirische Simulationen auf einer synthetischen Multi-Task-TMC mit zwei Aufgaben (eine gewöhnlich, eine selten).

Standard RLVR Versagen: Methoden wie REINFORCE, RAFT und PPO bevorzugten stark einfache CoTs (90–95 % Generationsrate) und unterdrückten schwierige CoTs. Dies führte zu einem signifikanten Leistungsabfall bei der seltenen Aufgabe (Aufgabe 2), was das „Vergessen“-Phänomen demonstriert.
Inference Scaling Versagen: ORM-BoN und Standard-PRM-BoN bevorzugten ebenfalls übermäßig einfache CoTs und scheiterten daran, schwierige Instanzen zu lösen, die seltene Reasoning-Pfade erforderten.
Erfolg der vorgeschlagenen Methoden:
- RL-rej und GRPO-KL: Diese Methoden balancierten die Generierung von einfachen und schwierigen CoTs erfolgreich aus, verbesserten die Performance auf der seltenen Aufgabe signifikant und hielten gleichzeitig die Performance auf der gewöhnlichen Aufgabe aufrecht.
- DPRM-AS: Das auf der Doob's h-Transformation basierende Sampling erreichte eine hohe Abdeckung schwieriger CoTs und bewahrte die Multi-Task-Fähigkeiten, wobei es Standard-PRM-Ansätze übertraf.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste theoretische Versöhnung des Spannungsverhältnisses zwischen den beobachteten Vorteilen der Exploration und der „stauchenden“ Natur von RLVR und Inference-Scaling zu bieten.

Theoretische Einsicht: Die Arbeit zeigt, dass der „Simplicity Bias“ eine intrinsische Eigenschaft von populationsbasierten Reward-Estimatoren und Advantage-getriebenen Updates in einem Multi-Task-Setting ist. Sie erklärt, warum das Standard-Post-Training oft daran scheitert, die Reasoning-Fähigkeiten über die bestehenden High-Probability-Pfade des Basismodells hinaus zu erweitieren.
Praktische Orientierung: Die Autoren liefern eine theoretische Basis für bestehende empirische Praktiken, wie die Ablehnung einfacher Fragen und die Verwendung von KL-Regularisierung, indem sie aufzeigen, warum diese funktionieren: Sie verhindern den Kollaps der Verteilung auf einfache Pfade und bewahren so die seltenen CoTs, die für schwieriges Reasoning notwendig sind.
Einschränkungen und Umfang: Die Autoren sind bescheiden in ihren Ansprüchen und räumen ein, dass ihr TMC-Framework eine Abstraktion ist. Sie merken an, dass das Modell einen linearen Softmax-Prädiktor voraussetzt und die Komplexität großskaliger, nicht-linearer Transformer, verrauschter Reward-Oracles oder Reward-Hacking nicht vollständig erfasst. Sie argumentieren jedoch, dass die Kernaspekte bezüglich des distributionalen Bias und der Notwendigkeit von Explorationsstrategien relevant sind, um die Limitationen aktueller RL-basierter Fine-Tuning- und Inference-Scaling-Verfahren in LLMs zu verstehen.

Zusammenfassend argumentiert das Paper, dass Post-Training-Strategien, um robustes Reasoning zu erreichen, die natürliche Tendenz von Reward-basierten Optimierungen, auf einfache, hochfrequente Muster zu kollabieren, explizit konterkarieren müssen, und dass Techniken, die die distributionale Diversität bewahren (wie KL-Regularisierung und h-Transformationen), theoretisch notwendig sind, um schwierige Reasoning-Aufgaben zu lösen.