💬 NLP

A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning

Dieses Paper schlägt eine Theorie des relativen Budgets für das Reinforcement Learning beim logischen Schließen großer Sprachmodelle vor, definiert eine Schlüsselgröße $\xi$ , welche die Stichprobeneffizienz über defizitäre, ausgewogene und reichliche Regime hinweg steuert, und validiert empirisch, dass ein relatives Budget zwischen 1,5 und 2,0 die Lernleistung maximiert.

Ursprüngliche Autoren: Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Die „Goldlöckchen“-Zone für KI-Denken

Stellen Sie sich vor, Sie bringen einem Schüler (der KI) bei, wie man ein schwieriges Matheproblem löst. Sie haben eine begrenzte Menge an Zeit oder „Tokens“ (Wörtern), die er verwenden darf, um nachzudenken und seine Antwort aufzuschreiben.

Die Arbeit führt eine einfache Regel namens Relatives Budget ( $\xi$ ) ein. Betrachten Sie dies als ein Verhältnis, das vergleicht, wie viel Zeit Sie dem Schüler geben im Vergleich dazu, wie lange der Schüler normalerweise braucht, um das Problem aus eigener Kraft zu lösen.

$\xi$ (Xi) = (Gegebene Zeit) / (Zeit, die der Schüler normalerweise benötigt).

Die Autoren haben herausgefunden, dass davon, wie gut die KI lernt, ausschließlich dieses Verhältnis abhängt. Es gibt drei verschiedene „Zonen“ oder Regime, und die KI verhält sich in jeder davon sehr unterschiedlich.

Die drei Lernzonen

1. Die „Zu enge“ Zone (Defizitäres Regime, $\xi \approx 0$ )

Die Analogie: Stellen Sie sich vor, Sie geben einem Schüler einen 10-Minuten-Test, um ein Problem zu lösen, für das er normalerweise 100 Minuten braucht.

Was passiert: Der Schüler schafft es fast nie, fertig zu werden. Er geht die Zeit aus, bevor er die Antwort findet.
Das Ergebnis: Der Lehrer (das KI-Trainingssystem) erhält fast keine „korrekten“ Beispiele, um daraus zu lernen. Da die KI fast nie einen Erfolg sieht, kann sie nichts lernen. Es ist, als würde man versuchen, Schwimmen zu lernen, indem man jemanden in einen Pool wirft, in dem er nicht einmal den Boden berühren kann; er gerät einfach in Panik und sinkt.
Behauptung der Arbeit: In dieser Zone ist Lernen theoretisch unmöglich, da „informative Trajektorien“ (erfolgreiche Versuche) zu selten sind.

2. Die „Genau richtig“ Zone (Ausgewogenes Regime, $\xi \approx 1,5 - 2,0$ )

Die Analogie: Nun geben Sie dem Schüler etwa die 1,5- bis 2-fache Menge an Zeit, die er normalerweise benötigt.

Was was passiert: Der Schüler hat genug Zeit, um das Problem zu lösen, aber es bleibt dennoch anspruchsvoll. Manchmal löst er es schnell; manchmal kämpft er und braucht die volle Zeit.
Das Ergebnis: Dies ist der Sweet Spot. Der Lehrer sieht eine Mischung aus leichten Erfolgen und hart erkämpften Siegen. Diese Vielfalt erzeugt ein starkes „Lernsignal“. Die KI kann klar sehen, was funktioniert und was nicht.
Behauptung der Arbeit: Hier ist Reinforcement Learning (RL) am effizientesten. Die KI lernt hier am schnellsten. Interessanterweise ist dies auch die schwierigste Zone für eine andere Methode namens „Supervised Fine-Tuning“ (SFT), da die Vielfalt der Lösungen für einen einfachen Nachahmer-Lehrer zu verwirrend ist.

3. Die „Zu leichte“ Zone (Üppiges Regime, $\xi \to \infty$ )

Die Analogie: Sie geben dem Schüler 100 Stunden für ein Problem, das nur 10 Minuten dauert.

Was passiert: Der Schüler löst es fast jedes Mal sofort. Er hat so viel überschüssige Zeit, dass sich die Aufgabe trivial anfühlt.
Das Ergebnis: Die KI lernt zwar, aber sie tut dies nicht besonders effizient. Da der Schüler immer sofort erfolgreich ist, gibt es keinen „Kampf“ oder Variationen, aus denen man lernen könnte. Die KI verbessert sich nicht mehr, weil sie bereits zu gut für die Aufgabe ist. Es ist, als würde man einem Schachgroßmeister ein Rätsel geben, das ein 5-jähriges Kind lösen könnte; er wird durch dieses Rätsel nicht besser im Schachspielen werden.
Behauptung der Arbeit: Das Lernen bleibt stabil, aber die „Grenzerträge“ (Verbesserung pro Schritt) werden immer kleiner. Man verschwendet Rechenleistung.

Der „Phasenübergang“

Die Arbeit beschreibt einen Phasenübergang um ein relatives Budget von 1,0.

Unter 1,0: Die KI steckt im Dunkeln fest und sieht selten Erfolge.
Über 1,0: Die KI beginnt plötzlich Erfolge zu erzielen und das Lernen explodiert förmlich.
Der Höhepunkt: Die Autoren fanden heraus, dass die absolut beste Leistung auftritt, wenn das Budget etwas höher als der Durchschnittsbedarf liegt, spezifisch zwischen 1,5 und 2,0. Dies gibt der KI gerade genug „Spielraum“, um verschiedene Wege zur Lösung zu explorieren, ohne Zeit zu verschwenden.

Warum das für das KI-Training wichtig ist

Die Arbeit argumenttiert, dass viele Menschen derzeit Geld und Rechenleistung verschwenden.

Wenn Sie der KI zu wenig Zeit geben, lernt sie nichts.
Wenn Sie ihr zu viel Zeit geben, lernt sie langsam und verschwendet Ressourcen.
Die Lösung: Sie sollten Ihr Computer-Budget so abstimmen, dass die KI etwa das 1,5- bis 2-fache der Tokens erhält, die sie normalerweise benötigt, um ein Problem zu lösen. Dies stellt sicher, dass die KI genug herausgefordert wird, um effizient zu lernen, aber nicht so sehr herausgefordert wird, dass sie scheitert.

Eine Anmerkung zu „Nachahmung“ vs. „Versuch und Irrtum“

Die Arbeit vergleicht auch zwei Lehrstile:

Supervised Fine-Tuning (SFT): Wie ein Schüler, der die exakten Schritte eines Lehrers kopiert. Die Arbeit besagt, dass diese Methode in der „Genau richtig“-Zone scheitert, weil es zu viele verschiedene Wege gibt, ein Problem zu lösen, und der Schüler durch die Vielfalt verwirrt wird.
Reinforcement Learning (RL): Wie ein Schüler, der verschiedene Ansätze ausprobiert und ein „Häkchen“ für eine korrekte Antwort erhält. Diese Methode gedeiht in der „Genau richtig“-Zone, weil sie mit dieser Vielfalt umgehen kann und den besten Weg finden kann.

Zusammenfassung

Um die besten Denkfähigkeiten aus einer KI herauszuholen, sollte man ihr nicht einfach unendliche Rechenleistung zur Verfügung stellen. Stattdessen sollte man das Goldlöckchen-Budget finden: Geben Sie der KI gerade genug zusätzliche Zeit (etwa 50 % bis 100 % mehr als sie normalerweise benötigt), um das Problem zu lösen. Dies schafft die perfekte Umgebung, damit sie schnell und effektiv lernen kann.

Technisches Resümee: Eine Theorie des relativen Budgets für Reinforcement Learning mit verifizierbaren Belohnungen im LLM-Reasoning

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem dominierenden Paradigma zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) entwickelt, was langanhaltende Planung und iteratives Selbstkorrigieren ermöglicht. Die empirische Effektivität variiert jedoch erheblich zwischen Aufgaben und Rechenbudgets. Bestehende theoretische Rahmenwerke versäumen es oft, die dynamische Beziehung zwischen Aufgabenkomplexität und Rechenbudgets zu berücksichtigen, insbesondere in Online-Learning-Settings. Praktiker mangelt es an Leitlinien zur effizienten Allokation von Rechenressourcen, was das Risiko birgt, enorme Ressourcen in Regimen zu investieren, in denen das Lernen theoretisch ineffizient ist oder in denen das Lernsignal verschwindet.

Diese Arbeit adressiert die Lücke im theoretischen Verständnis, indem sie analysiert, wie das Verhältnis zwischen dem verfügbaren Token-Budget und der inhärenten Schwierigkeit einer Aufgabe die Stichproben-Effizienz (Sample Efficiency) und Konvergenz von RLVR bestimmt.

2. Methodik und theoretischer Rahmen

2.1. Das relative Budget ( $\xi$ )

Die Autoren führen eine zentrale Größe ein, das relative Budget, definiert als:
$\xi := \frac{H}{E[T]}$
wobei $H$ der Generierungshorizont (Token-Budget) ist und $E[T]$ die erwartete Anzahl an Token, die erforderlich sind, um unter einer Basis-Policy $\pi_b$ die erste korrekte Lösung zu erreichen. Diese Metrik vereinigt Rechenbeschränkungen und Aufgabenkomplexität.

2.2. Modellannahmen

Der Denkprozess wird als endlicher Markov-Entscheidungsprozess (MDP) mit binären Belohnungen modelliert. Die Zeit bis zur Lösung $T(\tau)$ wird unter spezifischen Verteilungsannahmen analysiert:

Momente: Die Varianz von $T(\tau)$ skaliert mit dem Quadrat seines Mittelwerts ( $v_x = \Theta(\mu_x^2)$ ).
Linker Rand (Left-Tail Behavior): Die Wahrscheinlichkeit, ein Problem innerhalb eines Bruchteils der erwarteten Zeit zu lösen, folgt einer Funktion $f(z)$ , die nahe dem Ursprung polynomiell statt exponentiell abfällt.
Gamma-Verteilung: Für die konkrete Analyse wird $T(\tau)$ mittels einer Gamma-Verteilung modelliert, die als kontinuierlicher Proxy für die diskreten Token-Zählungen in komplexen Denkaufgaben dient.

2.3. Analytischer Ansatz

Das Papier analysiert den Anti-Konzentrationskoeffizienten $c_0(\xi)$ , der die Wahrscheinlichkeit darstellt, hochbelohnte Trajektorien zu sampeln (Lösungen, die signifikant schneller als der Mittelwert gefunden werden). Dieser Koeffizient steuert direkt die Stichprobenkomplexität von RL. Die Autoren leiten endliche Stichproben-Garantien für Online-RL ab, wobei sie die Entwicklung von $\xi$ über Iterationen hinweg verfolgen, während sich die Policy verbessert.

3. Zentrale Beiträge und theoretische Ergebnisse

Das Papier stellt fest, dass die RLVR-Leistung durch drei unterschiedliche Regime gesteuert wird, die auf dem Wert von $\xi$ basieren:

3.1. Drei Regime der Lerneffizienz

Defizitäres Regime ( $\xi \to 0$ ):
- Bedingung: Das Token-Budget $H$ ist viel kleiner als die erwartete Zeit bis zur Lösung.
- Dynamik: Hochbelohnte Trajektorien sind extrem selten. Der Anti-Konzentrationskoeffizient verschwindet ( $c_0 \to 0$ ), was die Stichprobenkomplexität explodieren lässt. Lernen ist theoretisch nicht handhabbar.
Ausbalanciertes Regime ( $\xi = \Theta(1)$ ):
- Bedingung: Das Token-Budget ist vergleichbar mit der erwarteten Zeit bis zur Lösung.
- Dynamik: Informative Trajektorien treten mit nicht vernachlässigbarer Wahrscheinlichkeit auf. Der Anti-Konzentrationskoeffizient ist von Null verschieden ( $c_0 = \Theta(1)$ ), was zu maximaler Stichproben-Effizienz führt.
- Kontrast zu SFT: Dieses Regime stellt einen "Sweet Spot" für RL dar, aber den "Worst-Case" für Supervised Fine-Tuning (SFT). Im balancierten Regime ist die Heterogenität der erfolgreichen Lösungsspuren (variierende Längen und Strategien) maximiert, was das Imitationslernen für SFT schwierig macht.
Überschüssiges Regime ( $\xi \to \infty$ ):
- Bedingung: Das Token-Budget übersteigt die erwartete Zeit bis zur Lösung signifikant.
- Dynamik: Das Lernen bleibt stabil mit einem beschränkten Anti-Konzentrationskoeffizienten. Jedoch nehmen die Grenzerträge pro Iteration ab, da die Aufgabe relativ zum Budget trivial wird, und die Stichprobenkomplexität steigt linear mit $\xi$ .

3.2. Endliche Stichproben-Garantien für Online-RL

Die Autoren beweisen, dass in einem Online-Setting, während sich die Policy verbessert, die erwartete Zeit bis zur Lösung sinkt, wodurch $\xi$ über Iterationen hinweg linear wächst.

Theorem 6.4: Unter dem Gamma-Modell treibt Online-RL $\xi$ dazu, linear zu wachsen ( $\xi_i - \xi_0 \geq i(2K)^{-1}$ ).
Trade-off: Während die Policy gegen das Token-Budget $H$ konvergiert, erfordert die Aufrechterhaltung einer monotonen Verbesserung im überschüssigen Regime eine zunehmende Anzahl an Rollout-Samples (quadratische Degradation der Stichprobenkomplexität relativ zu $\xi$ ).

3.3. Optimale Budgetallokation

Die theoretische Analyse unter Verwendung der Gamma-Verteilung identifiziert ein optimales relatives Budget $\xi^*$ , das das Lernsignal (Belohnungsvarianz) maximiert und gleichzeitig einen stabilen Anti-Konzentrationskoeffizienten aufrechterhält.

Theoretische Vorhersage: Das optimale $\xi^*$ liegt im Bereich $1.0 \leq \xi^* \leq 1.4$ .
Implikation: Die Allokation eines Budgets, das etwas größer als die inhärente Schwierigkeit ist ( $\xi \gtrsim 1$ ), ist entscheidend für ein zuverlässiges Lernsignal.

4. Empirische Ergebnisse

Die Autoren validierten ihre Theorie unter Verwendung von Standard-LLMs (Llama-3.2-3B, Phi-4-mini, Qwen3-4B) auf Reasoning-Benchmarks (GSM8K, MATH-500).

Phasenübergang: Experimente bestätigten einen Phasenübergang bei $\xi \approx 1.0$ . Im defizitären Regime ( $\xi < 0.8$ ) waren die Belohnungsvarianz und die Anti-Konzentration vernachlässigbar.
Peak-Lernsignal: Das Lernsignal (Belohnungsvarianz) erreichte seinen Höhepunkt im Bereich $\xi \in [1.5, 2.0]$ , was aufgrund der Long-Tail-Natur der Token-Generierungsverteilungen etwas höher liegt als das theoretische Minimum.
Leistungs-Korrelation: Die Post-Training-Genauigkeit auf Reasoning-Aufgaben zeigte einen scharfen Anstieg, als $\xi$ sich 1 näherte (das balancierte Regime), und sättigte im überschüssigen Regime ( $\xi > 2.0$ ).
Modell-Robustheit: Die theoretischen Vorhersagen hielten über verschiedene Modelle und Datensätze hinweg stand, selbst für Modelle (wie Qwen3), die bimodale Token-Verteilungen aufwiesen, was darauf hindeutet, dass die Kern-Theorie gegenüber spezifischen Verteilungsabweichungen robust ist.

5. Bedeutung und Ansprüche

Das Papier beansprucht, einen vereinheitlichten theoretischen Rahmen zu liefern, der den regimeabhängigen Erfolg von RLVR im LLM-Reasoning erklärt. Seine primäre Bedeutung liegt in:

Definition der "Grenze der Kompetenz": Es rechtfertigt theoretisch die empirische Beobachtung, dass RL am effektivsten ist, wenn Aufgaben weder trivial noch unlösbar sind, nämlich wenn das Rechenbudget mit der inhärenten Schwierigkeit der Aufgabe vergleichbar ist.
Leitfaden für die Rechenallokation: Die Theorie bietet eine konkrete Leitlinie für Praktiker: Allokieren Sie Token-Budgets so, dass $\xi \in [1.5, 2.0]$ gilt. Dies stellt die Anwesenheit informativer Trajektorien sicher, ohne die abnehmenden Erträge übermäßiger Budgets zu riskieren.
Erklärung der RL- vs. SFT-Divergenz: Es erläutert, warum Verifizierer-basiertes RL SFT beim Skalieren der Test-Time-Compute übertrifft, insbesondere im balancierten Regime, in dem die Heterogenität der Lösungen das Imitationslernen behindert, aber die explorative RL begünstigt.
Nachhaltige KI-Entwicklung: Durch die Identifizierung des Punktes, an dem RL abnehmende Grenzerträge liefert, zielt der Rahmen darauf ab, verschwenderische Trainingsläufe zu verhindern und somit die finanziellen und ökologischen Kosten der groß angelegten Modell-Trainings zu reduzieren.

Die Autoren merken an, dass ihre Analyse auf einer kontinuierlichen Proxy-Belohnung beruht, um die Varianzanalyse handhabbar zu machen, und dass die Erweiterung der Theorie auf strikte Binär-Belohnungen ein offenes Problem bleibt. Die empirische Übereinstimmung mit realistischen Settings deutet jedoch darauf hin, dass das relative Budget $\xi$ ein fundamentaler Faktor für die Effektivität von reasoning-orientiertem RL ist.