💬 NLP

Value-Gradient Hypothesis of RL for LLMs

Dieser Artikel schlägt eine Wert-Gradienten-Hypothese vor, um die Wirksamkeit von kritikerfreien Verstärkungslernverfahren wie PPO und GRPO beim Nachtrainieren von LLMs zu erklären, indem gezeigt wird, dass Akteur-Updates durch autodifferentielle Verfahren Wertgradienten approximieren, und es wird ein Kriterium dafür etabliert, wann RL die größten Gewinne erzielt, basierend auf dem Wertsignal und dem Belohnungsspielraum.

Ursprüngliche Autoren: Arip Asadulaev, Daniil Ognev, Karim Salta, Martin Takac

Veröffentlicht 2026-05-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arip Asadulaev, Daniil Ognev, Karim Salta, Martin Takac

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum funktioniert „critic-free" RL?

Stellen Sie sich vor, Sie trainieren einen Schüler (ein Large Language Model), um einen perfekten Aufsatz zu schreiben.

Der alte Weg (klassisches RL): Sie haben einen Lehrer (den Critic), der jeden Satz liest, den der Schüler schreibt, und sofortiges Feedback gibt: „Gutes Wort", „Schlechte Grammatik", „Zu lang". Der Schüler nutzt dieses Feedback, um seinen Schreibstil anzupassen.
Der neue Weg (GRPO/PPO): Sie nehmen den Lehrer weg. Der Schüler schreibt einen ganzen Aufsatz, erhält am ganz Ende eine Note und versucht dann selbst herauszufinden, welche spezifischen Wörter zu dieser Note geführt haben.

Das Problem: In der traditionellen Mathematik ist es unmöglich zu wissen, welches einzelne Wort den Erfolg oder Misserfolg verursacht hat, wenn man das Feedback bis zum Ende aufspart. Es ist, als würde man raten, welcher spezifische Schritt in einem 100-Schritte-Rezept den Kuchen ruiniert hat, ohne ihn unterwegs zu probieren. Die Theorie besagt, dass diese „critic-free"-Methode scheitern sollte, insbesondere bei langen Aufsätzen.

Die Entdeckung des Papiers: Überraschenderweise scheitert sie nicht. Die Autoren argumentieren, dass der Schüler tatsächlich Feedback erhält, nur nicht von einem separaten Lehrer. Der „Rückwärtsgang" (die Mathematik, die das Modell zum Lernen verwendet) trägt heimlich ein verstecktes Signal, das wie eine Lehreranleitung wirkt, selbst ohne einen separaten Critic.

Die Kernidee: Das „Geistersignal"

Das Papier schlägt eine Value-Gradient-Hypothese vor. Lassen Sie uns dies mit einer Analogie aufschlüsseln.

1. Die kontinuierliche Welt (Die glatte Rutsche)

Stellen Sie sich den Schreibprozess des Schülers vor, als würde er eine glatte, kontinuierliche Rutsche hinunterrutschen. Wenn Sie die Hand des Schülers oben leicht anstoßen, können Sie mathematisch genau nachverfolgen, wie dieser winzige Stoß seine Geschwindigkeit und Position bis zum unteren Ende verändert.

In dieser glatten Welt berechnet die Mathematik natürlich einen „Value Gradient". Dies ist ein Signal, das sagt: „Wenn Sie Ihre Aktion hier ändern, wird sich Ihre Endnote um diesen Betrag ändern."
Das Papier beweist, dass selbst ohne Lehrer die Mathematik des „Rückwärtsgangs" dieses Signal natürlich erzeugt. Es ist, als würde die Rutsche selbst dem Schüler den richtigen Weg zuflüstern.

2. Die reale Welt (Die diskreten Sprünge)

Aber LLMs schreiben nicht fließend; sie wählen Wörter nacheinander aus einem riesigen Wörterbuch aus. Das ist wie das Gehen eine Treppe hinunter, bei dem man von einer bestimmten Stufe zur nächsten springen muss. Man kann den Fuß nicht „halbwegs" zwischen den Stufen anstoßen.

Die Lücke: Da das Modell zu einem spezifischen Wort „springen" muss, wird das glatte mathematische Signal unterbrochen. Es ist, als würde man versuchen, eine glatte Linie durch eine Reihe von unverbundenen Punkten zu ziehen.
Die Magie der Aufmerksamkeit: Das Papier argumentiert, dass Transformer (die Architektur, die LLMs verwenden) eine Superkraft namens Attention (Aufmerksamkeit) besitzen.
- Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem jeder Schüler sofort die Tafel jedes anderen Schülers sehen kann, nicht nur die des neben ihm Sitzenden.
- Obwohl das Modell von Wort zu Wort springt, schafft der „Attention"-Mechanismus unsichtbare, glatte Brücken zwischen den verborgenen Gedanken des Modells. Diese Brücken ermöglichen es dem „Value-Gradient"-Signal, durch die Zeit zurückzufließen und die unterbrochenen „Sprung"-Schritte zu umgehen.

Das Ergebnis: Das Signal ist nicht perfekt, aber es ist gut genug. Das „Rauschen" oder der Fehler in diesem Signal wird davon kontrolliert, wie „verwirrt" das Modell ist (seine Entropie). Wenn das Modell ziemlich sicher ist, was es tut, ist das Signal stark. Wenn es wild rät, ist das Signal schwach.

Das „RL-Impact-Gesetz": Wann sollten Sie trainieren?

Die Autoren nutzen diese Entdeckung, um eine Formel zu erstellen, die vorhersagt, wann Reinforcement Learning (RL) einem Modell tatsächlich hilft. Sie sagen, RL funktioniert am besten, wenn zwei Bedingungen gleichzeitig erfüllt sind:

Das Signal ist klar: Das Modell ist intelligent genug, damit das „Geistersignal" (der Value-Gradient) durch die Attention-Brücken reisen kann, ohne verloren zu gehen. (Das Modell ist nicht zu verwirrt).
Es gibt Raum zum Wachsen: Das Modell ist noch nicht perfekt. Es gibt noch „Spielraum" oder Potenzial, um eine bessere Note zu erzielen.

Die Analogie des Wanderers:
Stellen Sie sich einen Wanderer vor, der versucht, den Gipfel eines Berges zu erreichen (die perfekte Note).

Bedingung 1 (Signal): Der Wanderer braucht eine gute Karte (den Value-Gradient). Wenn die Karte verschwommen ist (hohe Entropie), weiß er nicht, wohin er gehen soll.
Bedingung 2 (Spielraum): Der Wanderer muss weit genug vom Gipfel entfernt sein, damit es noch einen Weg nach oben gibt, aber nah genug, damit der Weg sichtbar ist.
- Wenn er unten ist (zu schwach), ist die Karte nutzlos, weil das Gelände zu chaotisch ist.
- Wenn er bereits auf dem Gipfel ist (gesättigt), gibt es nirgendwo mehr hin zu gehen.
- Der Sweet Spot: Das Modell muss sich in der „Mittezone" befinden, wo die Karte klar ist und noch ein Aufstieg bevorsteht.

Was die Experimente zeigten

Die Autoren testeten dies an echten Modellen (OLMo-2):

Bestätigung der Mathematik: Sie überprüften, ob das „Rauschen" im Signal tatsächlich davon kontrolliert wurde, wie verwirrt das Modell war (Entropie). Das war der Fall.
Vorhersage des Erfolgs: Sie erstellten eine Punktzahl basierend auf ihrer Formel (Signalstärke × Spielraum). Sie stellten fest, dass diese Punktzahl genau vorhersagte, welche Versionen des Modells nach dem RL-Training am meisten verbessert wurden.
- Modelle, die zu früh im Training waren (verwirrt), verbesserten sich nicht viel.
- Modelle, die zu spät waren (bereits gut), verbesserten sich nicht viel.
- Modelle im „Sweet Spot" verbesserten sich am meisten.

Zusammenfassung

Dieses Papier löst ein Rätsel: Warum werden LLMs mit „critic-free"-Training besser?

Antwort: Sie sind tatsächlich nicht blind. Die Mathematik der eigenen Architektur des Modells (insbesondere der „Attention"-Mechanismus) erstellt eine verborgene, angenäherte Version eines Lehrer-Feedback-Signals.
Fazit: Dieses Signal ist stark genug, um das Lernen zu leiten, aber nur wenn sich das Modell in der richtigen „Zone" befindet – nicht zu verwirrt, aber noch nicht perfekt. Dies ermöglicht es Forschern, den genauen Zeitpunkt im Training zu wählen, an dem RL für die besten Ergebnisse gestartet werden sollte.

Technische Zusammenfassung: Wert-Gradient-Hypothese von RL für LLMs

Problemstellung

Reinforcement Learning (RL) hat sich zu einer Standardtechnik für das Nachtrainieren von Large Language Models (LLMs) entwickelt, wobei Methoden wie Group Relative Policy Optimization (GRPO) und Proximal Policy Optimization (PPO) state-of-the-art-Reasoning-Fähigkeiten erreichen. Ein zentrales theoretisches Rätsel bleibt bestehen: Die klassische RL-Theorie legt nahe, dass kritikerfreie Methoden (die über keine gelernte Wertfunktion zur Initialisierung der Kreditvergabe verfügen) bei der Kreditvergabe über lange Zeithorizonte versagen sollten. In der Praxis funktionieren sie jedoch außergewöhnlich gut. Dieser Beitrag untersucht, warum kritikerfreies RL bei LLMs funktioniert, und versucht, die spezifischen Bedingungen zu bestimmen, unter denen diese Methoden die größten Leistungssteigerungen erzielen.

Methodik und Theoretischer Rahmen

Die Autoren entwickeln eine Wert-Gradient-Perspektive kritikerfreien RLs und argumentieren, dass das Actor-Update in diesen Methoden nicht „wertfrei" ist, sondern vielmehr ein Signal trägt, das den Gradienten der Wertfunktion approximiert.

1. Kontinuierliche Relaxierung und Ko-Zustände

Der Beitrag etabliert zunächst eine theoretische Basislinie unter Verwendung eines differentierbaren Rollout-Frameworks (Fairbank & Alonso, 2012).

Differentierbares Rollout: Unter der Annahme einer kontinuierlichen Relaxierung, bei der Aktionen über eine additive-Rauschen-Parametrisierung generiert werden ( $\pi_\theta(a|s) = \nu(a - \bar{a}_\theta(s))$ ), zeigen die Autoren, dass der Standard-Gradientenschätzer nach der Score-Funktion (SF) im Erwartungswert einem Pfadableitungs-Schätzer (PD) entspricht.
Ko-Zustände als Wertgradienten: In diesem kontinuierlichen Setting propagiert der Rückwärtspass Ko-Zustände ( $\lambda_t = \partial R_t / \partial s_t$ ). Die Autoren beweisen, dass der bedingte Erwartungswert dieser Ko-Zustände dem Wertgradienten ( $\partial V^\pi_t(s) / \partial s$ ) entspricht. Somit trägt der Rückwärtspass in einem differentierbaren Rollout, selbst ohne angepassten Kritiker, inhärent einen Monte-Carlo-Schätzer des Wertgradienten.

2. Diskrete Transformer und Aufmerksamkeit

Der Beitrag adressiert sodann die Realität von LLMs, die diskrete Token-Sampling verwenden.

Empirische Ko-Zustände: Die Autoren analysieren die Autodifferentiation des GRPO-Verlusts durch einen Transformer. Sie definieren einen empirischen Ko-Zustand ( $\hat{\lambda}_t$ ) als den Gradienten des durch den Vorteil gewichteten Verlusts bezüglich der versteckten Zustände.
Die Sampling-Lücke: In diskreten Settings ist der Übergang vom versteckten Zustand zum Token ( $h_t \to z_t \to o_t$ ) nicht differenzierbar, wodurch die exakte BPTT-Kette unterbrochen wird. Die exakte BPTT-Jacobi-Matrix wird in den Aufmerksamkeitspfad (der differenzierbar ist) und den Sampling-Pfad (der nicht differenzierbar ist) zerlegt.
Aufmerksamkeit als Umgehung: Die Autoren zeigen, dass der Aufmerksamkeitsmechanismus des Transformers einen direkten, differenzierbaren Pfad für den Kredittransport zwischen Positionen ( $h_t \to h_{t+1}$ ) bietet, der die diskrete Sampling-Engpass umgeht.
Fehlerschranken: Sie beweisen, dass der Fehler zwischen dem empirischen Ko-Zustand (berechnet via Autodiff) und dem exakten BPTT-Ko-Zustand durch die Policy-Entropie und die Sampling-Lücke kontrolliert wird. Insbesondere ist der fehlende Gradient durch den Sampling-Schritt vernachlässigbar, wenn die Policy nahezu deterministisch ist (niedrige Entropie).

3. RL-Impakt-Zerlegung

Basierend auf diesen Erkenntnissen schlagen die Autoren eine prädiktive Theorie für die Wirksamkeit von RL vor. Sie zerlegen den potenziellen RL-Gewinn in zwei Faktoren:

Verwendbares Wert-Gradient-Signal ( $S_m(\theta)$ ): Die Stärke des Wert-Gradient-Signals, das tatsächlich durch das Actor-Update übertragen wird, angepasst um den Approximationsfehler (Gap) zwischen dem empirischen und dem idealen Ko-Zustand.
Erreichbarer Reward-Kopfplatz ( $H_\alpha(\theta)$ ): Das Potenzial zur Reward-Verbesserung durch Umgewicht der bestehenden Trajektorienverteilung. Dies ist nur dann hoch, wenn bessere Trajektorien im Support existieren, aber noch nicht vollständig ausgeschöpft sind.

Der Beitrag postuliert, dass RL-Impakt $\propto$ Verwendbares Signal $\times$ Erreichbarer Kopfplatz gilt.

Hauptbeiträge

Wert-Gradient-Äquivalenz: Der Beitrag zeigt, dass unter einem differentierbaren Rollout und einer Shift/Additive-Rauschen-Policy das lokale GRPO/PPO-Actor-Update im Erwartungswert wert-gradient-ähnlich ist.
Diskrete Approximation: Er zeigt, dass in diskreten Transformern der durch Standard-Autodifferentiation berechnete empirische Ko-Zustand den kontinuierlichen BPTT-Ko-Zustand approximiert. Der Approximationsfehler wird durch die Policy-Entropie und die spektralen Eigenschaften der Aufmerksamkeits-Jacobi-Matrizen begrenzt.
Prädiktives Kriterium: Die Autoren leiten eine Zerlegungsformel (Gleichung 29) ab, die vorhersagt, wann RL am effektivsten sein sollte. Sie argumentieren, dass RL an Pretraining-Checkpoints am vorteilhaftesten ist, die gleichzeitig:
- Dem Wert-Gradient-Regime nahe genug sind, um nützliche Kredit-Signale zu übertragen (niedrige Entropie, effektive Aufmerksamkeit).
- Genug weit von der Sättigung entfernt sind, um reward-verbessernde Trajektorien zu erhalten (nicht-null Kopfplatz).

Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie unter Verwendung von OLMo-2 1B-Checkpoints über eine kontrollierte Label-Kopieraufgabe mit einem differentierbaren Reward.

Verifikation der Entropie-Schranke: Experimente bestätigen, dass der Approximationsfehler zwischen dem empirischen Ko-Zustand und dem idealen BPTT-Ko-Zustand tatsächlich durch die Policy-Entropie kontrolliert wird, was die theoretische Schranke in Proposition 2 stützt.
Prädiktive Genauigkeit: Der vorgeschlagene „Impakt-Score" (Signal $\times$ $\times$ Kopfplatz) sagt erfolgreich die Größe der RL-Gewinne über verschiedene Pretraining-Checkpoints hinweg voraus.
- Der Impakt-Score korreliert mit dem beobachteten RL-Gewinn (Spearman-Korrelation $\approx 0,60$ ).
- Ein kombinierter Prädiktor, der sowohl die Pretraining-Kompetenz (aktueller Reward) als auch den vorhergesagten Impakt-Score verwendet, erreicht eine höhere Korrelation ( $\approx 0,73$ ) mit der finalen Post-RL-Leistung, was darauf hindeutet, dass sowohl die aktuelle Fähigkeit als auch die „RL-Bereitschaft" für den Erfolg notwendig sind.

Bedeutung und Behauptungen

Der Beitrag beansprucht, eine konkrete theoretische Erklärung für den Erfolg kritikerfreien RLs bei LLMs zu liefern und den scheinbaren Widerspruch zur klassischen RL-Theorie aufzulösen.

Mechanismus: Der Erfolg ist nicht auf das Fehlen von Wertinformationen zurückzuführen, sondern darauf, dass der Actor-Rückwärtspass selbst ein wert-gradient-ähnliches Signal über die Aufmerksamkeitsmechanismen des Transformers propagiert.
Praktischer Nutzen: Die abgeleitete Impakt-Zerlegung bietet ein praktisches Kriterium für die Auswahl von Checkpoints. Sie legt nahe, dass Praktiker RL nicht unmittelbar nach dem Pretraining anwenden sollten (wo der Kopfplatz möglicherweise gering oder die Signale verrauscht sind) noch zu spät (wo Sättigung eintritt), sondern vielmehr an dem Punkt, an dem das Modell eine ausreichende Kreditvergabe-Fidelität und verbleibendes Reward-Potenzial aufweist.
Theoretische Vereinheitlichung: Die Arbeit fasst den Erfolg von Methoden wie GRPO nicht als Ausnahme der Kreditvergabe-Theorie, sondern als Konsequenz der Berechnung in versteckten Zuständen im kontinuierlichen Raum, wobei Aufmerksamkeit als differenzierbare Leitung für zeitlichen Kredit fungiert.

Die Autoren bleiben bescheiden und stellen fest, dass ihr Setup kontrolliert ist und dass die spezifische Implementierung von RL (Lernraten, Batch-Größen usw.) die beobachtete Korrespondenz beeinflusst. Dennoch behaupten sie, dass der Kernmechanismus – die aufmerksamkeitsvermittelte Wert-Gradient-Propagation – die empirische Wirksamkeit kritikerfreier Methoden im LLM-Bereich erklärt.