💻 computer science

Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning

Diese Übersicht präsentiert ein modularisiertes Framework für Reinforcement Learning in LLMs, indem sie das Algorithmen-Design in die Stadien MDP-Erstellung, Exploration und Lernen unterteilt und dabei eine signifikante Forschungsvoreingenommenheit hin zu Critic-freien Policy Gradients und Monte-Carlo-Methoden aufzeigt, während gleichzeitig unerschlossene Möglichkeiten in wertbasierten, Off-Policy- und Bootstrapping-Techniken hervorgehoben werden.

Ursprüngliche Autoren: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievsk

Veröffentlicht 2026-06-23

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievski, Shujian Yu, Aske Plaat, Zhaochun Ren, Mark Hoogendoorn, Vincent François-Lavet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber sehr wörtlich nehmenden Schüler (das Large Language Model oder LLM), wie man einen perfekten Aufsatz schreibt, ein komplexes mathematisches Problem löst oder Code schreibt. Sie können ihm nicht einfach für jedes einzelne Wort, das er tippt, eine Note geben, während er arbeitet. Stattdessen warten Sie, bis er das Ganze abgeschlossen hat, und sagen dann: „Gut gemacht!“ oder „Versuch es noch einmal.“

Dies ist die Kernherausforderung von Reinforcement Learning (RL) für KI: Wie bringt man einem Schüler etwas bei, wenn das Feedback verzögert, spärlich ist und erst ganz am Ende kommt?

Dieses Paper ist eine massive „Landkarte“ oder „Übersicht“, die alle verschiedenen Wege organisiert, mit denen Forscher versuchen, dieses Problem zu lösen. Die Autoren argumentieren, dass zwar derzeit alle einige wenige populäre Methoden verwenden (wie PPO und GRPO), es aber ein ganzes Werkzeugkasten an anderen Techniken aus der Welt der Robotik und der Spiel-KI gibt, die noch nicht ausprobiert wurden. Sie unterteilen das Problem in vier Hauptphasen, ähnlich dem Bau eines Hauses:

1. Das Fundament legen: Das Spiel definieren (MDP-Erstellung)

Bevor die KI lernen kann, müssen Sie die Regeln des Spiels definieren. Das Paper nennt dies die Erstellung eines „Markov-Entscheidungsprozesses“ (MDP).

Die Belohnung (Die Note): Dies ist der wichtigste Teil. Wenn Sie der KI sagen „sei hilfreich“, wie messen Sie das?
- Die Einsicht des Papers: Die meisten Menschen verwenden ein „Belohnungsmodell“ (eine zweite KI, die darauf trainiert wurde, zu erraten, was Menschen gefällt) oder einfache Regeln (z. B. „Ist der Code gelaufen?“).
- Die Falle: Manchmal wird die KI auf eine „schlaue“, aber schlechte Weise intelligent. Wenn Sie sie dafür belohnen, lange Antworten zu schreiben, schreibt sie vielleicht einfach Unsinn, um eine hohe Punktzahl zu erhalten. Dies wird als Reward Hacking bezeichnet. Das Paper warnt davor, dass die KI Schlupflöcher findet, wenn Ihre Regeln nicht perfekt sind.
Der Zustand (Der Kontext): Die KI muss wissen, was sie bisher geschrieben hat. Normalenfalls ist dies der bisherige Text. Aber wenn der Text zu lang wird, wird die KI überfordert. Einige Forscher versuchen, die Vergangenheit zusammenzufassen oder Teile davon zu verbergen, um die KI fokussiert zu halten.
Die Aktion (Das nächste Wort): Normalerweise kann die KI jedes beliebige Wort aus ihrem Wörterbuch wählen. Einige Forscher versuchen, dies einzuschränken (z. B. die KI dazu zu zwingen, nur Wörter zu wählen, die einer bestimmten Grammatik entsprechen), um das Lernen zu erleichtern.
Das Ende (Terminierung): Wann hört die KI auf? Normalerweise stoppt sie, wenn sie ein spezielles „Ende des Satzes“-Token tippt. Aber manchmal redet die KI zu viel. Das Paper stellt fest, dass Forscher Wege experimentieren, um der KI zu sagen: „Hör auf, wenn du fertig bist“, ohne sie einfach nur abrupt abzuschneiden.

2. Die Kunst des Ratens: Exploration

Die KI beginnt mit dem Wissen um nichts. Sie muss verschiedene Dinge ausprobieren, um zu sehen, was funktioniert. Dies wird als Exploration bezeichnet.

Temperatur (Der Würfelwurf): Stellen Sie sich vor, die KI wählt ein Wort. Wenn Sie die „Temperatur“ niedrig einstellen, wählt sie das sicherste, offensichtlichste Wort. Wenn Sie sie hoch einstellen, macht sie wildere Vermutungen. Dies ist der einfachste Weg, die KI dazu zu bringen, neue Dinge auszuprobieren.
Entropie (Der „Werde nicht langweilig“-Bonus): Um zu verhindern, dass die KI in einer Schleife aus immer denselben sicheren Wörtern stecken bleibt, geben Forscher einen Bonus für „Unsicherheit“ oder Vielfalt. Es ist, als würde man dem Schüler sagen: „Ich gebe dir Extrapunkte, wenn du einen anderen Ansatz versuchst, selbst wenn dieser scheitern könnte.“
Neugier (Intrinsische Motivation): Was wäre, wenn die KI eine Belohnung erhält, nur weil sie etwas getan hat, das sie noch nicht zuvor gesehen hat? Einige Methoden geben der KI einen „Neugier-Score“ dafür, neue Pfade auszuprobieren, selbst wenn sie noch keine perfekte Antwort gefunden hat.
Baumsuche (Das „Was wäre wenn“-Spiel): Anstatt nur einen Satz nach dem anderen zu schreiben, stellen Sie sich vor, die KI verzweigt sich wie ein Baum. Sie schreibt drei verschiedene Sätze, sieht, wohin diese führen, und wählt dann den besten Pfad. Das ist wie ein Schachspieler, der drei Züge im Voraus denkt.
Curriculum Learning (Die Leiter): Beginnen Sie nicht mit einer Doktorarbeit. Beginnen Sie mit einer Kindergartengeschichte. Diese Methode lehrt die KI zuerst einfache Probleme und macht sie dann schrittweise schwieriger, damit sie nicht entmutigt wird.

3. Der Lernprozess: Wie die KI sich verbessert

Sob'n die KI etwas ausprobiert und Feedback erhalten hat, wie lernt sie dann tatsächlich? Das Paper kategorisiert dies in vier große Entscheidungen:

Modellfrei vs. Modellbasiert:
- Modellfrei: Die KI merkt sich einfach: „Ich habe X gemacht, ich habe eine gute Note bekommen. Ich werde X wieder tun.“ Sie lernt durch Versuch und Irrtum. Das ist das, was die meisten aktuellen KIs tun.
- Modellbasiert: Die KI versucht zuerst, eine mentale Karte der Welt aufzubauen („Wenn ich X sage, passiert normalerweise Y“) und plant dann basierend auf dieser Karte. Das ist schwieriger, kann aber effizienter sein.
Value-Based vs. Policy-Based vs. Actor-Critic:
- Policy-Based: Die KI lernt einfach eine Reihe von Gewohnheiten (eine „Policy“), um gute Noten zu bekommen.
- Value-Based: Die KI lernt zu vorhersagen: „Wie gut ist diese Situation?“, noch bevor sie handelt.
- Actor-Critic: Ein Team-Ansatz. Ein Teil (der Actor) entscheidet, was zu tun ist, und ein zweiter Teil (der Critic) beurteilt, wie gut diese Entscheidung war. Das Paper stellt fest, dass „Actor-Critic“ der Goldstandard in der Robotik ist, die meisten KI-Forscher jedoch derzeit „Critic-freie“ Methoden verwenden, da diese kostengünstiger auf massiven Computern laufen.
On-Policy vs. Off-Policy:
- On-Policy: Die KI lernt nur aus den genau Dingen, die sie gerade getan hat. Wenn sie einen Fehler macht, wirft sie diese Daten weg und versucht es erneut. Das ist sicher, aber verschwenderisch.
- Off-Policy: Die KI lernt aus ihren vergangenen Fehlern und Erfolgen, auch wenn sie jetzt eine etwas andere Strategie verfolgt. Das ist, als würde ein Schüler seine alten Prüfungen überprüft, um aus Fehlern zu lernen. Das Paper weist darauf hin, dass sehr wenige KI-Forscher dies bereits tun, obwohl es ein riesiger Vorteil in anderen Bereichen ist.
Credit Assignment (Wer bekommt die Anerkennung?):
- Wenn die KI einen 100-Wörter-Aufsatz schreibt und eine „Eins“ bekommt, welche 5 Wörter waren am wichtigsten?
- Aktueller Standard: Die meisten Methoden sagen einfach: „Gut gemacht beim ganzen Aufsatz!“ und geben jedem Wort die gleiche Anerkennung.
- Die Lücke: Das Paper argumentiert, dass wir bessere Wege brauchen, um genau zu bestimmen, welche Wörter zum Erfolg geführt haben, insbesondere bei langen, komplexen Denkaufgaben.

4. Das große Ganze: Was fehlt?

Die Hauptschlussfolgerung der Autoren ist, dass das Feld unausgewogen ist.

Die Menge: Fast alle verwenden dieselben wenigen Werkzeuge (Critic-freie Methoden, Monte Carlo Credit Assignment). Es ist, als würden alle in einer Stadt dasselbe Automodell auf derselben Straße fahren.
Die leeren Grundstücke: Es gibt riesige, gut ausgebaute Straßen in der Welt des Reinforcement Learnings (wie Off-Policy Learning, Value-based Methoden und Bootstrapping), die in der Welt der KI völlig leer sind.
Die Chance: Das Paper legt nahe, dass wir durch das Ausleihen dieser „vergessenen“ Techniken aus der breiteren Welt des RL in der Lage sein könnten, KI besser denken zu lassen, schneller zu lernen und schwierigere Aufgaben zu bewältigen, ohne dabei so viel Rechenleistung zu benötigen.

Kurz gesagt: Dieses Paper ist ein Aufruf, das Rad nicht neu zu erfinden. Es sagt: „Wir verwenden eine sehr begrenzte Auswahl an Werkzeugen, um KI zu trainieren. Es gibt einen ganzen Lagerhaus voller anderer mächtiger Werkzeuge, die in anderen Bereichen hervorragend funktionieren, und wir sollten damit beginnen, sie auszuprobieren.“

Technisches Resümee: Modularisiertes Reinforcement Learning auf LLMs

Problemstellung

Reinforcement Learning (RL) ist zentral für das Post-Training von Large Language Models (LLMs) geworden, primär für die Ausrichtung an menschlichen Präferenzen (Alignment) und die Verbesserung von Denkfähigkeiten. Die aktuellen Pipelines werden jedoch von einer engen Teilmenge von RL-Methoden dominiert, insbesondere Proximal Policy Optimization (PPO) und Group Relative Policy Optimization (GRPO). Die bestehende Literatur ist fragmentiert, da jüngste Modellveröffentlichungen und Forschungsarbeiten isolierte Modifikationen (z. B. neue Advantage-Schätzer, Clipping-Strategien oder Curriculum-Pläne) vorschlagen, ohne diese Beiträge in einen vereinheitlichten Rahmen von RL-Designentscheidungen einzuordnen. Dieser Mangel an einem gemeinsamen konzeptionellen Rahmen erschwert es, substanzielle Unterschiede zwischen Methoden zu unterscheiden, unerschlossene Designräume zu identifizieren oder bewährte klassische RL-Techniken systematisch auf den LLM-Bereich zu übertragen.

Methodik

Diese Arbeit schlägt eine prinzipielle, modulare Taxonomie vor, um RL-Algorithmen für LLMs zu analysieren und zu konstruieren. Anstatt nach Anwendung oder Trainingsphase zu ordnen, strukturiert der Survey die Untersuchung um drei Kernphasen der Algorithmuskonstruktion sowie eine zusätzliche Kategorie für breitere Frameworks:

MDP-Erstellung: Der Survey formalisiert die LLM-Generierung als Markov-Entscheidungsprozess (MDP). Er analysiert die Designentscheidungen für:
- Reward-Funktionen: Kategorisierung der Quellen in gelernte Modelle (RLHF), regelbasierte/verifizierbare Rewards (RLVR) und LLM-as-Judge. Weiterhin wird Reward Shaping (z. B. Länge, Format) und das Phänomen des Reward Hacking untersucht.
- Zustands- und Aktionsräume: Überprüfung von Repräsentationen, die von vollständigen Token-Sequenzen bis hin zu komprimierten latenten Embeddings reichen, sowie Aktionsräumen von der vollständigen Vokabelmenge bis hin zu eingeschränkten oder latenten Aktionen.
- Terminierung und Diskontierung: Diskussion darüber, wie die Episodenlänge kontrolliert wird (harte Cutoffs vs. Reward Shaping) und die Standardpraxis, den Diskontfaktor $\gamma=1$ für endliche Horizont-LLM-Aufgaben festzulegen.
Exploration: Das Paper kategorisiert Mechanismen, die dazu dienen, diverses Verhalten zu fördern und lokale Optima zu verlassen:
- Stochastische Stichprobenentnahme (Sampling): Temperature-Sampling und Entropie-Regularisierung.
- Intrinsische Motivation: Neuheitssignale basierend auf Token- oder Trajektorien-basierten Vorhersagefehlern, Pseudo-Counts und Unsicherheit.
- Strukturierte Suche: Tree-Search-Methoden (z. B. MCTS), die an Divergenzpunkten verzweigen.
- Curriculum Learning: Strategien für das Daten-Sampling, die Initialisierung des Startzustands und die Programmierung von Reward-Signalen (dicht-zu-spärlich).
Lernen: Der Survey bildet LLM-Trainingsmethoden auf vier klassischen RL-Dimensionen ab:
- Model-Free vs. Model-Based: Es wird angemerkt, dass LLMs vorwiegend über Model-Free-Updates trainiert werden, obwohl das vortrainierte Modell als implizites Dynamikmodell betrachtet werden kann.
- Lösungsrepräsentation: Kontrastierung von Value-basierten, Policy-basierten (kritikerfreien) und Actor-Critic-Methoden. Es wird die Dominanz von kritikerfreien Policy-Gradienten (z. B. GRPO, RLOO) in LLMs hervorgehoben, im Gegensatz zur Value-basierten Dominanz im klassischen RL.
- Datenquelle: Analyse der Prävalenz von On-Policy-Methoden (PPO, GRPO) gegenüber Off-Policy-Ansätzen (z. B. DPO, Varianten des Experience Replay) sowie der Herausforderungen durch Verteilungs-Mismatch und das „Deadly Triad“-Problem im LLM-Kontext.
- Credit Assignment: Untersuchung der Art und Weise, wie Rewards auf Tokens attribuiert werden, wobei Monte Carlo (vollständige Trajektorie) Methoden mit Bootstrapping (TD) Ansätzen kontrastiert werden. Es werden jüngste Verfeinerungen zu GRPO hinsichtlich Advantage-Schätzung, Importance Sampling und Clipping detailliert.
Andere Frameworks: Der Survey behandelt kurz Meta-RL, Multi-Agent RL (MARL), Offline RL und Hierarchical RL (HRL) als aufkommende Paradigmen im LLM-Training.

Zentrale Beiträge

Vereinheitlichte Taxonomie: Der primäre Beitrag ist eine strukturierte Taxonomie, die die fragmentierte LLM-Literatur auf einen umfassenden RL-Designraum abbildet. Dies ermöglicht einen systematischen Vergleich von Methoden, die ansonsten unzusammenhängend erscheinen könnten.
Identifizierung von Forschungslücken: Durch die Abbildung aktueller Bemühungen auf diese Taxonomie zeigt das Paper eine auffällig nicht-uniforme Verteilung der Forschung auf. Es identifiziert, dass während kritikerfreie Policy-Gradienten und Monte Carlo Credit Assignment dicht besetzt sind, andere etablierte klassische RL-Techniken in LLMs weitgehend unerschlossen bleiben. Spezifische Lücken umfassen:
- Value-basierte Methoden und Off-Policy Actor-Critic-Training (speziell SAC-artige Updates).
- Auf Bootstrapping basierende Credit Assignment (über reines Monte Carlo hinaus).
- Systematische Integration von Diskontfaktoren zur Längensteuerung.
- Multi-Objective Reward Composition und Open-Ended Task Rewards.
Klärung von Design-Trade-offs: Der Survey erläutert, warum bestimmte Defaults (z. B. $\gamma=1$ , kritikerfreie Methoden) zum Standard in LLMs geworden sind (u. a. aufgrund der Rechenkosten eines vollumfänglichen Critics und der resettbaren Natur von LLM-Umgebungen) und wo diese Defaults suboptimal sein können (z. B. für Aufgaben mit langem Zeithorizont/Reasoning).

Ergebnisse und Erkenntnisse

Das Paper präsentiert keine neuen experimentellen Ergebnisse, sondern synthetisiert Befunde aus der bestehenden Literatur, um strukturelle Schlussfolgerungen zu ziehen:

MDP-Formulierung: Der Standard-Token-Level, Full-Vocabulary, undiskontierte MDP ist ein vernünftiger Default, lässt aber vorteilhafte Alternativen (z. B. latente Zustände, eingeschränkte Aktionen) in spezifischen Settings zu.
Exploration: Aktuelle Explorationsstrategien sind fragmentiert und operieren oft auf Token-Ebene statt auf Strategie-Ebene. Es gibt nur begrenzte empirische Belege für die Synergien verschiedener Explorationsmethoden.
Lernen: Die Dominanz von kritikerfreien Methoden (wie GRPO) wird durch die Fähigkeit getrieben, Rechenleistung (groß angelegte Stichprobenentnahmen) durch einen gelernten Kritiker und die Effizienzgewinne durch das Vermeiden eines zweiten Modells in voller Größe zu ersetzen. Dies geht jedoch auf Kosten der Sample-Effizienz und potenzieller Instabilität bei Aufgaben mit langem Zeithorizont, bei denen Value-basierte oder Actor-Critic-Methoden Vorteile bieten könnten.
Credit Assignment: Die meisten Methoden verlassen sich auf Monte Carlo Updates mit Trajektorien-basierten Advantages. Jüngste Arbeiten versuchen dies zu verfeinern (z. B. VinePPO, TEMPO), aber ein grundlegender Wechsel hin zu Bootstrapping oder pro-Schritt Rewards bleibt eine offene Herausforderung.

Bedeutung

Das Paper begründet seine Bedeutung durch die Bereitstellung eines gemeinsamen konzeptionellen Rahmens für Forscher sowohl im Bereich RL als auch im Bereich LLMs. Durch die Explizitmachung der „strukturellen Lücken“ zielt es darauf ab:

Wissenstransfer zu erleichschen: RL-Forschern zu ermöglichen, zu identifizieren, welche klassischen Techniken (z. B. Off-Policy Actor-Critic, Bootstrapping) noch nicht auf LLMs angewendet wurden und vielversprechende Kandidaten für einen Transfer sein könnten.
LLM-Forscher zu leiten: LLM-Forschern zu helfen, das „Warum“ hinter aktuellen algorithmischen Entscheidungen zu verstehen und unerschlossene Richtungen zur Verbesserung jenseits inkrementeller Verfeinerungen von GRPO oder PPO zu identifizieren.
Das Feld neu zu rahmen: Den Diskurs von isolierten algorithmischen Anpassungen hin zu einem modularen Verständnis von RL-Designentscheidungen zu verschieben und aufzuzeigen, dass die aktuelle Konzentration der Bemühungen auf bestimmte Bereiche eine bewusste Entscheidung und keine Notwendigkeit ist.

Die Autoren nehmen eine bescheidene Haltung ein und merken an, dass die identifizierten Lücken nicht zwangsläufig „einfache Siege“ darstellen und dass es oft valide Gründe (z. B. Rechenbeschränkungen, architektonische Mismatch) gibt, warum bestimmte klassische Techniken nicht übernommen wurden. Dennoch argumentieren sie, dass ein gemeinsamer Rahmen ein produktiver Ausgangspunkt für die Untersuchung dieser strukturellen Chancen ist.