🤖 machine learning

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

Das Papier stellt GRLO vor, einen hocheffizienten Ansatz des bestärkenden Lernens, der Modelle von Grund auf auf einer kleinen Menge offener konversationeller Interaktionen trainiert, um eine starke Generalisierung über diverse Domänen wie Mathematik und Programmierung hinweg zu erreichen und dabei den Daten- und Rechenbedarf im Vergleich zu herkömmlichen in-domain RLVR-Methoden erheblich zu reduzieren.

Ursprüngliche Autoren: Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, gut gebildeten Schüler (ein großes Sprachmodell), der während seiner „Vor-Trainingsphase" bereits Millionen von Büchern gelesen hat. Er weiß viel, ist aber etwas ungeschickt beim Befolgen von Anweisungen, beim Lösen von Rätseln oder beim Schreiben von Code. Um ihn in einen erstklassigen Experten zu verwandeln, müssen wir ihm normalerweise einen „Nachtrainingskurs" geben.

Traditionell gibt es zwei Möglichkeiten, diesen Kurs durchzuführen:

Der Spezialist-Tutor (RLVR): Sie stellen einen Tutor ein, der nur Mathematik oder Programmieren unterrichtet. Er verwendet einen strengen Antwortschlüssel (einen „Verifizierer"), um jeden einzelnen Schritt zu bewerten. Wenn der Schüler ein Matheproblem richtig löst, erhält er einen goldenen Stern. Wenn er es falsch macht, bekommt er ein rotes X. Dies funktioniert bei Mathematik unglaublich gut, aber der Schüler vergisst oft, wie man ein normales Gespräch führt oder eine kreative Geschichte schreibt, weil er nur für die Prüfung geübt hat.
Der allgemeine Chat-Trainer (RLHF): Sie stellen einen Trainer ein, der dem Schüler beibringt, wie man in allgemeinen Gesprächen höflich, hilfreich und ansprechend ist. Sie nutzen menschliches Feedback (wie „diese Antwort war nett") anstelle eines strengen Antwortschlüssels.

Das Problem:
Der Ansatz des „Spezialist-Tutors" ist teuer und erfordert enorme Rechenleistung. Er macht den Schüler zwar gut in Mathematik, aber schlecht im Chatten. Der „allgemeine Chat-Trainer" ist günstiger, hat sich jedoch nicht als wirksam erwiesen, um den Schüler bei schwierigen Denkaufgaben wie Mathematik oder Programmieren zu verbessern.

Die neue Idee: GRLO (Der „offene Turnsaal")
Die Autoren dieses Papiers schlagen eine neue Trainingsmethode namens GRLO vor. Anstatt den Schüler in ein reines Mathe-Camp oder einen generischen Chatkurs zu schicken, schicken sie ihn in einen Turnsaal mit offenen Herausforderungen.

Stellen Sie sich einen Turnsaal vor, in dem die Geräte nicht nur ein Laufband (Mathematik) oder ein Boxsack (Chat) sind. Stattdessen erhält der Schüler 5.000 verschiedene, knifflige und offene Fragen wie:

„Analysieren Sie die Geschichte des Südpols des Mondes."
„Erklären Sie, wie eine bestimmte Philosophie mit der modernen Politik verbunden ist."
„Entwerfen Sie einen Leitfaden für die Haltung exotischer Haustiere."

Diese Fragen haben keine einzelne „richtige" Antwort, die man mit einem Computer überprüfen kann. Stattdessen erhält der Schüler Feedback basierend darauf, wie gut strukturiert, logisch und hilfreich seine langen, detaillierten Antworten sind.

Die große Überraschung (Die „Null"-Magie)
Das Papier behauptet, dass etwas Überraschendes passiert ist: Nur durch das Üben in diesem „offenen Turnsaal" wurde der Schüler deutlich besser in Mathematik, Programmieren und Chatten.

Die Ergebnisse: Sie nahmen ein Basismodell (Qwen3-4B) und trainierten es für nur 22,7 Stunden mit einer kleinen Datenmenge (5.000 Prompts).
Der Vergleich: Diese winzige Menge an Training steigerte die durchschnittliche Leistung des Modells von 24,1 auf 63,1.
Die Effizienz: Dies waren 46-mal weniger Daten und 68-mal weniger Rechenleistung als die massiven „Spezialist-Tutor"-Methoden (RLVR), die normalerweise für ähnliche Ergebnisse erforderlich sind.
Der Transfer: Das Modell wurde nicht nur besser im Chatten; es lernte implizit, besser zu denken, was ihm half, Matheprobleme zu lösen und Code zu schreiben, obwohl es während dieser spezifischen Trainingsphase niemals ein einziges Matheproblem oder eine Programmieraufgabe gesehen hatte.

Was passiert als Nächstes?
Die Autoren versuchten, ein wenig „Spezialist-Tutor"-Training (nur Mathematik) nach dem offenen Turnsaal hinzuzufügen. Es half ein wenig, aber nur bei den schwierigsten, wettbewerbsfähigen Matheproblemen. Der Hauptgewinn kam vollständig aus dem offenen Training.

Das Fazit
Das Papier legt nahe, dass Sie keine massive, teure, mathematikspezifische Trainingspipeline benötigen, um eine intelligente, denkende KI zu erhalten. Wenn Sie ein starkes Basismodell nehmen und es mit einem kleinen, vielfältigen Satz offener Gespräche trainieren, bei denen es tief nachdenken und seine Gedanken organisieren muss, wird es auf natürliche Weise in allem anderen besser, einschließlich schwieriger Denkaufgaben. Es ist, als würde man sagen: „Wenn Sie einen Athleten zu einem vielseitigen, anpassungsfähigen Allrounder trainieren, wird er auf natürliche Weise besser im Laufen, Springen und Werfen, auch wenn Sie ihn nie dazu gebracht haben, diese spezifischen Sportarten zu üben."

Kurz gesagt: Ein wenig intelligentes, offenes Gesprächstraining kann das verborgene Potenzial eines Modells für Denken und Programmieren freisetzen und im Vergleich zu herkömmlichen Methoden eine enorme Menge an Geld und Zeit sparen.

Technische Zusammenfassung: GRLO – Auf dem Weg zu generalisierbarem Reinforcement Learning in offenen Umgebungen aus Null

Problemstellung
Die jüngsten Fortschritte beim Nachtrainieren großer Sprachmodelle (LLMs) haben sich weitgehend in zwei Paradigmen aufgespalten: Reinforcement Learning from Human Feedback (RLHF), das auf menschliche Präferenzen optimiert, und Reinforcement Learning from Verifiable Rewards (RLVR), das auf Korrektheit in Domänen wie Mathematik und Code abzielt. Während RLVR bei spezifischen Denkaufgaben überlegene Effizienz und Leistung gezeigt hat, leidet es unter erheblichen Einschränkungen: Es ist rechenintensiv, stark von überprüfbaren Ground-Truth-Signalen abhängig und zeigt eine schwache Übertragung auf allgemeine Konversationsfähigkeiten. Umgekehrt erfordert herkömmliches RLHF oft große, domänenspezifische Datenmengen und hat Schwierigkeiten, breite Denkfähigkeiten ohne explizite Denkspuren zu induzieren.

Das Kernproblem, das diese Arbeit adressiert, ist die „Domänenabdeckungslücke": Aktuelle Methoden spezialisieren sich entweder stark auf überprüfbare Domänen (und verlieren dabei die allgemeine Chatfähigkeit) oder erfordern massive Rechenbudgets, um breite Fähigkeiten zu erreichen. Darüber hinaus bleibt unklar, ob Reinforcement Learning in offenen, nicht überprüfbaren Umgebungen allgemeine Konversationsfähigkeiten freisetzen kann, die implizit auf nachgelagerte Aufgaben wie mathematisches Denken und Codegenerierung übertragen werden, ohne nachfolgendes domänenspezifisches Fine-Tuning.

Methodik: GRLO
Die Autoren schlagen GRLO (Generalizable Reinforcement Learning from Open-Ended Environments) vor, ein Trainingsrezept, das den Fokus vom Optimierer auf die Trainingsumgebung verlagert. Anstatt einen neuen algorithmischen Optimierer einzuführen, wendet GRLO eine standardmäßige RLHF-Optimierung (speziell PPO) auf einen kleinen, kuratierten Pool offener Prompts an.

Trainingsumgebung: Die Autoren konstruieren einen Pool von etwa 5.000 synthetischen Prompts, die diverse, kognitiv anspruchsvolle und weitgehend nicht überprüfbare Domänen abdecken, darunter wissenschaftliche Analyse, argumentative Synthese, konzeptionelle Erklärung und langformatiges Denken. Eine Themenprüfung bestätigt, dass der Pool nicht mathematisch zentriert ist, sondern Politik, Geschichte, Biomedizin, Technologie und Geisteswissenschaften umfasst.
Optimierung: Die Policy wird von einem vortrainierten Basismodell (z. B. Qwen3-4B-Base) initialisiert und mittels PPO mit einem gelernten Reward-Modell (Skywork-Reward-V2) und einem KL-regulierten Ziel optimiert. Entscheidend ist, dass die Trainingsverteilung ( $D_{open}$ ) aus offenen Prompts besteht, bei denen eine exakte Verifizierung nicht möglich ist, im Gegensatz zu den überprüfbaren Verteilungen ( $D_{ver}$ ), die in RLVR verwendet werden.
Hypothese: Die zentrale Hypothese lautet, dass die Optimierung eines Modells an einer kleinen Menge offener Interaktionen seine Ausgabeverteilung so umgestalten kann, dass es besser in der Lage ist, vortrainierte Fähigkeiten auszunutzen, wodurch sich die allgemeine Konversationsfähigkeit verbessert, die implizit auf nachgelagerte Aufgaben wie mathematisches Denken und Codegenerierung übertragen wird.

Hauptbeiträge

Neubewertung von In-Domain-RL: Die Arbeit hinterfragt die Notwendigkeit von In-Domain-RL-Training als primäre Quelle für nachgelagerte Transferleistungen und bewertet, ob offenes RL eine praktische, leichte Alternative sein kann.
Leichte Generalisierung: Die Autoren zeigen, dass eine einzige Stufe offenen RL (GRLO) gleichzeitig die Leistung bei Denken, Codegenerierung und allgemeinem Chat verbessern kann. Dieser Ansatz erreicht eine aggregierte Leistung, die mit starken, ressourcenintensiven In-Domain-RLVR-Baselines (wie General-Reasoner) vergleichbar ist, dabei jedoch deutlich weniger Daten (46× weniger) und Rechenleistung (68× weniger) verwendet.
Systematische Analyse: Die Arbeit bietet eine detaillierte Analyse von Skalierungsverhalten, Transfer über Modellfamilien hinweg (über Qwen- und Llama-Architekturen) sowie Antwortlängen und klärt, dass die beobachteten Gewinne nicht bloß Artefakte von Ausführlichkeit sind, sondern von verbesserter Entscheidungsqualität und Antwortorganisation herrühren.

Experimentelle Ergebnisse
Die Autoren bewerteten GRLO an mehreren Backbones, darunter Qwen3-4B, Qwen3-8B, Qwen2.5-3B und Llama3.2-3B.

Leistung von Qwen3-4B: Auf dem Qwen3-4B-Backbone erhöhte GRLO die durchschnittliche Leistung über Denken (Math500, GPQA), Codegenerierung (HumanEval, MBPP) und allgemeinen Chat (AlpacaEval 2 LC) von einem Basiswert von 24,1 auf 63,1. Dieses Ergebnis entspricht nahezu dem offiziellen, nachtrainierten Qwen3-4B-Modell (Non-Thinking) und übertrifft die General-Reasoner-4B-Baseline bei aggregierten Metriken, obwohl nur ein Bruchteil der Trainingsressourcen verwendet wurde.
Spezifische Gewinne: Im Vergleich zum Basismodell verbesserte GRLO Math500 von 73,6 auf 79,2, HumanEval von 6,1 auf 84,8 und AlpacaEval 2 LC von 1,6 auf 45,8.
Konsistenz über Modelle hinweg: Ähnliche Trends wurden bei Qwen3-8B (durchschnittliche Punktzahl stieg von 33,7 auf 67,3) und Llama3.2-3B (stieg von 21,5 auf 39,3) beobachtet, was auf die Robustheit der Methode über verschiedene Modellfamilien hinweg hindeutet.
Ablationsstudien: Experimente zeigten, dass die Verwendung von In-Domain-Math-Prompts für RL (anstatt offener Prompts) die Mathewerte leicht verbesserte, aber den Chat-Transfer stark verschlechterte. Ebenso lieferte der Austausch von PPO gegen GRPO im offenen Setting suboptimale Ergebnisse, was bestätigt, dass die Kombination aus offener Umgebung und PPO entscheidend ist.
Ergänzendes RLVR: Eine nachfolgende In-Domain-RLVR-Stufe brachte nur marginale Gewinne (z. B. Erhöhung des Durchschnitts von 63,1 auf 63,2 bei Qwen3-4B), wobei Verbesserungen hauptsächlich bei härteren mathematischen Wettbewerbsbenchmarks (AIME) sichtbar wurden. Dies legt nahe, dass der breite Transfer durch die initiale offene Stufe getrieben wird, während RLVR als spezialisierte Verfeinerung für schwierige überprüfbare Aufgaben dient.
Effizienz: Das Training erforderte nur 5.000 Prompts und 22,7 GPU-Stunden. Eine Analyse der Ausgabelängen ergab, dass GRLO-Modelle kürzere, qualitativ hochwertigere Antworten im Vergleich zu Baselines produzierten, die auf ausführliche Denkspuren angewiesen waren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass GRLO ein „einfaches und effizientes Rezept" für den Aufbau breit fähiger nachtrainierter Modelle bietet. Ihre primäre Bedeutung liegt darin zu zeigen, dass offenes RL einen großen Teil der breiten Gewinne zurückgewinnen kann, die typischerweise viel schwereren, verifiziererunterstützten Trainingspipelines zugeschrieben werden.

Die Autoren argumentieren, dass die Umgebung, in der RL angewendet wird, ein kritischerer Faktor ist als der spezifische Optimierer oder der Umfang der Daten. Indem RL in eine kognitiv anspruchsvolle, offene Umgebung verlagert wird, können Modelle implizit Denk- und Codierfähigkeiten erwerben, ohne explizite domänenspezifische Überwachung. Dies stellt die vorherrschende Annahme in Frage, dass hochleistungsfähiges Denken massive, domänenspezifische RLVR-Budgets erfordert, und schlägt stattdessen vor, dass eine leichte, offene RL-Stufe „aus Null" ausreicht, um generalisierbare Fähigkeiten freizusetzen. Die Arbeit schließt, dass zwar eine nachfolgende In-Domain-RLVR-Stufe die Leistung bei harten Benchmarks weiter spezialisieren kann, der grundlegende breite Transfer jedoch durch die offene Interaktion selbst erreicht wird.

Technische Zusammenfassung: GRLO – Auf dem Weg zu generalisierbarem Reinforcement Learning in offenen Umgebungen aus Null

Mehr davon