💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL führt einen skalierbaren, stabilen Reinforcement-Learning-Algorithmus im GFlowNet-Stil für große Sprachmodelle ein, der durch die Verwendung von In-Batch-Monte-Carlo-Schätzungen und spezialisierten Stabilisatoren die Notwendigkeit einer gelernten Partitionsfunktion eliminiert und so eine Spitzenleistung bei Mathematik-, Code- und Adversarial-Benchmarks über sowohl dichte als auch dünnbesetzte Architekturen bis zu 235B Parametern hinweg erzielt.

Ursprüngliche Autoren: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Veröffentlicht 2026-07-16

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, superschnellen Schüler, wie man die schwersten Rätsel der Welt löst, von komplexen mathematischen Problemen bis hin zum Schreiben von Computercode, der niemals abstürzt. In der Welt der künstlichen Intelligenz ist dieser Schüler ein „Large Language Model“ (LLM), und die Methode, mit der wir ihn lehren, nennt sich „Reinforcement Learning“ (Bestärkendes Lernen). Stellen Sie sich das wie ein Videospiel vor, bei dem die KI Punkte (Belohnungen) erhält, wenn sie das Richtige tut. Lange Zeit war die Standardstrategie, wie ein gieriger Gamer zu agieren: „Finde den einzelnen Zug, der jetzt am meisten Punkte bringt, und mache das immer und immer wieder.“ Das funktioniert gut, hat aber einen Makel. Es ist wie ein Schüler, der einen spezifischen Weg auswendig lernt, um eine Matheaufgabe zu lösen, und sich weigert, andere Methoden auszuprobieren, selbst wenn diese genauso gut wären. Er wird in einer Denkweise „steckenbleiben“ und die Kreativität und Vielfalt verpassen, die nötig sind, um neue, knifflige Situationen zu bewältigen.

Um dies zu beheben, haben Wissenschaftler kürzlich einen anderen Ansatz namens „Generative Flow Networks“ (GFlowNets) ausprobiert. Anstatt nur nach dem einen besten Zug zu jagen, lehrt diese Methode die KI, alle guten Züge zu erkunden, indem sie ihnen eine Chance gibt, basierend darauf, wie gut sie funktionieren. Es ist, als würde man dem Schüler sagen: „Versuche jeden gültigen Pfad durch das Labyrinth, nicht nur den, der am schnellsten aussieht.“ Das Ziel ist ein vielfältiger, flexibler Denker zu werden. Das Hochskalieren dieses Ansatzes auf massive, superintelligente KI-Modelle war jedoch ein Albtraum. Die Werkzeuge, die Wissenschaftler gebaut hatten, um dies zu ermöglichen, waren so kompliziert und instabil, dass sie oft dazu führten, dass die KI abstürzte oder gar nichts lernte, besonders wenn die Modelle riesig wurden oder die Aufgaben unübersichtlich wurden.

Dieses Paper mit dem Titel „GFlowRL“ widmet sich genau diesem Kopfschmerz. Die Autoren entdeckten, dass der komplizierteste Teil des bisherigen Rezepts für „vielfältiges Denken“ eigentlich das Problem selbst war. Sie fanden heraus, dass ein spezifisches mathematisches Werkzeug, das eigentlich dabei helfen sollte, die Belohnungen auszubalancieren, eher wie ein verrauschtes, kaputtes Radio funktionierte als wie ein hilfreicher Wegweiser. Indem sie dieses kaputte Werkzeug wegwarfen und es durch eine viel einfachere, spontane Berechnung ersetzten, schufen sie eine neue Methode namens GFlowRL. Dieser neue Ansatz ist stabil, schnell und überraschend effektiv. Er ermöglicht es massiven KI-Modellen, vielfältige Problemlösungsstrategien zu erlernen, ohne abzustürzen, selbst bei den schwierigsten mathematischen und programmiertechnischen Herausforderungen. Tatsächlich übertraf ihre neue Methode bisherige Rekordhalter und erreichte ein Leistungsniveau im kompetitiven Programmieren, das mit den besten derzeit verfügbaren KI-Systemen konkurriert, während sie den Trainingsprozess gleichzeitig reibungslos und stetig hielt.

Das Problem: Der „magische Taschenrechner“, der alles kaputt machte

Um den Durchbruch zu verstehen, müssen wir zuerst die alte Art des Vorgehens betrachten. Als Forscher versuchten, KI mittels GFlowNets zu vielfältigem Denken zu erziehen, verließen sie sich auf einen speziellen „Taschenrechner“ (technisch gesehen eine Partitionsfunktion), um die Belohnungen auszubalancieren. Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, eine Klasse von 1.000 Schülern zu bewerten. Sie wollen sicherstellen, dass ein Schüler, der eine clevere, einzigartige Lösung findet, Anerkennung erhält, aber Sie müssen auch sicherstellen, dass die Noten nicht so hoch sind, dass das gesamte System zusammenbricht.

Die alte Methode versuchte, ein brandneues, winziges KI-Modell zu bauen, das nur als dieser Taschenrechner fungieren sollte. Das Problem war, dass dieser winzige Taschenrechner von Grund auf lernen musste, während der riesige Schüler (die Haupt-KI) bereits ein Genie war. Es war, als würde man von einem Kleinkind verlangen, das Budget eines Milliarden-Dollar-Unternehmens zu verwalten, während der CEO bereits Entscheidungen trifft. Das Kleinkind (der Taschenrechner) wäre verwirrt gewesen, hätte wahllos Zahlen gerufen und das gesamte System in Panik versetzt. Die Forscher fanden heraus, dass dieser „Taschenrechner“ tatsächlich mehr Schaden als Nutzen anrichtete. Er war so instabil, dass er den Lernprozess der KI mit Fehlern überflutete, und in vielen Fällen lernte die KI nicht einmal besser, als wenn der Taschenrechner einfach durch zufälliges Rauschen ersetzt worden wäre.

Die Lösung: Den Taschenrechner wegwerfen, die Gruppe nutzen

Die Autoren von GFlowRL stellten eine einfache, kühne Frage: „Brauchen wir diesen kaputten Taschenrechner wirklich?“

Sie erkannten, dass die KI bereits die Arbeit erledigte, die der Taschenrechner eigentlich tun sollte. Wenn die KI übt, probiert sie nicht nur eine Antwort aus; sie probiert eine ganze Gruppe von Antworten gleichzeitig aus (wie eine Fokusgruppe). Die Forscher bemerkten, dass sie einfach die Gruppe von Antworten, die die KI bereits generiert hatte, betrachten konnten, um das benötigte Gleichgewicht zu ermitteln. Anstatt eine separate, zerbrechliche Maschine zu bauen, um die Mathematik zu betreiben, nutzten sie einfach die Daten, die direkt vor ihnen lagen.

Denken Sie an Folgendes: Anstatt einen separaten, nervösen Buchhalter einzustellen, der Ihnen sagt, wie viel Geld das Team verdient hat, schauen Sie einfach auf die Belege, die das Team gerade übergeben hat. Es sind dieselben Informationen, aber sie sind unmittelbar, echt und erfordern keine neue, teure Maschine, die vielleicht kaputtgeht.

Dieser einfache Wechsel – der Ersatz des komplexen, gelernten Taschenrechners durch eine schnelle, spontane Schätzung aus der Gruppe – änderte alles.

Stabilität: Die wilden, explodierenden Fehler verschwanden. Das Training wurde so glatt wie die heute üblichen Standardmethoden.
Einfachheit: Sie mussten kein zweites, zusätzliches Modell trainieren. Dies sparte eine enorme Menge an Rechenleistung und Zeit.
Leistung: Überraschenderweise wurde die KI nicht nur nicht abstürzen, sondern sie wurde sogar besser.

Die Ergebnisse: Vom Absturz zum Champion

Das Team testete diese neue Methode, GFlowRL, bei einigen der schwierigsten Herausforderungen für KI:

Mathematik: Sie trainierten Modelle auf schwierigen Mathematikwettbewerben. Die neue Methode half der KI, mehr Probleme zu lösen als jede bisherige Methode, die versuchte, Vielfalt zu fördern.
Programmierung: Sie testeten es auf kompetitiven Programmierseiten wie Codeforces. Ein mit GFlowRL trainiertes 14-Milliarden-Parameter-Modell erreichte eine Bewertung von 2048. Um das einzuordnen: Dies ist ein Leistungsniveau, das unglaublich hoch ist, die bisherigen Open-Source-Rekorde bricht und nur 25 Punkte von den besten verfügbaren Closed-Source-KIs (o3-mini) entfernt ist.
Sicherheit (Red Teaming): Sie testeten es auch auf „Red Teaming“, einer Methode, bei der versucht wird, die Sicherheitsregeln einer KI zu brechen, um zu sehen, ob sie standhalten. In dieser verrauschten, chaotischen Umgebung, in der vorherige Methoden völlig versagten, war GFlowRL erfolgreich und erreichte die höchste Erfolgsquote beim Angriff auf Sicherheitsfilter, was bewies, dass es komplexe, vielfältige Strategien erlernen kann, selbst wenn das Feedback verwirrend ist.

Der vielleicht beeindruckendste Teil war die Skalierbarkeit. Als sie versuchten, diese Methode auf massive „Mixture of Experts“ (MoE)-Modelle anzuwenden – KI-Systeme mit Hunderten von Milliarden Parametern – stürzten vorherige Methoden sofort ab. GFlowRL hingegen funktionierte weiterhin einwandfrei, selbst bei einem Modell mit 235 Milliarden Parametern.

Warum das wichtig ist

Die wichtigste Erkenntnis hierbei ist nicht nur, dass sie einen besseren KI-Trainer gebaut haben; es ist, dass sie erkannt haben, dass der „beste“ Weg nicht immer der komplizierteste Weg ist. Indem sie die unnötigen, instabilen Teile des alten Rezepts entfernten, fanden sie einen Weg, der sowohl einfacher als auch leistungsfähiger ist.

GFlowRL legt nahe, dass wir, um eine KI wirklich intelligent und vielfältig zu machen, nicht mehr Schichten komplexer Maschinerie hinzufügen müssen. Manchmal ist der beste Weg, einen superintelligenten Schüler zu unterrichten, den Unterrichtsplan nicht übermäßig zu komplizieren, sondern ihn einfach aus der Gruppe der Ideen lernen zu lassen, die er ohnehot schon generiert. Es stellt sich heraus, dass der Schlüssel zur Skalierung des KI-Reasonings nicht darin bestand, mehr Werkzeuge hinzuzufügen, sondern genau zu wissen, welche Werkzeuge man wegwerfen muss.

Technisches Resümee: GFlowRL

Problemstellung

Reinforcement Learning (RL) ist zum Standard-Post-Training-Paradigma für große Sprachmodelle (LLMs) geworden, insbesondere für Denkaufgaben wie Mathematik und Programmierung. Die dominierenden RL-Ansätze (z. B. PPO, GRPO) sind jedoch grundlegend belohnungsmaximierend. Sie konzentrieren die Wahrscheinlichkeitsmasse auf das einzelne höchstbelohnte Modus, was zu Moduskollaps und einer Reduktion der Lösungsdiversität führt. Dies ist strukturell limitierend für Chain-of-Thought-Reasoning, bei dem Generalisierung und Robustheit von der Abdeckung mehrerer valider Lösungspfade abhängen.

Generative Flow Networks (GFlowNets) bieten eine Alternative, indem sie Policys erlernen, die Trajektorien proportional zu ihrer Belohnung sampeln, wodurch sie die Belohnungsverteilung statt der Belohnung selbst abbilden. Jüngste Versuche, GFlowNets auf LLMs anzuwenden (z. B. FlowRL, FOR), nutzen ein Trajectory Balance (TB)-Ziel. Dieses Ziel erfordert die Schätzung einer Partitionsfunktion $Z(x)$ , die typischerweise durch ein gelerntes Hilfsnetzwerk (z. B. ein MLP) implementiert wird, das auf den Prompt konditioniert ist.

Das Paper identifiziert einen kritischen Skalierungsengpass: Im Kontext des modernen LLM-Post-Trainings ist das gemeinsame Training eines zufällig initialisierten Partitionsnetzwerks neben einem massiven, vortrainierten Policy instabil. Das Policy benötigt nur eine moderate Verfeinerung, während die Partitionsfunktion eine komplexe Größe von Grund auf innerhalb desselben kurzen Trainingshorizonts lernen muss. Diese Asymmetrie führt dazu, dass die gelernte Partitionsfunktion eher als Quelle von Rauschen und Gradienteninstabilität wirkt als als nützlicher Normalisierer, was häufig zu Trainingsdivergenz führt – insbesondere in Regimes mit spärlichen Belohnungen (z. B. adversarisches Red-Teaming) und auf spärchen Architekturen (Mixture-of-Experts oder MoE).

Methodik: GFlowRL

Die Autoren schlagen GFlowRL vor, einen gestrafften GFlowNet-ähnlichen RL-Algorithmus, der die gelernte Partitionsfunktion vollständig eliminiert und dabei das Ziel der Anpassung an die Belohnungsverteilung beibehält.

Kerninzicht

Durch systematische Analyse zeigen die Autoren, dass die gelernte Partitionsfunktion $Z_\phi(x)$ einen vernachlässigbaren Informationsbeitrag zur Policy-Aktualisierung leistet. Empirisch gesehen ergibt der Ersatz des gelernten $Z_\phi$ durch Zufallsrauschen eine vergleichbare Leistung, doch die gelernte Version führt zu um Größenordnungen höheren Gradientennormen und häufigen Gradientenexplosionen.

Der Algorithmus

GFlowRL ersetzt das gelernte $Z_\phi(x)$ durch eine einfache In-Batch Monte Carlo-Schätzung, die direkt aus der Rollout-Gruppe berechnet wird, die bereits für das Training erforderlich ist (ähnlich der gruppenrelativen Normalisierung in GRPO).

In-Batch-Schätzer: Für einen Prompt $x$ und eine Gruppe von $G$ Rollouts $\{y^{(1)}, \dots, y^{(G)}\}$ wird die Schätzung für $\log Z(x)$ als Durchschnitt der TB-Targets über die Gruppe berechnet:
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Dieser Schätzer dient als Stop-Gradient-Baseline. Er zentriert das Residuum, trägt aber keinen eigenen Gradienten, wodurch das Bedürfnis nach einem Hilfsnetzwerk und dessen Optimizer-Zustand entfällt.
Stabilisatoren: Um Stabilität zu gewährleisten, integriert GFlowRL zwei Schlüsselmechanismen:
- Importance-Sampling-Korrektur: Korrigiert den Drift zwischen der Rollout-Policy ( $\pi_{old}$ ) und der aktuellen Policy ( $\pi_\theta$ ).
- Asymmetrisches Flow-Gap-Clipping: Die Flow-Lücke (das Residuum vor dem Policy-Update-Term) wird asymmetrisch geclippt. Dies ermöglicht aggressivere Aufwärtskorrekturen für unterrepräsentierte korrekte Lösungen, während negative Updates begrenzt werden, um zu verhindern, dass Ausreißer-Rollouts das Training destabilisieren.
Verlustfunktion: Der finale Verlust minimiert das quadratische Residuum der Flow-Lücke, normiert auf die Antwortlänge, um zu verhindern, dass lange Sequenzen den Gradienten dominieren.

Wichtigste Beiträge

Identifikation der Instabilitätsquelle: Das Paper identifiziert die gelernte Partitionsfunktion $Z_\phi$ als primäre Quelle der Instabilität in GFlowNet-basiertem RL für LLMs. Es liefert empirische Belege dafür, dass $Z_\phi$ fast keinen Nutzen für das Post-Training bietet und stattdessen unnötige Optimierungsprobleme einführt.
GFlowRL-Algorithmus: Der Vorschlag eines gestrafften Algorithmus, der das gelernte Partitionsnetzwerk durch eine In-Batch Monte Carlo-Schätzung ersetzt. Dies entfernt das Hilfsnetzwerk und dessen verteilten Trainings-Overhead, während das Fixed-Point-Ziel der Trajectory-Balance beibehalten wird.
Stabile Skalierung: Demonstration eines stabilen Trainings sowohl auf dichten als auch auf spärchen (MoE) Architekturen, einschließlich Regimes, in denen frühere Methoden (FlowRL) divergieren.

Experimentelle Ergebnisse

Die Autoren evaluieren GFlowRL auf Benchmarks für mathematisches Denken, kompetitive Programmierung und adversarisches Red-Teaming unter Verwendung von Modellen im Bereich von 7B bis 235B Parametern.

Mathematisches Denken: Auf dem 7B-Dense-Modell erreicht GFlowRL eine durchschnittliche Genauigkeit von 40,92, womit es GRPO (32,48) und FlowRL (35,63) übertrifft. Es übertrifft zudem FlowRL auf dem 32B-Modell.
Codegenerierung: Auf der 14B-Skala erreicht GFlowRL ein Codeforces-Rating von 2048 und übertrifft damit DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) und OpenAI's o1 (+157 Elo). Es liegt innerhalb von 25 Elo von o3-mini.
Adversarisches Red-Teaming: In verrauschten Belohnungsregimes, in denen FlowRL nicht konvergiert, trainiert GFlowRL stabil. Es erreicht die höchste durchschnittliche Attack Success Rate (ASR@1) auf AdvBench (82,5%) und HarmBench (79,5%) und übertrifft damit den bisherigen SOTA Multi-Turn Attacker (SEMA).
MoE-Skalierung: GFlowRL trainiert erfolgreich auf Qwen3-30B-A3B (3B aktive Parameter) und Qwen3-235B-A22B (22B aktive Parameter). Auf dem 30B-Modell erreicht es 1999 Codeforces Elo. Im Gegensatz dazu divergiert FlowRL auf allen getesteten MoE-Benchmarks.
Diversität: GFlowRL erzielt einen Diversitätswert von 3,93 (auf einer Skala von 1-5), was signifikant höher ist als bei GRPO (1,21) und FlowRL (2,64), was seine Fähigkeit bestätigt, diverse Denkpfade beizubehalten.

Bedeutung und Behauptungen

Das Paper behauptet, dass GFlowRL der erste GFlowNet-artige RL-Algorithmus ist, der stabil über sowohl dichte als auch sparche Architekturen für große Reasoning-Modelle skaliert.

Die Autoren argumentieren, dass der Skalierungsengpass für GFlowNet-artiges RL nicht das Trajectory-Balance-Ziel selbst ist, sondern die gelernte Partitionsfunktion. Durch den Ersatz dieser Komponente durch einen einfachen, nicht-gelernten Schätzer, der aus der Rollout-Gruppe abgeleitet wird, erreicht GFlowRL die Vorteile der Verteilungsanpassung (Diversität, Robustheit) ohne den Engineering-Overhead und die Instabilität von Hilfsnetzwerken. Dies deutet darauf hin, dass die Skalierung von GFlowNet-artigem RL auf Frontier-Modelle weniger davon abhängt, komplexere Mechanismen hinzuzufügen, sondern vielmehr davon, unnötige Komponenten aus dem ursprünglichen Ziel zu entfernen.