🤖 machine learning

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

Dieses Paper stellt Single-rollout Asynchronous Optimization (SAO) vor, ein stabiles und effizientes asynchrones Reinforcement-Learning-Framework, das gruppenweises Sampling durch Single-Rollout-Strategien ersetzt und striktes Token-Level-Clipping einsetzt, um groß angelegte agentische Modelle wie GLM-5.2 erfolgreich auf komplexen Coding- und Reasoning-Benchmarks zu trainieren.

Ursprüngliche Autoren: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein Team von Jungkoch-Studenten, um das perfekte Gericht zu kochen. Auf die alte Art und Weise (die das Paper als Synchrones RL bezeichnet) würde der Chefkoch rufen: „Alle, fangt an zu kochen!“ und dann warten. Die Studenten würden alle mit ihren Gerichten beginnen. Aber hier liegt das Problem: Einige Studenten sind schnell, andere sind langsam. Die schnellen Studenten würden ihre Gerichte fertigstellen und dann nur an der Wand stehen und starren, während sie darauf warten, dass der langsamste Student fertig wird. Erst wenn alle fertig waren, konnte der Chefkoch das Essen probieren, Feedback geben und allen sagen, was als Nächstes zu tun ist. Dies ist unglaublich ineffizient; die Küche ist voller Leerlaufzeiten.

Um dies zu beheben, versuchten Forscher es mit Asynchronem RL. In dieser Version sagt der Chefkoch, sobald ein Student ein Gericht fertiggestellt hat, sofort das Essen und gibt Feedback. Der Student kann sofort mit seinem nächsten Gericht beginnen. Die Küche steht niemals still. Das geht viel schneller.

Es gab jedoch einen großen Haken. Da der Chefkoch Gerichte von Studenten verkostete, die zu unterschiedlichen Zeiten angefangen hatten zu kochen, änderte sich das „Rezept“, dem die Studenten folgten, ständig. Einige Studenten kochten basierend auf einem alten Rezept, während andere ein neues verwendeten. Diese Verwirrung machte das Training instabil, und die Studenten wurden oft schlechter im Kochen, anstatt besser zu werden. Außerdem erforderte die populäre Methode, mit der diese Studenten bewertet wurden (genannt GRPO), dass der Chefkoch auf eine Gruppe von Studenten wartete, bevor er eine Note gab, was das Warteproblem wieder mit sich brachte.

Die Autoren dieses Papers haben eine neue Methode namens SAO (Single-Rollout Asynchronous Optimization) eingeführt. Sie lösten das Chaos mit drei cleveren Tricks:

1. Die „Sofortiges Feedback“-Regel (Single-Rollout)

Anstatt darauf zu warten, dass eine Gruppe von Studenten eine Charge fertigstellt, sagt SAO: „Sobald ein einzelner Student ein Gericht fertiggestellt hat, bewerte es sofort.“

Die Metapher: Stellen Sie sich ein Videospiel vor, bei dem Sie Ihren Score in dem Moment erhalten, in dem Sie ein Level abschließen, anstatt darauf zu warten, dass Ihre gesamte Gruppe fertig ist. Dies verhindert die „Warten auf den langsamsten Teilnehmer“-Verzögerung.
Das Problem, das es löst: Es verhindert, dass die „Gruppe“ auf das langsamste Mitglied warten muss, wodurch das Training mit voller Geschwindigkeit weiterläuft.

2. Das „Strikte Sicherheitsnetz“ (Double-Sided Clipping)

Da die Studenten so schnell arbeiten und die Rezepte sich ständig ändern, besteht das Risiko, dass sie verrückt werden und versuchen könnten, etwas völlig Wildes und Gefährliches auszuprobieren.

Die Metapher: Die Autoren haben einen „Zaun“ um das Training errichtet. Wenn die neue Idee eines Studenten zu weit von dem abweicht, was der Lehrer erwartet (zu weit links oder zu weit rechts), ignoriert das System dies nicht einfach; es blockiert den Studenten komplett dabei, aus diesem spezifischen Fehler zu lernen. Es ist wie ein strenger Trainer, der sagt: „Wenn du versuchst, rückwärts zu laufen, werde ich dich gar nicht erst von diesem Lauf lernen lassen.“
Das Problem, das es löst: Dies verhindert, dass das Training instabil wird oder „explodiert“, wenn die Studenten durch das hohe Tempo verwirrt werden.

3. Der „Super-Coach“ (Besseres Value-Modell)

In der alten „Gruppen“-Methode konnte der Coach die Gerichte eines Studenten mit den Gerichten seiner Klassenkameraden vergleichen, um zu sehen, ob es gut war. Aber in dieser „eins-zu-eins“-Methode gibt es keine Klassenkameraden, mit denen man vergleichen kann. Der Coach muss unglaublich klug sein, um zu wissen, ob ein einzelnes Gericht für sich genommen gut oder schlecht ist.

Die Metapher: Die Autoren haben einen speziellen „Value-Coach“ (einen Critic) trainiert, der viel klüger ist und sein Wissen doppelt so schnell aktualisiert wie die Jungkoch-Studenten. Sie haben auch die „Instinkte“ (Attention-Layer) des Coaches eingefroren, damit er nicht verwirrt wird, und erlaubten ihm nur, die spezifischen Details des Rezepts zu lernen.
Das Problem, das es löst: Dies stellt sicher, dass der Coach selbst dann, wenn der Student alleine arbeitet, präzise sagen kann: „Ja, das war ein guter Zug“ oder „Nein, das war schlecht“, ohne eine Gruppe zum Vergleich zu benötigen.

Die Ergebnisse

Das Paper testete diese neue Methode bei zwei sehr schwierigen Aufgaben:

Coding: Einem KI die Aufgabe zu stellen, Bugs in Software zu beheben (wie ein Mechaniker, der ein Auto repariert).
Mathematisches Denken: Einer KI die Aufgabe zu stellen, komplexe mathematische Probleme zu lösen (wie ein Schüler, der eine schwere Prüfung schreibt).

Das Ergebnis:

Die alte Methode (GRPO) startete gut, stürzte dann aber nach einer Weile ab und scheiterte, weil sie zu verwirrt wurde.
Die neue SAO-Methode hielt das Training über einen langen Zeitraum (bis zu 1.000 Schritte) reibungslos aufrecht und verbesserte die Scores konsistent.
Sie bewies auch, dass diese Methode perfekt für Online Learning ist, bei dem sich die Regeln des Spiels während des Spielens ändern. Wenn der Lehrer zum Beispiel plötzlich sagt: „Jetzt möchte ich süße Geschichten“, könnte die mit SAO trainierte KI ihren Stil schnell anpassen, während andere Methoden zu langsam darin waren, sich anzupassen.

Kurz gesagt sagt das Paper: „Hören Sie auf, auf Gruppen zu warten. Lassen Sie jeden in seinem eigenen Tempo arbeiten, aber geben Sie ihnen ein striktes Sicherheitsnetz und einen super-klugen Coach, der sein Wissen sofort aktualisiert. Dies macht das KI-Training schneller, stabiler und besser darin, schwierige, sich ändernde Probleme zu lösen.“

Technisches Resümee: Single-Rollout Asynchrone Optimierung für Agentic Reinforcement Learning

Problemstellung

Reinforcement Learning (RL) ist zu einer kritischen Komponente beim Post-Training von Large Language Models (LLMs) geworden, insbesondere für agentische Aufgaben mit langen Horizonten, Programmierung und komplexem Denken. Bestehende RL-Pipelines sind jedoch überwiegend synchron und batch-interleaved. In diesen Systemen generiert die Policy einen Batch an Rollouts, und die Optimierung beginnt erst, nachdem der gesamte Batch gesammelt wurde. Dieser Ansatz ist ineffizient für agentische Workloads, bei denen die Trajektorienlängen stark variieren; kurze Trajektorien sind schnell abgeschlossen, während lange Trajektorien als „Stragglers“ (Nachzügler) wirken und so erhebliche Leerlaufzeiten in GPU-Clustern verursachen.

Während asynchrones RL – welches das Modell kontinuierlich aktualisiert, sobald Rollouts eintreffen – eine Lösung bietet, um die Auslastung und die Wandzeit-Effizienz zu verbessern, führt es zwei primäre Herausforderungen ein:

Instabilität des Trainings und Off-Policy-Drift: In asynchronen Settings werden Rollouts von mehreren älteren Versionen des Policy-Modells generiert. Dieser „Policy-Lag“ erzeugt unvorhersehbares Off-Policy-Verhalten, das das Training destabilisieren kann.
Inkompatibilität mit gruppenweiser Stichprobenentnahme (Group-Wise Sampling): Weit verbreitete Algorithmen wie Group Relative Policy Optimization (GRPO) verlassen sich auf das Ziehen einer Gruppe von Antworten pro Prompt, um Advantages über die Gruppenmittelung zu schätzen. Dieser gruppenweise Ansatz ist mit asynchronem Training unvereinbar, da die Gruppe warten muss, bis das langsamste Mitglied fertig ist, was Latenz und Off-Policy-Bias wieder einführt. Zudem ist das gruppenweise Sampling ungeeignet für Online- oder komplexe agentische Settings, in denen die Umgebung oft nur ein einzelnes Trajektorien-Feedback pro Prompt bereitstellt.

Methodik: Single-Rollout Asynchrone Optimierung (SAO)

Die Autoren schlagen SAO vor, ein Framework, das darauf ausgelegt ist, das asynchrone RL-Training zu stabilisieren und gleichzeitig dessen Effizienz zu bewahren. SAO ersetzt das gruppenweise Sampling durch Single-Rollout-Sampling (ein Rollout pro Prompt) und führt spezifische Mechanismen ein, um die daraus resultierenden Off-Policy- und Varianz-Herausforderungen zu bewältigen.

1. Direkte Doppel-Seiten-Wichtigkeitsgewichtung (Direct Double-Sided Importance Sampling, DIS)

Um den „Policy-Lag“ zwischen der Rollout-Engine und dem Trainingsmodell ohne den Rechenaufwand zur Verfolgung einer Historie alter Policies zu adressieren:

Vereinfachte Verhältnisberechnung: SAO verwendet direkt die Rollout-Policy ( $\pi_{rollout}$ ) als Behavior-Proxy und die aktuelle Policy ( $\pi_\theta$ ) für das Importance Sampling, wodurch die Notwendigkeit einer separaten, potenziell veralteten „alten Policy“ ( $\pi_{old}$ ) entfällt. Das Wahrscheinlichkeitsverhältnis wird direkt aus den Rollout-Logs berechnet: $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$ .
Doppel-Seiten-Token-Level-Clipping: Im Gegensatz zum Standard-PPO-Clipping verwendet SAO eine strikte Double-Sided-Clipping-Strategie. Es beschränkt die Trust Region auf $[1-\epsilon_\ell, 1+\epsilon_h]$ . Tokens, die außerhalb dieses Bereichs liegen, werden für die Gradientenberechnung vollständig maskiert. Dieses aggressive Maskieren verhindert Instabilitäten, die durch extreme Policy-Divergenz entstehen.

2. Single-Rollout Sampling mit verbesserter Value-Modellierung

Der Ersatz des gruppenweisen Samplings durch Single-Rollout-Updates reduziert die Latenz, erhöht jedoch die Gradienten-Varianz. Um dies zu mildern, führt SAO spezifische Strategien für das Value-Modell-Training ein:

Schnellere Value-Updates: Das Value-Netzwerk ( $V_\phi$ ) wird häufiger aktualisiert als die Policy ( $\pi_\theta$ ). Konkret durchläuft das Value-Netzwerk für jedes einzelne Policy-Gradient-Update $K$ Updates (wobei $K=2$ in den Experimenten ist). Dies stellt sicher, dass die Value-Schätzungen schnell an die aktuelle Policy angepasst werden, bevor sie für die Advantage-Berechnung verwendet werden.
Frozen-Attention-Training: Um das Value-Modell zu stabilisieren, beobachten die Autoren, dass die Instabilität primär aus den Full-Attention-Layern stammt. Folglich frieren sie die Attention-Parameter im Value-Modell ein und optimieren nur die Mixture-of-Experts (MoE) Projektionen. Dies regularisiert das Value-Modell, indem es die vortrainierten Attention-Gewichte nutzt, während das Modell gleichzeitig lernt, task-spezifische Value-Funktionen zu bilden.
Skip-Observation Token-Level GAE: Für agentische Aufgaben mit verschachtelten Aktionen ( $a_i$ ) und Umgebungsbeobachtungen ( $o_i$ ) führt das Standard-Generalized Advantage Estimation (GAE) Rauschen bei der Berechnung der Advantages über die Grenze hinweg ein, an der das Modell die Beobachtung nicht selbst generiert. SAO leitet ein Skip-Observation GAE ab, das den Wert der aktuellen Aktion direkt mit dem Wert der nächsten Aktion verknüpft und dabei die externen Feedback-Token der Umgebung umgeht.

3. Skalierung der Value-Modell-Vortrainingsdaten

Die Autoren betonen, dass eine robuste Initialisierung entscheidend ist. Sie skalieren die für das Value-Modell-Vortraining verwendeten Daten signifikant, um das „Cold-Start“-Problem zu lösen und sicherzustellen, dass das Value-Modell bereits in den frühen Phasen des Single-Rollout-Trainings effektiv ist.

Kernbeiträge

Stabilisierungsmechanismus: Einführung einer vereinfachten, aber aggressiven Token-Level-Wichtigkeitsgewichtungsstrategie (DIS), die die Notwendigkeit der Verfolgung historischer Policies eliminiert und gleichzeitig ein striktes Double-Sided-Clipping erzwingt, um die Trainingsstabilität aufrechtzuerhalten.
Single-Rollout-Paradigma: Ein Wechsel vom gruppenweisen Sampling zum Single-Rollout-Sampling, um Synchronisationsbarrieren im asynchronen RL zu eliminieren, kombes mit spezifischen Designs für das Value-Modell-Training (schnellere Updates, Frozen Attention), um die daraus resultierende Varianz zu steuern.
Agentic-spezifischer Estimator: Ableitung eines Skip-Observation Token-Level GAE Estimators, der die Diskontinuität zwischen modellgenerierten Aktionen und Umgebungsfeedback in Multi-Turn-Agent-Trajektorien korrekt handhabt.
Empirische Validierung: Demonstration, dass SAO über 1.000 Schritte hinweg stabil trainiert werden kann und GRPO sowie dessen Varianten auf diversen Benchmarks übertrifft.

Experimentelle Ergebnisse

SAO wurde auf agentischen Coding- und Mathematik-Reasoning-Benchmarks evaluiert, darunter SWE-Bench Verified, AIME2025, BeyondAIME, HMMT Nov 2025 und IMOAnswerBench.

Performance: SAO übertraf konsistent die Baseline (Qwen3-30B-A3B SFT) und GRPO-Varianten über alle Benchmarks hinweg.
- Auf AIME2025 erreichte SAO eine Genauigkeit von 97,3 % im Vergleich zu 84,2 % für GRPO (mit Python) und 80,4 % für die SFT-Baseline.
- Auf SWE-Bench Verified erreichte SAO eine Genauigkeit von 29,8 % und übertraf damit GRPO (27,0 %) und die Baseline (23,0 %).
Stabilität: Während Standard-GRPO um den 160. Trainingsschritt herum einen Leistungsabfall erlebte, behielt SAO eine stabile Performance bei und verbesserte sich bis zu 1.000 Schritten kontinuierlich.
Ablationsstudien: Das Entfernen von Komponenten wie „Faster Value Updates“ oder „Frozen Attention“ führte zu einer Verschlechterung der Performance, was die Notwendigkeit dieser Designentscheidungen bestätigt.
Online Learning: In einem simulierten Online-Learning-Szenario mit sich verschiebenden Reward-Präferenzen (Schreibstile) zeigte SAO eine schnelle Neuausrichtung der Policy, während eine Running-Mean-Baseline einen signifikanten Anpassungsverzug aufwies.

Bedeutung und Ansprüche

Das Paper behauptet, dass SAO den Trade-off zwischen Effizienz und Stabilität in asynchronem RL für LLMs erfolgreich adressiert. Durch die Abkehr vom gruppenweisen Sampling, das inhärent für GRPO ist, ermöglicht SAO echtes asynchrones Training, bei dem Rollouts unmittelbar nach ihrem Eintreffen konsumiert werden, wodurch der Straggler-Effekt eliminiert wird.

Die Autoren behaupten, dass ihr Ansatz besonders effektiv für agentische Aufgaben und Online-Learning-Szenarien ist, in denen Single-Trajectory-Feedback die Norm ist. Der erfolgreiche Einsatz von SAO in der Trainingspipeline des offenen GLM-5.2 Modells (75B-A40B) dient als praktische Validierung der Skalierbarkeit und Robustheit der Methode in realen, groß angelegten Settings. Die Arbeit legt nahe, dass mit einem angemessenen Value-Modell-Design und Off-Policy-Korrektur asynchrones RL eine stabile und überlegene Alternative zu synchronen Batch-Methoden für komplexe, lang angelegte Reasoning-Aufgaben darstellt.