🤖 AI

RollArt: Disaggregated Multi-Task Agentic RL Training at Scale

RollArt ist ein disaggregationsbasiertes Multi-Task-Agentic-RL-System, das den Trainingsdurchsatz und die Skalierbarkeit optimiert, indem es Pipeline-Stufen auf spezialisierte Hardware abbildet, Trajektorien-Interaktionen entkoppelt, um Synchronisationsengpässe zu eliminieren, und Rollouts durch asynchrone Gewichtsaktualisierungen mit dem Training überlappt, wodurch bis zu 2,05-mal schnellere Trainingszeiten auf großen Clustern erreicht werden.

Ursprüngliche Autoren: Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng, Wei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber sehr spezifischen Roboter (einer KI) beizubringen, komplexe Probleme zu lösen, wie zum Beispiel Software zu schreiben oder eine Website zu navigieren. Um dies zu tun, geben Sie ihm nicht einfach ein Lehrbuch; Sie lassen ihn in einer realen Simulation üben. Dieser Prozess wird Agentic Reinforcement Learning genannt.

Das Paper stellt ein neues System namens ROLLART vor, das wie ein super-effizienter Verkehrskontrolleur für diesen Trainingsprozess fungiert. So funktioniert es, erklärt durch einfache Analogien.

Das Problem: Der „Einheitsmaß“-Stau

Stellen Sie sich eine Fabrik vor, in der ein einziges Team von Arbeitern drei sehr unterschiedliche Aufgaben erledigen muss:

Denken: Komplexe mathematische Probleme lösen (erfordert ein schnelles Gehirn).
Lesen: Lange Bücher schnell lesen (erfordert schnelle Augen).
Bauen: Physische Teile zusammenbauen (erfordert starke Hände).

In älteren Systemen nutzten alle den gleichen Typ von Arbeiter für alles. Wenn man einem „schnellen Gehirn“-Arbeiter die Aufgabe „Lesen“ zuwies, war er langsam. Wenn man einem „starken Hand“-Arbeiter die Aufgabe „Mathe“ zuwies, war er langsam. Zudem, wenn ein Arbeiter damit beschäftigt war, ein kaputtes Spielzeug zu reparieren (ein „Straggler“ oder Nachzügler), musste die gesamte Fabrik stoppen und auf ihn warten, bevor sie zum nächsten Schritt übergehen konnte. Dies verursachte massive Verzögerungen.

Die Lösung: ROLLARTs spezialisierte Montagestraße

ROLLART behebt dies, indem es die Fabrik in spezialisierte Zonen unterteilt und verschiedene Teams in ihrem eigenen Tempo arbeiten lässt.

1. Arbeiter den richtigen Werkzeugen zuordnen (Hardware Affinity)

Das System erkennt, dass einige Aufgaben Rechenleistung benötigen (wie das Lösen von Mathe-Aufgaben) und andere Speichergeschwindigkeit (wie das Lesen langer Texte).

Der alte Weg: Alle nutzten denselben teuren, schweren Hochleistungsrechner.
Der ROLLART-Weg: Es schickt die „Mathe“-Aufgaben an Supercomputer und die „Lese“-Aufgaben an Computer mit großem, schnellem Speicher. Es ist so, als würde man einen Koch in eine Küche mit einem Hochleistungsofen schicken und einen Bibliothekar in eine Bibliothek mit einem riesigen, schnellen Karteikasten. Sie erledigen die Arbeit viel schneller, weil sie das richtige Werkzeug für die jeweilige Aufgabe nutzen.

2. Den Arbeitern erlauben, in ihrem eigenen Tempo zu arbeiten (Trajectory-Level Asynchrony)

In der alten Fabrik passierte Folgendes: Wenn ein Arbeiter 10 Minuten für eine Aufgabe brauchte, während andere nur 1 Minute benötigten, stoppte die gesamte Linie für 10 Minuten.

Der ROLLART-Weg: Es behandelt jeden einzelnen Trainingsdurchlauf (genannt „Trajectory“) als ein unabhängiges Projekt. Wenn ein Roboter bei einem schwierigen Rätsel stecken bleibt, arbeiten die anderen Roboter an ihren eigenen Rätseln weiter. Das System wartet nicht auf den langsamen Roboter; es lässt die schnellen einfach weitermachen. Sobald der langsame Roboter fertig ist, wird er bewertet, und die schnellen Roboter ziehen zu neuen Aufgaben weiter.

3. „Leiharbeiter“ für einfache Aufgaben engagieren (Serverless Offloading)

Nachdem ein Roboter eine Aufgabe beendet hat, muss jemand diese bewerten. Manchmal ist dies eine einfache Prüfung (wie „Hat sich die Tür geöffnet?“), manchmal ist es eine komplexe Überprüfung durch eine andere KI.

Der alte Weg: Man hielt ein Team von teuren Hochleistungscomputern im Leerlauf bereit, die darauf warteten, diese einfachen Aufgaben zu bewerten. Es war teuer, sie im „Standby“-Modus zu halten, selbst wenn sie gerade nicht arbeiteten.
Der ROLLART-Weg: Es nutzt „Leiharbeiter“ (Serverless Cloud Computing). Man bezahlt nur für die Bewertung, wenn sie tatsächlich stattfindet. Wenn niemand bewertet, zahlt man nichts. Dies setzt die teuren Computer frei, damit sie sich auf die harte Arbeit der Roboter-Lehre konzentrieren können.

4. Während des Lernens lehren (Bounded-Staleness Training)

Normalerweise arbeiten der Lehrer (der Trainingscomputer) und der Schüler (der Roboter, der übt) abwechselnd. Der Schüler übt, hält inne, wartet darauf, dass der Lehrer sein Wissen aktualisiert, und beginnt dann wieder.

Der ROLLART-Weg: Lehrer und Schüler arbeiten gleichzeitig. Der Schüler übt weiter mit dem Wissen des Lehrers von „gestern“, während der Lehrer damit beschäftigt ist, die Version von „heute“ zu aktualisieren. Das System stellt sicher, dass der Schüler nicht zu weit hinterherhinkt (mittels einer „Staleness Bound“ bzw. Veralterungsgrenze), aber sie müssen niemals anhalten und warten. Es ist wie ein Trainer, der einem Läufer neue Anweisungen zuruft, während der Läufer bereits sprintet, anstatt den Läufer jedes Mal an der Startlinie anhalten zu lassen, wenn der Trainer einen neuen Tipp hat.

Die Ergebnisse

Das Paper testete dieses System in massivem Maßstab (mit über 3.000 Computern bei Alibaba).

Geschwindigkeit: Es machte den Trainingsprozess 1,3- bis 2-mal schneller als bisherige Methoden.
Effizienz: Es verhinderte die Verschwendung teurer Computerleistung durch Leerlaufaufgaben.
Stabilität: Es bewies, dass das System selbst dann reibungslos läuft, wenn Probleme auftreten (wie ein Computerabsturz oder eine zu lange Dauer einer Aufgabe).

Kurz gesagt: ROLLART ist ein intelligenter Manager, der das „Wartespiel“ beim KI-Training beendet. Es setzt die richtigen Aufgaben auf den richtigen Computern ein, lässt schnelle Arbeiter weitermachen, auch wenn langsame hinterherhinken, und nutzt günstiges On-Demand-Personal für einfache Aufgaben – was zu einem viel schnelleren und kostengünstigeren Weg führt, fortgeschrittene KIs zu trainieren.

Technisches Resümee: ROLLART

Problemstellung

Agentic Reinforcement Learning (RL) trainiert Large Language Models (LLMs) durch Multi-Turn-Interaktionen mit externen Umgebungen. Dieses Paradigma führt zu einer komplexen, heterogenen Arbeitslast, die vier unterschiedliche Phasen kombiniert: Rollout (LLM-Generierung), Umgebungs-Ausführung, Belohnungs-Evaluierung und Training.

Bestehende Systeme versäumen es, die inhärente Ressourcen-Heterogenität dieser Phasen zu adressieren:

Generierungs-Heterogenität: Die LLM-Generierung wechselt zwischen rechenintensiver Prefill-Phase (dominant bei Long-Context, Multi-Turn-Aufgaben) und bandbreitenintensiver Decoding-Phase (dominant bei Short-Turn, Long-Chain-of-Thought-Aufgaben). Aktuelle Systeme weisen den Rollout oft einem einzigen GPU-Typ zu und ignorieren dabei, dass rechenoptimierte GPUs (z. B. H800) bei Prefill exzellieren, während bandbreitenoptimierte GPUs (z. B. H20) beim Decoding überlegen sind.
Umgebungs-Straggler (Nachzügler): Umgebungen sind zustandsbehaftete, CPU-gebundene Prozesse, die anfällig für Heavy-Tail-Latenzen durch Container-Initialisierung (Docker-Pulls), Netzwerk-Kontention und variable Interaktionsrunden sind. In der Batch-Ausführung bremst eine langsame Umgebung die gesamte Pipeline aus.
Unterauslastung der Belohnung: Die Berechnung der Belohnung ist oft zustandslos und sprunghaft (bursty). Die Kollokation mit dem Rollout auf dedizierten GPUs führt zu einer schweren Unterauslastung (bis zu 7,4 %), während die Kopplung mit der Generierung zu Ressourcenkonflikten führt.
Synchronisations-Overhead: Traditionelles synchrones Training zwingt Rollout-Worker zur Wartezeit, während sie auf die Gewichts-Synchronisation über Cluster hinweg warten, was „Dependency Bubbles“ erzeugt, die teure GPU-Ressourcen verschwenden.

Methodik: ROLLART

ROLLART ist ein verteiltes System, das für Multi-Task Agentic RL auf disaggregierter Infrastruktur konzipiert wurde. Es ordnet jede Pipeline-Phase der Hardware zu, die am besten für ihre spezifischen Merkmale geeignet ist, und entkoppelt die Phasen, um Synchronisations-Engpässe zu eliminieren.

Kern-Design-Anforderungen

Das System wird von vier empirisch abgeleiteten Anforderungen gesteuert:

R1 (Hardware-Affinitäts-Mapping): Bindet spezifische Aufgaben oder Teilphasen an die am besten passende Hardware. Prefill-intensive Aufgaben werden an rechenoptimierte GPUs geroutet; Decode-intensive Aufgaben an bandbreitenoptimierte GPUs; Umgebungen laufen auf CPU-Clustern; und zustandslose Belohnungen laufen auf Serverless-Infrastruktur.
R2 (Trajektorien-basierte Asynchronität): Entkoppelt Generierung, Umgebungs-Interaktion und Belohnungs-Scoring auf der Granularität einzelner Trajektorien. Dies stellt sicher, dass langsame oder fehlgeschlagene Umgebungen den Fortschritt anderer Trajektorien nicht blockieren.
R3 (Serverless Offloading): Lagert die zustandslose Belohnungsberechnung an Serverless-Plattformen (z. B. Function Compute) aus, um dedizierte Hot-Standby-GPUs zu vermeiden und elastische Skalierung zu ermöglichen.
R4 (Bounded-Staleness Training): Führt Training und Rollout gleichzeitig auf separaten GPU-Clustern aus. Ein Protokoll mit einer Begrenzung der Veralterung (Staleness Bound) ermöglicht es dem Training, auf leicht veralteten Policies fortzufahren, während der Rollout weiterläuft, wodurch die Gewichtssynchronisation mit der Generierung überlappt wird, um Latenzen zu verbergen.

Systemarchitektur

ROLLART besteht aus drei Ebenen:

Resource Plane (Ressourcen-Ebene): Ein Ressourcen-Manager verfolgt heterogene Hardware-Pools (H800, H20, CPU, Serverless) und bindet Worker basierend auf durch Python-Dekoratoren deklarierten Hardware-Affinitäten an die Ressourcen.
Data Plane (Daten-Ebene): Implementiert die Pipeline unter Verwendung von Worker- und Cluster-Abstraktionen. Sie kapselt die Ausführungslogik (z. B. vLLM für Generierung, Megatron für Training) und handhabt das Offloading zustandsloser Aufgaben an Serverless-Endpunkte.
Control Plane (Steuerungsebene): Orchestriert den Workflow ohne Benutzereingriff. Zu den Schlüsselkomponenten gehören:
- LLMProxy: Verteilt Generierungsanfragen pro Trajektorie und entkoppelt Clients von Inference-Workern.
- EnvManager: Verwaltet die Lebenszyklen einzelner Umgebungen unabhängig, was eine parallele Progression ermöglicht.
- SampleBuffer: Puffert bewertete Trajektorien für das Training.
- Asynchrones Trainingsprotokoll: Ein sechsstufiger Synchronisationsprozess (Batch abrufen $\rightarrow$ Suspendieren $\rightarrow$ Update $\rightarrow$ Fortsetzen $\rightarrow$ KV-Cache neu berechnen $\rightarrow$ Trainieren), der das Training mit dem Rollout überlappt. Es beinhaltet eine Staleness-Grenze ( $\alpha$ ), um Trajektorien abzubrechen, die zu alt sind, um die Trainingsstabilität zu gewährleisten.

Optimierungen

Redundante Umgebungs-Rollouts: Startet mehr Umgebungen als strikt notwendig, um Fehler und Straggler zu maskieren; laufende Trajektorien werden terminiert, sobald das Ziel-Batch gesammelt wurde.
Prefill-Decoding (PD) Disaggregation: Verfeinert R1 weiter, indem die Prefill- und Decoding-Phasen derselben Anfrage an unterschiedliche Hardware-Typen (Rechen- vs. Bandbreitenoptimiert) geroutet werden.
Asynchroner Gewichtstransfer: Nutzt einen Mooncake-basierten Store, um Gewichte asynchron zu pushen. Inference-Worker ziehen Gewichte bei Bedarf, wodurch die Cross-Cluster-Transferlatenz hinter dem laufenden Rollout verborgen wird.

Kernbeiträge

Disaggregierte Infrastruktur für Agentic RL: ROLLART ist das erste System, das gemeinsam Prefill/Decode-Divergenz, Long-Tail-Umgebungs-Straggler, zustandslose Belohnungs-Unterauslastung und Cross-Cluster-Bandbreiten-Variabilität in Produktionsmaßstäben adressiert.
Deklaratives Programmiermodell: Bietet eine einheitliche Schnittstelle, mit der Benutzer Hardware-Affinitäten deklarieren und zustandslose Aufgaben via Dekoratoren auslagern können, was die Komplexität des heterogenen Ressourcenmanagements abstrahiert.
Trajektorien-basierte Entkopplung: Führt ein Design ein, bei dem einzelne Trajektorien unabhängig durch Generierung, Umgebungs-Interaktion und Belohnung fortschreiten, wodurch Batch-basierte Synchronisationsbarrieren eliminiert werden.
Validierung im Produktionsmaßstab: Erfolgreiche Bereitstellung auf einem Alibaba-Cluster mit über 3.000 GPUs zum Training eines Hundreds-of-Billions-Parameter Mixture-of-Experts (MoE) Modells für das Produkt Qoder, das eine Woche lang kontinuierlich lief.

Ergebnisse

Durchsatz-Verbesserung: ROLLART erreicht einen 2,65–4,58× höheren Durchsatz im Vergleich zu einem verstärkten synchronen Baseline-System (Sync+).
Reduktion der Trainingszeit: Im Vergleich zu verschiedenen Baselines reduziert ROLLART die Trainingszeit um:
- 2,05× gegenüber einem verstärkten synchronen Baseline-System (Sync+).
- 1,35× gegenüber einer One-off-Baseline.
- 1,31× gegenüber AReaL.
Ressourceneffizienz: Das Offloading der Belohnung auf Serverless-Infrastruktur steigerte die Reward-GPU-Auslastung von 6 % auf 88 % und halbierte die Rollout-Zeit pro Schritt.
Skalierbarkeit: Demonstrierte überlegene Skalierungseffizienz auf Qwen3-14B und lieferte einen 1,33–2,08× höheren Durchsatz als Baselines, während die Clustergröße von 64 auf 128 GPUs anstieg.
Staleness-Trade-off: Eine Asynchronitäts-Grenze von $\alpha=1$ wurde gefunden, um die Trainingsgeschwindigkeit und die Modell-Konvergenzqualität effektiv auszubalancieren.

Bedeutung

Das Paper behauptet, dass ROLLART effektiv das „Ressourcen-Heterogenitäts-Problem“ adressiert, welches die Skalierung von Agentic RL begrenzt hat. Durch die Abkehr von monolithischen oder grob entkoppelten Architekturen zeigt ROLLART, dass eine feingranulare, hardware-affinitätsbewusste Disaggregation essenziell ist, um den Durchsatz in Multi-Task Agentic RL zu maximieren. Die Fähigkeit des Systems, hohen Durchsatz und Fehlertoleranz auf einem 3.000+ GPU-Cluster aufrechtzuerhalten, validiert seine Stabilität für den Produktionseinsatz und bietet einen Blueprint für das Training großer agentischer Modelle auf heterogener Infrastruktur.