🤖 AI

RollArt: Disaggregated Multi-Task Agentic RL Training at Scale

RollArt is een gedisaggregeerd multi-task agentisch RL-systeem dat de trainingsdoorvoer en schaalbaarheid optimaliseert door pipeline-stadia toe te wijzen aan gespecialiseerde hardware, traject-niveau interacties te ontkoppelen om synchronisatie-bottlenecks te elimineren, en rollouts te overlappen met training via asynchrone gewichtsupdates, waarmee tot 2,05× snellere trainingstijden op grootschalige clusters wordt bereikt.

Oorspronkelijke auteurs: Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng, Wei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar zeer specifieke robot (een AI) probeert te leren hoe hij complexe problemen moet oplossen, zoals het schrijven van softwarecode of het navigeren op een website. Om dit te doen, geef je hem niet alleen een tekstboek; je laat hem oefenen in een realistische simulatie. Dit proces wordt Agentic Reinforcement Learning genoemd.

De paper introduceert een nieuw systeem genaamd ROLLART dat fungeert als een super-efficiënte verkeersregelaar voor dit trainingsproces. Zo werkt het, met behulp van eenvoudige analogieën.

Het Probleem: De "One-Size-Fits-All" Filesituatie

Stel je een fabriek voor waar één enkel team van arbeiders drie zeer verschillende taken moet uitvoeren:

Denken: Moeilijke wiskundige problemen oplossen (vereist een snel brein).
Lezen: Snel lange boeken lezen (vereist snelle ogen).
Bouwen: Fysieke onderdelen assembleren (vereist sterke handen).

In oudere systemen gebruikte iedereen hetzelfde type arbeider voor alles. Als je een "snel brein"-arbeider aan "lezen" toewees, waren ze traag. Als je een "sterke hand"-arbeider aan "wiskunde" toewees, waren ze traag. Bovendien, als één arbeider vast kwam te zitten bij het repareren van een kapot speelgoedje (een "straggler"), moest de hele fabriek stoppen en op hen wachten voordat er naar de volgende stap kon worden gegaan. Dit veroorzaakte enorme vertragingen.

De Oplossing: ROLLART's Gespecialiseerde Assemblagelijn

ROLLART lost dit op door de fabriek op te delen in gespecialiseerde zones en verschillende teams op hun eigen tempo te laten werken.

1. Werkers Matchen aan de Juiste Gereedschappen (Hardware Affinity)

Het systeem beseft dat sommige taken rekenkracht nodig hebben (zoals het oplossen van wiskunde) en andere taken geheugensnelheid (zoals het lezen van lange teksten).

De Oude Manier: Iedereen gebruikte dezelfde dure, zware computer.
De ROLLART-Manier: Het stuurt de "wiskunde"-taken naar super-snelle computers en de "lees"-taken naar computers met een enorme, snelle geheugencapaciteit. Het is alsof je een chef naar een keuken stuurt met een krachtig fornuis en een bibliothecaris naar een bibliotheek met een enorme, snelle kaartcatalogus. Ze krijgen de klus sneller gedaan omdat ze het juiste gereedschap gebruiken voor de klus.

2. Werkers hun Eigen Tempo Laten Bepalen (Trajectory-Level Asynchrony)

In de oude fabriek, als één arbeider 10 minuten nodig had voor een taak terwijl anderen 1 minuut nodig hadden, stond de hele lijn 10 minuten stil.

De ROLLART-Manier: Het behandelt elke individuele oefenronde (een "trajectory") als een onafhankelijk project. Als één robot vastloopt op een moeilijke puzzel, blijven de andere robots aan hun eigen puzzels werken. Het systeem wacht niet op de trage eenheid; het houdt de snelle eenheden gewoon in beweging. Zodra de trage eenheid eindelijk klaar is, wordt deze beoordeeld, en de snelle eenheden gaan door naar nieuwe taken.

3. "Gig Workers" Inzetten voor Simpele Taken (Serverless Offloading)

Nadat een robot een taak heeft voltooid, moet iemand deze beoordelen. Soms is dit een simpele controle (zoals "is de deur geopend?"), en soms is het een complexe beoordeling door een andere AI.

De Oude Manier: Je hield een team van dure, krachtige computers stand-by terwijl ze niets deden, wachtend om deze simpele taken te beoordelen. Het was duur om ze "stand-by" te houden, zelfs als ze niet werkten.
De ROLLART-Manier: Het maakt gebruik van "gig workers" (serverless cloud computing). Je betaalt alleen voor de beoordeling wanneer deze daadwerkelijk plaatsvindt. Als er niemand beoordeelt, betaal je niets. Dit bevrijdt de dure computers om zich te concentreren op het zware werk van het onderwijzen van de robot.

4. Leren Terwijl Men Leert (Bounded-Staleness Training)

Normaal gesproken werken de leraar (de trainingscomputer) en de leerling (de robot die oefent) om de beurt. De leerling oefent, stopt, wacht tot de leraar zijn kennis bijwerkt, en begint dan weer.

De ROLLART-Manier: De leraar en de leerling werken tegelijkertijd. De leerling blijft oefenen met de kennis van de leraar van "gisteren", terwijl de leraar bezig is met het bijwerken van de kennis van "vandaag". Het systeem zorgt ervoor dat de leerling niet te ver achterloopt (met een "staleness bound"), maar ze hoeven nooit te stoppen om te wachten. Het is als een coach die nieuwe instructies roept naar een hardloper terwijl de hardloper al aan het sprinten is, in plaats van de hardloper bij de startlijn te laten stoppen elke keer als de coach een nieuwe tip heeft.

De Resultaten

De paper testte dit systeem op een enorme schaal (met meer dan 3.000 computers bij Alibaba).

Snelheid: Het maakte het trainingsproces 1,3 tot 2 keer sneller dan eerdere methoden.
Efficiëntie: Het stopte met het verspillen van dure computerkracht aan stationaire taken.
Stabiliteit: Het bewees dat het systeem zelfs wanneer er dingen misgaan (zoals een computer die crasht of een taak die te lang duurt), blijft draaien zonder te breken.

Kortom, ROLLART is een slimme manager die het "wachtspel" tijdens AI-training stopt. Het plaatst de juiste taken op de juiste computers, laat snelle werkers doorgaan zelfs als trage werkers achterblijven, en gebruikt goedkope hulp op aanvraag voor simpele klusjes, wat resulteert in een veel snellere en goedkopere manier om geavanceerde AI te trainen.

Technisch Overzicht: ROLLART

Probleemstelling

Agentic Reinforcement Learning (RL) traint Large Language Models (LLM's) via interacties met meerdere beurten met externe omgevingen. Dit paradigma introduceert een complexe, heterogene workload die vier verschillende stadia combineert: rollout (LLM-generatie), omgevingsuitvoering, beloningsevaluatie en training.

Bestaande systemen slagen er niet in de fundamentele resource-heterogeniteit aan te pakken die inherent is aan deze stadia:

Generatie-heterogeniteit: LLM-generatie wisselt af tussen compute-gebonden prefill (dominant bij lang-context, multi-turn taken) en bandwidth-gebonden decoding (dominant bij kort-turn, long-chain-of-thought taken). Huidige systemen wijzen de rollout vaak toe aan één enkel GPU-type, waarbij ze negeren dat compute-geoptimaliseerde GPU's (bijv. H800) uitblinken in prefill, terwijl bandwidth-geoptimaliseerde GPU's (bijv. H20) uitblinken in decoding.
Omgevings-stragglers: Omgevingen zijn stateful, CPU-gebonden processen die gevoelig zijn voor heavy-tailed latentie door container-initialisatie (Docker pulls), netwerkcongestie en variabele interactie-beurten. Bij gebatchte executie vertraagt een trage omgeving de gehele pipeline.
Onderbenutting van Beloning: Beloningsberekening is vaak stateless en bursty. Het samenloceren van beloning met de rollout op specifieke GPU's leidt tot ernstige onderbenutting (zo laag als 7,4%), terwijl het koppelen aan generatie zorgt voor resource-concurrentie.
Synchronisatie-overhead: Traditionele synchrone training dwingt rollout-workers om te wachten tijdens de synchronisatie van gewichten over clusters, wat "dependency bubbles" creëert die dure GPU-resources verspillen.

Methodologie: ROLLART

ROLLART is een gedistribueerd systeem ontworpen voor multi-task agentic RL op gedisaggregeerde infrastructuur. Het mapt elk stadium van de pipeline naar de hardware die het best geschikt is voor de specifieke kenmerken ervan en ontkoppelt de stadia om synchronisatie-bottlenecks te elimineren.

Kernontwerpeisen

Het systeem wordt gedreven door vier empirisch afgeleide eisen:

R1 (Hardware-Affiniteitsmapping): Bind specifieke taken of sub-stadia aan de best passende hardware. Prefill-zware taken worden gerouteerd naar compute-geoptimaliseerde GPU's; decode-zware taken naar bandwidth-geoptimaliseerde GPU's; omgevingen draaien op CPU-clusters; en stateless beloningen draaien op serverless infrastructuur.
R2 (Traject-niveau Asynchroniteit): Ontkoppel generatie, omgevingsinteractie en beloningsscoring op de granulariteit van individuele trajecten. Dit zorgt ervoor dat trage of gefaalde omgevingen de voortgang van andere trajecten niet blokkeren.
R3 (Serverless Offloading): Verplaats stateless beloningsberekening naar serverless platforms (bijv. Function Compute) om dedicated hot-standby GPU's te elimineren en elastische schaling mogelijk te maken.
R4 (Bounded-Staleness Training): Voer training en rollout gelijktijdig uit op aparte GPU-clusters. Een protocol met een begrensd verval (staleness-bounded protocol) staat training toe op een iets oudere policy terwijl de rollout doorgaat, waardoor weight synchronisatie wordt overlapt met generatie om latentie te verbergen.

Systeemarchitectuur

ROLLART bestaat uit drie vlakken:

Resource Plane: Een resource manager houdt heterogene hardwarepools bij (H800, H20, CPU, Serverless) en bindt workers aan resources op basis van door de gebruiker opgegeven hardware-affiniteiten via Python decorators.
Data Plane: Implementeert de pipeline met behulp van Worker en Cluster abstracties. Het kapselt executie-logica in (bijv. vLLM voor generatie, Megatron voor training) en handelt de offloading van stateless taken af naar serverless endpoints.
Control Plane: Orkestreert de workflow zonder gebruikersinterventie. Belangrijke componenten zijn:
- LLMProxy: Dispatcht generatieverzoeken per traject, waardoor clients worden ontkoppeld van inference workers.
- EnvManager: Beheert individuele levenscycli van omgevingen onafhankelijk, wat parallelle progressie mogelijk maakt.
- SampleBuffer: Buffert gescoorde trajecten voor training.
- Asynchronous Training Protocol: Een zes-stappen synchronisatieproces (Get Batch → Suspend → Update → Resume → Recompute KV → Train) dat training overlapt met de rollout. Het bevat een verval-grens ( $\alpha$ ) om trajecten die te oud zijn af te breken, om de stabiliteit van de training te waarborgen.

Optimalisaties

Redundante Omgevings-rollouts: Start meer omgevingen dan strikt noodzakelijk om fouten en stragglers te maskeren; in-flight trajecten worden beëindigd zodra de doelbatch is verzameld.
Prefill-Decoding (PD) Disaggregatie: Verfijnt R1 verder door de prefill- en decoding-fasen van hetzelfde verzoek naar verschillende hardwaretypes te routeren (compute vs. bandwidth geoptimaliseerd).
Asynchrone Gewichtsoverdracht: Gebruikt een Mooncake-gebaseerde store om gewichten asynchroon te pushen. Inference workers halen gewichten op aanvraag op, waardoor de cross-cluster transfer latentie wordt verborgen achter de lopende rollout.

Belangrijkste Bijdragen

Gedisaggregeerde Infrastructuur voor Agentic RL: ROLLART is het eerste systeem dat gezamenlijk prefill/decode divergentie, long-tail omgevings-stragglers, stateless belonings-onderbenutting en cross-cluster bandwidth variabiliteit op productie-schaal aanpakt.
Declaratief Programmeermodel: Biedt een uniforme interface voor gebruikers om hardware-affiniteiten te verklaren en stateless taken te offloaden via decorators, waarbij de complexiteit van heterogeen resourcebeheer wordt geabstraheerd.
Traject-niveau Ontkoppeling: Introduceert een ontwerp waarbij individuele trajecten onafhankelijk door generatie, omgevingsinteractie en beloning bewegen, waardoor batch-niveau synchronisatiebarrières worden geëlimineerd.
Validatie op Productieschaal: Succesvol ingezet op een Alibaba-cluster met meer dan 3.000 GPU's om een hundreds-of-billions-parameter Mixture-of-Experts (MoE) model voor het Qoder-product te trainen, dat continu een week lang draaide.

Resultaten

Doorvoersnelheid Verbetering: ROLLART bereikt een 2,65–4,58× hogere doorvoer vergeleken met een versterkte synchrone baseline (Sync+).
Reductie van Trainingstijd: Vergeleken met diverse baselines vermindert ROLLART de trainingstijd met:
- 2,05× ten opzichte van een versterkte synchrone baseline (Sync+).
- 1,35× ten opzichte van een One-off baseline.
- 1,31× ten opzichte van AReaL.
Resource Efficiëntie: Het offloaden van beloning naar serverless infrastructuur verhoogde de belonings-GPU-benutting van 6% naar 88% en halveerde de per-stap rollout tijd.
Schaalbaarheid: Toonde superieure schalingsefficiëntie op Qwen3-14B, waarbij een 1,33–2,08× hogere doorvoer werd geleverd dan baselines naarmate de clustergrootte toenam van 64 naar 128 GPU's.
Staleness Trade-off: Een asynchrone grens van $\alpha=1$ bleek effectief de balans te vinden tussen trainingssnelheid en de kwaliteit van modelconvergentie.

Betekenis

Het artikel stelt dat ROLLART effectief het "resource-heterogeniteit probleem" aanpakt dat de schaling van agentic RL heeft beperkt. Door weg te bewegen van monolithische of grof gedecoupleerde architecturen, demonstreert ROLLART dat fijnmazige, hardware-affiniteitsbewuste disaggregatie essentieel is voor het maximaliseren van de doorvoer in multi-task agentic RL. Het vermogen van het systeem om een hoge doorvoer en fouttolerantie te handhaven op een 3.000+ GPU cluster, valideert de stabiliteit voor productiegebruik en biedt een blauwdruk voor het trainen van grootschalige agentic modellen op heterogene infrastructuur.