🤖 AI

RollArt: Disaggregated Multi-Task Agentic RL Training at Scale

RollArt est un système d'apprentissage par renforcement (RL) agentique multi-tâches désagrégé qui optimise le débit d'entraînement et la scalabilité en mappant les étapes du pipeline sur du matériel spécialisé, en découplant les interactions au niveau des trajectoires pour éliminer les goulots d'étranglement de synchronisation, et en chevauchant la génération de données (rollout) avec l'entraînement via des mises à jour de poids asynchrones, atteignant jusqu'à 2,05× des temps d'entraînement plus rapides sur des clusters à grande échelle.

Auteurs originaux : Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng, Wei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot brillant mais très spécifique (une IA) comment résoudre des problèmes complexes, comme écrire du code informatique ou naviguer sur un site web. Pour ce faire, vous ne lui donnez pas seulement un manuel ; vous le laissez s'entraîner dans une simulation du monde réel. Ce processus est appelé Apprentissage par Renforcement Agentique.

Le document présente un nouveau système appelé ROLLART qui agit comme un contrôleur de trafic super efficace pour ce processus d'entraînement. Voici comment il fonctionne, en utilisant des analogies simples.

Le Problème : L'embouteillage du "Taille Unique"

Imaginez une usine où une seule équipe d'ouvriers doit accomplir trois tâches très différentes :

Réfléchir : Résoudre des problèmes mathématiques difficiles (nécessite un cerveau rapide).
Lire : Lire de longs livres rapidement (nécessite des yeux rapides).
Construire : Assembler des pièces physiques (nécessite des mains fortes).

Dans les anciens systèmes, tout le monde utilisait le même type d'ouvrier pour tout. Si vous assigniez un ouvrier "cerveau rapide" à la "lecture", il était lent. Si vous assigniez une "main forte" aux "mathématiques", elle était lente. De plus, si un ouvrier restait bloqué à réparer un jouet cassé (un "traînard"), toute l'usine devait s'arrêter et attendre qu'il finisse avant de passer à l'étape suivante. Cela causait des retards massifs.

La Solution : La chaîne de montage spécialisée de ROLLART

ROLLART corrige cela en divisant l'usine en zones spécialisées et en laissant les différentes équipes travailler à leur propre rythme.

1. Associer les travailleurs aux bons outils (Affinité Matérielle)

Le système réalise que certaines tâches nécessitent de la puissance de calcul (comme résoudre des mathématiques) et d'autres nécessitent de la vitesse de mémoire (comme lire de longs textes).

L'ancienne méthode : Tout le monde utilisait le même ordinateur coûteux et ultra-puissant.
La méthode ROLLART : Il envoie les tâches de "mathématiques" vers des ordinateurs super rapides et les tâches de "lecture" vers des ordinateurs dotés d'une mémoire énorme et rapide. C'est comme envoyer un chef dans une cuisine avec un four haute puissance et un bibliothécaire dans une bibliothèque avec un immense catalogue rapide. Ils accomplissent le travail beaucoup plus vite car ils utilisent l'outil adapté à la tâche.

2. Laisser les travailleurs avancer à leur propre rythme (Asynchronie au niveau de la trajectoire)

Dans l'ancienne usine, si un ouvrier mettait 10 minutes pour terminer une tâche alors que les autres mettaient 1 minute, toute la ligne s'arrêtait pendant 10 minutes.

La méthode ROLLART : Il traite chaque session d'entraînement (appelée "trajectoire") comme un projet indépendant. Si un robot reste bloqué sur un puzzle difficile, les autres robots continuent de travailler sur leurs propres puzzles. Le système ne attend pas le plus lent ; il laisse simplement les plus rapides continuer. Une fois que le plus lent a enfin terminé, il est évalué, et les plus rapides passent à de nouvelles tâches.

3. Embaucher des "travailleurs à la demande" pour les tâches simples (Déchargement Serverless)

Après qu'un robot a terminé une tâche, quelqu'un doit la noter. Parfois, il s'agit d'une vérification simple (comme "est-ce que la porte est ouverte ?"), et parfois, c'est une révision complexe effectuée par une autre IA.

L'ancienne méthode : On gardait une équipe d'ordinateurs coûteux et de haute puissance en attente pour noter ces tâches simples. Il était coûteux de les garder "en stand-by" même lorsqu'ils ne travaillaient pas.
La méthode ROLLART : Il utilise des "travailleurs à la demande" (calcul cloud sans serveur/serverless). Vous ne payez pour la notation que lorsqu'elle se produit réellement. Si personne ne note, vous ne payez rien. Cela libère les ordinateurs coûteux pour qu'ils puissent se concentrer sur le travail difficile d'enseignement au robot.

4. Enseigner tout en apprenant (Entraînement à obsolescence limitée)

Habituellement, le professeur (l'ordinateur d'entraînement) et l'élève (le robot en pratique) se relaient. L'élève s'entraîne, s'arrête, attend que le professeur mette à jour ses connaissances, puis recommence.

La méthode ROLLART : Le professeur et l'élève travaillent en même temps. L'élève continue de s'entraîner avec la version de "hier" des connaissances du professeur pendant que le professeur est occupé à mettre à jour la version de "aujourd'hui". Le système veille à ce que l'élève ne prenne pas trop de retard (en utilisant une "limite d'obsolescence"), mais ils n'ont jamais besoin de s'arrêter pour attendre. C'est comme un entraîneur criant de nouvelles instructions à un coureur pendant que celui-ci est déjà en plein sprint, plutôt que de faire arrêter le coureur à la ligne de départ à chaque fois que l'entraîneur a un nouveau conseil.

Les Résultats

Le document a testé ce système à une échelle massive (en utilisant plus de 3 000 ordinateurs chez Alibaba).

Vitesse : Il a rendu le processus d'entraînement 1,3 à 2 fois plus rapide que les méthodes précédentes.
Efficacité : Il a cessé de gaspiller la puissance informatique coûteuse sur des tâches inactives.
Stabilité : Il a prouvé que même lorsque des problèmes surviennent (comme le plantage d'un ordinateur ou une tâche qui prend trop de temps), le système continue de fonctionner sans se briser.

En résumé, ROLLART est un gestionnaire intelligent qui met fin au "jeu de l'attente" dans l'entraînement de l'IA. Il place les bonnes tâches sur les bons ordinateurs, laisse les travailleurs rapides avancer même si les plus lents accusent un retard, et utilise une aide bon marché et à la demande pour les tâches simples, ce qui permet d'entraîner des IA avancées de manière beaucoup plus rapide et moins coûteuse.

Résumé Technique : ROLLART

Problématique

L'apprentissage par renforcement (RL) agentique entraîne les grands modèles de langage (LLM) via des interactions multi-tours avec des environnements externes. Ce paradigme introduit une charge de travail complexe et hétérogène qui mélange quatre étapes distinctes : le rollout (génération par le LLM), l'exécution de l'environnement, l'évaluation de la récompense et l'entraînement.

Les systèmes existants ne parviennent pas à traiter l'hétérogénéité fondamentale des ressources inhérente à ces étapes :

Hétérogénéité de la génération : La génération par LLM alterne entre le prefill (pré-remplissage) limité par le calcul (dominant dans les tâches à contexte long et multi-tours) et le decoding (décodage) limité par la bande passante (dominant dans les tâches à tours courts et chaînes de pensée longues). Les systèmes actuels assignent souvent le rollout à un type de GPU unique, ignorant que les GPU optimisés pour le calcul (ex: H800) excellent dans le prefill tandis que les GPU optimisés pour la bande passante (ex: H20) excellent dans le décodage.
Éléments traînards de l'environnement (Stragglers) : Les environnements sont des processus liés au CPU et dotés d'un état, sujets à une latence à queue lourde due à l'initialisation des conteneurs (Docker pulls), à la contention réseau et aux variables de tours d'interaction. Dans une exécution par lots, les environnements lents bloquent l'ensemble du pipeline.
Sous-utilisation de la récompense : Le calcul de la récompense est souvent sans état (stateless) et par rafales. Le colocaliser avec le rollout sur des GPU dédiés entraîne une sous-utilisation sévère (jusqu'à 7,4 %), tandis que le coupler avec la génération crée une contention de ressources.
Surcharge de synchronisation : L'entraînement synchrone traditionnel force les travailleurs de rollout à rester inactifs en attendant la synchronisation des poids à travers les clusters, créant des « bulles de dépendance » qui gaspillent des ressources GPU coûteuses.

Méthodologie : ROLLART

ROLLART est un système distribué conçu pour le RL agentique multi-tâches sur une infrastructure désagrégée. Il mappe chaque étape du pipeline au matériel le mieux adapté à ses caractéristiques spécifiques et découple les étapes pour éliminer les goulots d'étranglement de synchronisation.

Exigences de conception de base

Le système est piloté par quatre exigences dérivées empiriquement :

R1 (Mapping d'affinité matérielle) : Lier des tâches ou des sous-étapes spécifiques au matériel le plus adapté. Les tâches lourdes en prefill sont routées vers des GPU optimisés pour le calcul ; les tâches lourdes en décodage vers des GPU optimisés pour la bande passante ; les environnements s'exécutent sur des clusters CPU ; et les récompenses sans état tournent sur une infrastructure serverless.
R2 (Asynchronie au niveau de la trajectoire) : Découpler la génération, l'interaction avec l'environnement et le scoring de la récompense à la granularité des trajectoires individuelles. Cela garantit que les environnements lents ou défaillants ne bloquent pas la progression des autres trajectoires.
R3 (Déchargement Serverless) : Décharger le calcul de la récompense sans état vers des plateformes serverless (ex: Function Compute) pour élimer les GPU dédiés en attente active et permettre une mise à l'échelle élastique.
R4 (Entraînement à obsolescence bornée) : Exécuter l'entraînement et le rollout concurremment sur des clusters GPU distincts. Un protocole à obsolescence bornée permet à l'entraînement de procéder sur des politiques légèrement plus anciennes pendant que le rollout continue, superposant la synchronisation des poids à la génération pour masquer la latence.

Architecture du système

ROLLART se compose de trois plans :

Plan de Ressources : Un gestionnaire de ressources suit les pools de matériel hétérogènes (H800, H20, CPU, Serverless) et lie les travailleurs aux ressources basées sur les affinités matérielles déclarées par l'utilisateur via des décorateurs Python.
Plan de Données : Implémente le pipeline en utilisant les abstractions Worker et Cluster. Il encapsule la logique d'exécution (ex: vLLM pour la génération, Megatron pour l'entraînement) et gère le déchargement des tâches sans état vers les points de terminaison serverless.
Plan de Contrôle : Orchestre le flux de travail sans intervention de l'utilisateur. Les composants clés incluent :
- LLMProxy : Distribue les requêtes de génération par trajectoire, découplant les clients des travailleurs d'inférence.
- EnvManager : Gère les cycles de vie individuels des environnements de manière indépendante, permettant une progression parallèle.
- SampleBuffer : Met en mémoire tampon les trajectoires scorées pour l'entraînement.
- Protocole d'entraînement asynchrone : Un processus de synchronisation en six étapes (Obtenir le lot → Suspendre → Mettre à jour → Reprendre → Re-calculer le KV → Entraîner) qui superpose l'entraînement au rollout. Il inclut une borne d'obsolescence ( $\alpha$ ) pour interrompre les trajectoires trop anciennes, garantissant la stabilité de l'entraînement.

Optimisations

Rollouts d'environnement redondants : Lance plus d'environnements que strictement nécessaire pour masquer les échecs et les éléments traindards ; les trajectoires en cours sont terminées une fois que le lot cible est collecté.
Désagrégation Prefill-Decoding (PD) : Affine davantage R1 en routant les phases de prefill et de décodage d'une même requête vers des types de matériel différents (optimisés pour le calcul vs la bande passante).
Transfert de poids asynchrone : Utilise un magasin basé sur Mooncake pour pousser les poids de manière asynchrone. Les travailleurs d'inférence tirent les poids à la demande, masquant la latence de transfert inter-cluster derrière le rollout en cours.

Contributions Clés

Infrastructure désagrégée pour le RL agentique : ROLLART est le premier système à traiter conjointement la divergence prefill/decode, les éléments traindards d'environnement à longue traîne, la sous-utilisation des récompenses sans état et la variabilité de la bande passante inter-cluster à l'échelle de la production.
Modèle de programmation déclaratif : Fournit une interface unifiée permettant aux utilisateurs de déclarer des affinités matérielles et de décharger des tâches sans état via des décorateurs, masquant la complexité de la gestion des ressources hétérogènes.
Découplage au niveau de la trajectoire : Introduit une conception où les trajectoires individuelles progressent indépendamment à travers la génération, l'interaction avec l'environnement et la récompense, éliminant les barrières de synchronisation au niveau du lot.
Validation à l'échelle de la production : Déployé avec succès sur un cluster Alibaba de plus de 3 000 GPU pour entraîner un modèle Mixture-of-Experts (MoE) de centaines de milliards de paramètres pour le produit Qoder, fonctionnant en continu pendant une semaine.

Résultats

Amélioration du débit : ROLLART atteint un débit 2,65–4,58× plus élevé par rapport à une base synchrone renforcée (Sync+).
Réduction du temps d'entraînement : Comparé à diverses bases, ROLLART réduit le temps d'entraînement de :
- 2,05× par rapport à une base synchrone renforcée (Sync+).
- 1,35× par rapport à une base "One-off".
- 1,31× par rapport à AReaL.
Efficacité des ressources : Le déchargement de la récompature vers l'infrastructure serverless a augmenté l'utilisation du GPU de récompense de 6 % à 88 % et a divisé par deux le temps de rollout par étape.
Scalabilité : A démontré une efficacité de mise à l'échelle supérieure sur Qwen3-14B, délivrant un débit 1,33–2,08× plus élevé que les bases à mesure que la taille du cluster passait de 64 à 128 GPU.
Compromis d'obsolescence : Une borne asynchrone de $\alpha=1$ a été jugée efficace pour équilibrer la vitesse d'entraînement et la qualité de convergence du modèle.

Signification

L'article affirme que ROLLART traite efficacement le "problème d'hétérogénéité des ressources" qui a limité le passage à l'échelle du RL agentique. En s'éloignant des architectures monolithiques ou grossièrement découplées, ROLLART démontre qu'une désagrégation fine, consciente de l'affinité matérielle, est essentielle pour maximiser le débit dans le RL agentique multi-tâches. La capacité du système à maintenir un débit élevé et une tolérance aux pannes sur un cluster de plus de 3 000 GPU valide sa stabilité pour un usage en production, offrant un modèle pour l'entraînement de modèles agentiques à grande échelle sur des infrastructures hétérogènes.