💬 NLP

Claw-R1: A Step-Level Data Middleware System for Agentic Reinforcement Learning

Claw-R1 est un système de middleware de données au niveau de l'étape pour l'apprentissage par renforcement agentique qui gère le cycle de vie complet des interactions agent-environnement en capturant, organisant et organisant les traces d'interaction en actifs de données prêts pour l'entraînement.

Auteurs originaux : Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un assistant robotique très intelligent (un agent d'IA) pour accomplir des tâches complexes, comme écrire du code ou naviguer sur le Web. Pour rendre ce robot plus intelligent, vous utilisez une méthode appelée Apprentissage par Renforcement (RL - Reinforcement Learning). Considérez cela comme l'entraînement d'un chien : quand le chien fait quelque chose de bien, vous lui donnez une friandise (une « récompense ») ; quand il fait quelque chose de mal, vous l'ignorez. Avec le temps, le chien apprend quelles actions permettent d'obtenir des friandises.

Cependant, l'entraînement de ces agents d'IA est désordonné. Le robot interagit avec le monde à travers des conversations longues et compliquées. Il peut écrire une ligne de code, vérifier si elle fonctionne, corriger un bug, puis écrire une autre ligne. Cela crée un flux de données énorme et chaotique — comme un tas de reçus, de notes et de gribouillis jetés dans une poubelle après chaque tâche.

Le Problème :
Actuellement, la plupart des systèmes d'entraînement d'IA sont mauvais pour gérer ce désordre. Ils traitent ces données d'interaction comme des journaux de bord temporaires. Si vous voulez changer le comportement du robot ou passer à une méthode d'entraînement différente, vous devez reconstruire tout le système de zéro car les données sont emmêlées avec la façon spécifique de travailler du robot. C'est comme essayer de cuisiner une nouvelle recette, mais vos ingrédients sont coincés à l'intérieur des anciennes marmites.

La Solution : Claw-R1
Les auteurs de cet article ont créé un système appelé Claw-R1. Considérez Claw-R1 non pas comme le robot lui-même, ni comme le professeur, mais comme un bibliothécaire et un entrepôt de données hautement organisés qui se situe entre le robot et le professeur.

Voici comment cela fonctionne, en utilisant quelques analogies :

1. Le Serveur Passerelle : Le « Traducteur Universel »

Imaginez que le robot parle un dialecte très spécifique et désordonné. Le Serveur Passerelle agit comme un traducteur universel. Peu importe la manière dont le robot interagit avec le monde (qu'il s'agisse d'un service « boîte noire » dont vous ne pouvez pas voir l'intérieur, ou d'un agent « boîte blanche » que vous avez construit vous-même), la Passerelle capture chaque étape de la conversation. Elle traduit les interactions brutes et chaotiques en un format propre et standardisé. C'est comme prendre un journal intime manuscrit et chaotique pour le saisir dans un tableur propre et normalisé.

2. Le Pool de Données : Le « Classeur Intelligent »

Une fois les données traduites, elles vont dans le Pool de Données. Ce n'est pas seulement un disque dur ; c'est un classeur intelligent qui organise l'information par « étapes ».

Enregistrements au niveau de l'étape : Au lieu de stocker toute la conversation comme un seul gros bloc, il la décompose en étapes individuelles : Quel était le prompt ? Quelle était la réponse ? Y a-t-il eu une récompense ?
Métadonnées : Il marque chaque étape avec des informations utiles, comme « cette étape est de haute qualité » ou « cette étape est prête pour l'entraînement ».

3. Fusion par Arbre de Préfixes : Le « Compresseur Intelligent »

Voici une astuce ingénieuse. Souvent, le robot commence de nombreuses tâches différentes avec la même longue introduction (par exemple, « Je suis un assistant de codage, voici le fichier... »). Stocker cette longue introduction encore et encore est un gaspillage.
Claw-R1 utilise une technique appelée fusion par arbre de préfixes (prefix-tree merging). Imaginez que vous avez 100 lettres qui commencent toutes par le même long paragraphe. Au lieu d'imprimer ce paragraphe 100 fois, vous l'imprimez une seule fois sur une feuille maîtresse, puis vous y attachez les fins uniques de chaque lettre. Cela permet d'économiser une quantité massive de puissance de calcul et d'espace de stockage, rendant le processus d'entraînement beaucoup plus rapide et moins coûteux.

4. Le Tableau de Bord Interactif : La « Salle de Contrôle »

L'article inclut une démo où les utilisateurs peuvent voir ce système en action. C'est comme une salle de contrôle pour une mission spatiale.

Surveillance en direct : Vous pouvez regarder les interactions du robot se produire en temps réel.
Curation de données : Vous pouvez parcourir le « classeur » et choisir uniquement les meilleurs exemples pour l'entraînement. Vous pouvez filtrer les mauvaises étapes ou les conversations incomplètes.
Préparation de l'entraînement : Vous pouvez regrouper ces étapes propres et curées en « lots » (batches) qui sont prêts à être utilisés par le professeur d'IA.

Pourquoi cela est important

Avant Claw-R1, les données des agents d'IA étaient traitées comme des journaux temporaires — utiles pour le débogage, mais pas pour l'apprentissage à long terme. Claw-R1 traite ces données comme des actifs gérés — précieux, organisés et réutilisables.

En séparant la collecte des données de l'entraînement du modèle, Claw-R1 permet aux développeurs de :

Passer d'un robot d'IA à un autre sans casser leurs systèmes d'entraînement.
Voir exactement ce que l'IA apprend, étape par étape.
Économiser de l'argent et du temps en compressant les données redondantes.

En résumé, Claw-R1 transforme le bruit chaotique des interactions d'IA en une bibliothèque de leçons propre et organisée qui peut être facilement utilisée pour rendre les agents d'IA plus intelligents.

Résumé Technique : Claw-R1

Énoncé du Problème

L'apprentissage par renforcement (RL) agentique est devenu un paradigme de post-entraînement critique pour transformer les grands modèles de langage (LLM) de chatbots statiques en agents interactifs capables d'utiliser des outils et d'exécuter des tâches multi-tours. Bien que des progrès significatifs aient été réalisés dans les algorithmes de RL (par exemple, PPO, GRPO) et les frameworks d'entraînement (par exemple, veRL, slime), une lacune critique subsiste dans la gestion du cycle de vie des données des interactions agent-environnement.

Les systèmes actuels couplent souvent étroitement les runtimes d'agents avec les backends d'entraînement RL. À mesure que les agents deviennent plus hétérogènes — gérant des contextes longs, exécutant des commandes Bash, éditant des fichiers et incorporant des corrections humaines — ce couplage crée des goulots d'étranglement à l'échelle. Chaque nouveau type d'agent nécessite une interface personnalisée, et les traces d'interaction sont fréquemment traitées comme des journaux d'exécution transitoires plutôt que comme des actifs de données gérés. Il existe un manque de système unifié pour collecter, représenter, organiser et optimiser ces traces en actifs structurés et consommables pour divers algorithmes de RL en aval.

Méthodologie : Système Claw-R1

Pour répondre à ces défis, les auteurs proposent Claw-R1, un système de middleware de données au niveau du pas (step-level) conçu pour découpler les runtimes d'agents hétérogènes des backends d'entraînement RL. Le système traite le RL agentique comme un processus de transformation de données d'interaction brutes en actifs d'entraînement structurés.

Architecture Centrale

Claw-R1 se compose de deux composants principaux :

Serveur Passerelle (Gateway Server) : Agit comme le point d'entrée d'ingestion. Il fournit une interface unifiée pour la collecte de données d'interaction provenant de diverses sources :
- Agents Boîte Noire (Black-box Agents) : Capture les appels LLM via un point d'entrée compatible avec l'API OpenAI, convertissant les requêtes et les réponses en enregistrements de pas (step records).
- Agents Boîte Blanche (White-box Agents) : Accepte des soumissions de pas explicites contenant des IDs de prompts, des IDs de réponses, des récompenses et des métadonnées.
- Services Boîte Noire (Black-box Services) : Reçoit des événements d'interaction en direct et des retours humains via des interfaces HTTP.
Pool de Données (Data Pool) : Sert de cœur de la gestion des données. Il stocke des enregistrements persistants incluant les complétions, les réalisations au niveau du token, les récompenses, les relations de trajectoire, les groupes de prompts, les versions de politiques et les métadonnées sources. Il construit des index sur les IDs de prompts, les IDs de réponses, les trajectoires et les drapeaux de récompense/statut.

Principes de Conception Clés

Abstraction de Données au Niveau du Pas (Step-Level) : Le système modélise le RL agentique comme un processus de décision markovien (MDP) au niveau du pas. Chaque pas $t$ enregistre un état $s_t$ , une action $a_t$ et une récompense $r_t$ . Cette abstraction élimine la logique spécifique au runtime (outils, templates), ne préservant que l'entrée, la sortie et la récompense, garantissant ainsi une interface de données cohérente entre les agents hétérogènes.
Ingestion à Faible Intrusion : S'intègre aux systèmes d'agents existants sans nécessiter de framework d'exécution unifié ou de modifications de code intrusives.
Découplage Asynchrone : Sépare la collecte de données de l'entraînement du modèle pour supporter des charges de travail d'agents évolutives et fonctionnant en continu avec diverses latences d'exécution.
Optimisation des Données (Fusion par Arbre de Préfixes) : Reconnaissant que de multiples trajectoires partagent souvent de longs préfixes de contexte avant de diverger, Claw-R1 organise les pas possédant des préfixes de tokens partagés dans un arbre de pas fusionné. Cela réduit le calcul redondant de long contexte lors de la préparation de l'entraînement sans altérer la sémantique des pas ou les structures de récompense.

Flux de Travail Utilisateur

Le système expose l'intégralité du cycle de vie des données via un tableau de bord interactif :

Collecte : Surveillance des trajectoires en direct entrant de diverses sources.
Représentation : Inspection des enregistrements normalisés au niveau du pas (prompts, réponses, récompenses).
Curation : Filtrage des données par qualité, état de préparation, statut de récompense et fraîcheur de la politique pour construire des ensembles d'entraînement spécifiques.
Optimisation : Visualisation des fusions d'arbres de préfixes et des économies de tokens pour préparer les données à un calcul de long contexte efficace.
Consommation : Configuration de lots prêts pour l'entraînement pour les algorithmes de RL en aval via des interfaces basées sur le mode "pull", permettant au backend d'entraînement de récupérer les données sans comprendre le runtime de l'agent.

Contributions Clés

Le document expose trois contributions principales :

Identification d'une Lacune Critique : Les auteurs identent la gestion du cycle de vie des données — de la production d'interaction à la consommation pour l'entraînement — comme un défi clé et sous-adressé dans le RL agentique.
Proposition de Système (Claw-R1) : Ils présentent un middleware de données au niveau du pas qui découple les runtimes d'agents des backends de RL en utilisant un Serveur Passerelle et un Pool de Données, permettant au backend de consommer des données structurées indépendamment de la logique spécifique à l'agent.
Démonstration Interactive : Le document fournit une démonstration du cycle de vie des données du RL agentique, illustrant la surveillance des trajectoires, la curation des données, l'optimisation du stockage (via la fusion d'arbres de préfixes) et la préparation de l'entraînement.

Résultats et Revendications

Le document ne présente pas de résultats expérimentaux quantitatifs concernant l'amélioration des performances de RL (par exemple, des scores plus élevés sur des benchmarks) ou des comparaisons de l'efficacité de l'entraînement par rapport à des baselines sans middleware. Au lieu de cela, les "résultats" sont présentés comme une démonstration fonctionnelle des capacités du système.

Les auteurs affirment que Claw-R1 réussit à :

Transformer les interactions brutes du runtime de l'agent en données d'entraînement structurées, curées et entièrement consommables.
Permettre au backend de RL de fonctionner sans avoir besoin de comprendre la logique interne du runtime de l'agent.
Réduire la surcharge de calcul grâce à la fusion d'arbres de préfixes, évitant le recalcul de longs préfixes dupliqués.
Faire de la collecte et de la curation de données un processus observable et explicite de la méthode de travail du RL, plutôt qu'un processus de journalisation implicite.

Signification

Le document plaide pour un changement de paradigme dans l'infrastructure du RL agentique. Il soutient que les traces d'interaction doivent être traitées comme des actifs de données gérés plutôt que comme des journaux de runtime temporaires. En adoptant une perspective centrée sur les données, Claw-R1 vise à soutenir un développement d'agents plus évolutif et à fournir une base pour de futurs systèmes qui améliorent conjointement l'exécution des agents, la qualité des données et l'efficacité de l'entraînement par RL. Ce travail encourage la communauté à reconnaître l'importance d'un middleware de gestion de données robuste dans l'évolution du RL agentique.