💻 computer science

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

Le document présente CrossHA, un modèle agentique unifié entraîné via un nouveau pipeline combinant le réglage fin supervisé et l'optimisation de politique relative de groupe multi-tours pour sélectionner et basculer de manière autonome entre des espaces d'action hétérogènes, atteignant ainsi des performances et une adaptabilité de pointe dans des tâches dynamiques à long horizon au sein de l'environnement Minecraft.

Auteurs originaux : Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer au jeu vidéo Minecraft. Par le passé, les chercheurs devaient construire des « cerveaux » distincts pour chaque partie du jeu. Un cerveau était bon pour se déplacer (en utilisant des commandes simples, étape par étape), un autre était bon pour cliquer sur des menus (avec des mouvements de souris précis), et un troisième était bon pour utiliser des raccourcis de haut niveau (comme « aller vers l'arbre le plus proche »).

Le problème est que ces robots étaient rigides. Si une tâche nécessitait de marcher puis de cliquer sur un menu, le robot devenait confus ou bloqué parce qu'il était entraîné à n'utiliser qu'un seul type de « langage » à la fois.

La Grande Idée : L'Agent « Couteau Suisse »
Cette publication présente CrossHA, un nouveau type d'agent IA qui agit comme un chef cuisinier possédant une cuisine complète. Au lieu d'être forcé d'utiliser uniquement une cuillère ou uniquement un couteau, CrossHA apprend à observer l'ingrédient (la tâche) et décide instantanément : « Ai-je besoin d'un hachage grossier (un mouvement simple) ou d'une tranche fine (un clic précis) en ce moment ? »

C'est le premier modèle capable de passer de manière fluide entre différents « langages d'action » à la volée, sans qu'un humain ne lui indique quel langage utiliser à chaque étape.

Comment ils l'ont enseigné (La recette de l'entraînement)

Les chercheurs n'ont pas simplement déversé des données sur le modèle ; ils ont utilisé un pipeline d'entraînement en trois étapes, similaire à la façon dont un humain apprend une compétence complexe :

La phase de « Dégustation » (Affinage supervisé) :
D'abord, ils ont montré au modèle des milliers d'exemples de personnes jouant au jeu en utilisant différentes méthodes (certaines marchaient, d'autres cliquaient, d'autres utilisaient des raccourcis). L'objectif ici était simplement d'enseigner au modèle le « vocabulaire » de toutes ces différentes méthodes afin qu'il puisse toutes les comprendre. C'était comme apprendre à un étudiant à lire l'anglais, l'espagnol et le français, mais sans encore lui demander d'écrire une histoire.
La phase de « Sprint » (RL à tour unique) :
Ensuite, ils ont donné au modèle des défis courts, d'une seule étape. Si le modèle tentait de résoudre un problème en utilisant le mauvais « langage » (par exemple, essayer de traverser une porte verrouillée au lieu de cliquer sur la poignée), il recevait un score faible. S'il choisissait le bon outil pour la tâche, il recevait une récompense. Cela a appris au modèle à faire des choix rapides et intelligents sur quel outil choisir pour un instant donné.
La phase de « Marathon » (RL multi-tours) :
Enfin, ils ont laissé le modèle jouer des parties complètes et longues. L'objectif n'était pas seulement de réussir une étape, mais de terminer toute la quête de manière efficace. Le modèle a appris que parfois, utiliser une méthode « rapide mais grossière » est préférable pour traverser un champ, mais que passer à une méthode « lente mais précise » est nécessaire pour fabriquer un objet délicat. Il a appris à équilibrer vitesse et précision sur un long voyage.

Les Résultats : Pourquoi c'est important

Les chercheurs ont testé ce modèle sur plus de 800 tâches différentes dans Minecraft, allant de l'abattage d'arbres à la fabrication d'objets complexes en passant par le combat contre des monstres.

L'ancienne méthode : Les robots entraînés pour n'utiliser qu'une seule méthode (comme seulement marcher) étaient excellents pour marcher mais médiocres pour la fabrication. Ils étaient comme une personne qui ne sait que courir mais ne sait pas ouvrir une porte.
La méthode CrossHA : Le nouveau modèle était le meilleur en tout. Il ne s'est pas contenté de moyenner les scores ; il excellait parce qu'il savait exactement quand changer de vitesse.

L'analogie du « Conducteur Intelligent » :
Imaginez conduire une voiture.

Un robot à action fixe est comme un conducteur qui ne connaît que l'autoroute. S'il arrive sur un chemin de terre, il s'écrase. S'il arrive sur un parking, il se perd.
CrossHA est comme un conducteur expérimenté qui sait quand passer une vitesse élevée pour l'autoroute (efficacité) et quand passer une vitesse basse et diriger avec soin pour un créneau serré (précision). Il n'a pas besoin d'un copilote pour lui dire quand changer de vitesse ; il ressent simplement la route et s'adapte.

L'essentiel

L'article affirme qu'en entraînant un seul modèle pour maîtriser tous ces différents « espaces d'action » et en le laissant apprendre grâce à l'apprentissage par renforcement (essai et erreur avec des récompenses), ils ont créé un agent nettement plus intelligent, plus flexible et plus efficace que les modèles précédents qui étaient limités à un seul type d'action.

Ils l'ont prouvé en montissant que le modèle pouvait gérer plus de 800 défis différents dans un jeu complexe en monde ouvert, surpassant ainsi toutes les autres méthodes existantes. Le code et les modèles sont désormais ouverts à tous.

Résumé Technique : CrossHA – Entraîner un modèle unique pour maîtriser les actions agentiques à travers différents niveaux via l'apprentissage par renforcement

1. Énoncé du problème

Le paradigme de l'IA agentique passe de flux de travail d'ingénierie structurés autour de modèles de langage (LLM) et de modèles vision-langage (VLM) pré-entraînés vers des modèles agentiques natifs développés par post-entraînement. Cependant, les agents existants sont généralement confinés à des espaces d'action statiques et prédéfinis (par exemple, l'utilisation exclusive d'API, d'événements GUI ou de commandes robotiques). Cette rigidité crée deux limitations fondamentales :

Fragilité : Les politiques d'action spécifiques ou les couches de traduction échouent souvent dans des environnements dynamiques (par exemple, des fonctions d'API bloquées par des CAPTCHAs, ou des politiques robotiques manquant de précision).
Inflexibilité : L'assignation manuelle des espaces d'action aux tâches restreint l'adaptabilité. Crucialement, l'espace d'action optimal varie souvent non seulement selon les tâches, mais aussi au sein d'une même tâche, au niveau de chaque étape. Par exemple, un agent de « Recherche Approfondie » pourrait utiliser efficacement des API de recherche pour la collecte d'informations, mais nécessiter une manipulation précise au niveau de l'interface graphique (GUI) pour contourner un CAPTCHA.

Les approches actuelles reposent souvent sur des pipelines complexes et fragiles pour orchestrer les transitions entre des espaces d'action disjoints ou pour fusionner des trajectoires hétérogènes sans optimiser explicitement le mécanisme de sélection. Il existe un manque de modèles unifiés capables de sélectionner de manière autonome l'interface la plus efficace (allant des API de haut niveau aux primitives de bas niveau) pour chaque étape d'une trajectoire en fonction du contexte.

2. Méthodologie : Le cadre CrossHA

Pour répondre à ces limitations, les auteurs proposent CrossHA, un modèle agentique unifié entraîné pour maîtriser de multiples espaces d'action hétérogènes et sélectionner de manière autonome l'interface appropriée pour chaque étape. Le modèle est entraîné via un pipeline en trois étapes progressives intégrant un réglage fin supervisé (SFT) de démarrage à froid avec un algorithme d'optimisation de politique par groupe relatif multi-tours (GRPO).

2.1. Formulation du problème

La tâche est modélisée comme un processus de décision de Markov (MDP) avec un espace d'action composite $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ , où chaque sous-espace $\mathcal{A}_x$ correspond à une classe distincte d'actions (par exemple, contrôles moteurs de bas niveau vs primitives de mouvement de haut niveau). L'objectif est de maximiser la récompense attendue tout en pénalisant les coûts computationnels ou opérationnels associés aux différentes granularités d'action :
$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$

2.2. Pipeline d'entraînement

Le processus d'entraînement consiste en trois étapes progressives :

Étape 1 : Réglage fin supervisé (SFT) en espaces mixtes
Le modèle est initialisé sur un ensemble de données équilibré comprenant des trajectoires issues de multiples sous-espaces d'action. L'objectif est de construire un modèle de base robuste ( $M_{mix}$ ) capable de décoder et de générer des actions valides à travers diverses modalités sans interférence modale. À ce stade, le modèle apprend la syntaxe et la sémantique, mais ne sélectionne pas encore de manière autonome l'espace d'action optimal.
Étape 2 : Apprentissage par renforcement à un seul tour (STRL)
Cette étape permet au modèle de sélectionner de manière autonome l'espace d'action approprié pour les contextes de tâche immédiats.
- Échauffement : Une phase de SFT enrichie par la diversité génère des actions candidates à travers tous les espaces, filtrant les exécutions réussies pour créer des annotations de vérité terrain.
- Optimisation : Le modèle est affiné en utilisant l'Optimisation de Politique par Groupe Relatif (GRPO). Contrairement au PPO, le GRPO estime l'avantage basé sur la performance relative d'un groupe de sorties échantillonnées plutôt que sur une fonction de valeur apprise. La récompense est indépendante de l'espace d'action : le crédit est accordé si l'action brute analysée correspond à la vérité terrain, quelle que soit la forme de surface utilisée. Cela encourage le modèle à sélectionner l'espace d'action le plus fiable pour une entrée donnée.
Étape 3 : Apprentissage par renforcement multi-tours (MTRL)
Pour optimiser le raisonnement à long terme et l'efficacité de la trajectoire, le modèle subit un MTRL.
- Initialisation : Une étape d'auto-apprentissage réétiquette le jeu de données en fonction des préférences du modèle STRL, créant un a priori fort pour la sélection appropriée de l'espace d'action ( $M_{cs2}$ ).
- Optimisation de la trajectoire : Le modèle est affiné sur un ensemble de tâches curatées en utilisant une récompense épisodique binaire (succès/échec) combinée à une pénalité pour la longueur des tokens. Cela encourage l'agent à équilibrer le succès de la tâche et l'efficacité d'exécution, en privilégiant les actions de haut niveau concises lorsque cela est possible et en passant à des actions atomiques plus fines lorsque nécessaire.

3. Contributions clés

Modèle CrossHA : Un modèle agentique unifié capable de maîtriser des espaces d'action hétérogènes et de sélectionner de manière autonome l'interface appropriée au contexte sans dépendre d'heuristiques définies par l'homme.
Pipeline de RL complet : L'introduction d'un cadre d'entraînement utilisant le GRPO multi-tours, permettant à l'agent d'apprendre le changement adaptatif d'espace d'action au sein d'une même trajectoire pour maximiser à la fois le succès de la tâche et l'efficacité d'exécution.
Performance de pointe : Démonstration d'une généralisation et d'une robustesse supérieures dans les tâches de raisonnement à long terme par rapport aux bases statiques.

4. Résultats expérimentaux

Les auteurs ont évalué CrossHA dans l'environnement ouvert Minecraft (version 1.16.5), en utilisant la suite de benchmarks OpenHA qui contient plus de 800 tâches conçues manuellement et catégorisées en :

Mine Blocks : Navigation et interaction physique.
Craft Items : Interactions complexes avec l'interface graphique (GUI).
Kill Entities : Survie et combat.

Principaux résultats :

Performance : CrossHA a atteint des performances de pointe dans toutes les catégories. Notamment, il a atteint un taux de tâches terminées (FT) de 94,7 % dans "Mine Blocks" et de 83,3 % dans "Craft Items", surpassant nettement les bases à action fixe.
Généralisation : Malgré un entraînement sur seulement 30 tâches (10 de chaque catégorie), CrossHA a réussi à se généraliser à plus de 800 tâches d'évaluation.
Études d'ablation :
- Espaces d'action mixtes : CrossHA a convergé plus rapidement et a atteint des performances asymptotiques plus élevées que les bases à espace unique (par exemple, GroundingHA, MotionHA) lors du MTRL, démontrant une meilleure efficacité des données.
- Nécessité du STRL : L'inclusion de l'étape STRL a considérablement amélioré l'efficacité de l'entraînement et la performance finale, particulièrement pour les tâches hors distribution (OOD).
- Robustesse : Alors que les agents à espace unique montraient une haute performance sur les tâches en distribution (ID) mais chutaient brutalement sur les tâches OOD, CrossHA a maintenu un écart de généralisation plus faible, suggérant que la sélection dynamique de l'espace d'action atténue le surapprentissage.

5. Signification et revendications

L'article affirme que CrossHA représente une étape significative vers des agents véritablement généralistes. En traitant la sélection de l'espace d'action comme une composante apprenable optimisée via l'apprentissage par renforcement, le modèle surmonte la rigidité des conceptions statiques. Les résultats démontrent qu'une sélection adaptative de l'espace d'action produit une généralisation et une robustesse supérieures par rapport aux bases statiques.

Les auteurs soulignent que le modèle apprend à équilibrer les compromis de manière dynamique : en privilégiant les actions de haut niveau pour l'efficacité quand cela est applicable, tout en employant des actions atomiques plus fines pour un contrôle précis quand nécessaire. Cette capacité permet à l'agent de gérer des scénarios complexes nécessitant des interactions multimodales sans intervention manuelle.

Les travaux futurs, comme l'ont noté les auteurs, incluent l'amélioration de l'efficacité du RL multi-tours et l'extension du cadre aux environnements de robotique réelle, où les défis tels que la sécurité et la latence se posent.