💻 computer science

Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation

Ce document propose HiRoC, un cadre de post-entraînement hiérarchique qui découple la planification de tâches de haut niveau de l'exécution d'actions de bas niveau afin de surmonter les limites des politiques plates dans les modèles vision-langage-action, permettant ainsi une manipulation robotique robuste à long terme grâce à un guidage sémantique explicite et à l'apprentissage par renforcement.

Auteurs originaux : He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

Publié 2026-08-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à faire un sandwich. Vous pourriez vous dire : « Dis-lui simplement de "faire un sandwich", et il trouvera le reste. » Mais pour un robot, c'est comme dire à un humain de « gagner à la loterie » sans lui expliquer comment acheter un ticket, choisir des numéros ou vérifier les résultats. C'est le monde des modèles VLA (Vision-Language-Action). Considérez-les comme des cerveaux robotiques super intelligents capables de voir le monde via des caméras, de comprendre le langage humain et de décider des mouvements physiques à effectuer. Les scientifiques ont appris à ces cerveaux à réaliser des tâches simples, comme ramasser un bloc isolé. Mais la vie réelle est désordonnée et longue. Faire un sandwich, construire un ensemble LEGO ou organiser une pièce n'est pas un mouvement rapide ; c'est une longue chaîne d'étapes où l'on doit se souvenir de ce que l'on vient de faire et planifier ce qu'il faut faire ensuite. La grande question que se posent les chercheurs est la suivante : comment apprendre à ces robots à gérer des tâches longues et compliquées sans qu'ils ne s'embrouillent ou n'abandonnent à mi-chemin ?

C'est précisément ce que traite l'article « Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation ». Les auteurs, une équipe de l'Université de Jilin et de JD, soutiennent que la méthode actuelle d'entraînement des robots est trop « plate ». Imaginez essayer d'écrire un roman en regardant simplement le titre et en tapant des phrases au hasard jusqu'à la fin de l'histoire. C'est ce que font les méthodes existantes : elles donnent au robot une instruction globale (comme « nettoie la pièce ») et attendent qu'il comprenne chaque étape par lui-même. Le problème est que si le robot commet une petite erreur au début, il se perd et ne peut pas s'en remettre car il ne sait pas quelle est l'étape spécifique suivante.

Pour correr cela, l'équipe propose un nouveau système appelé HiRoC (Hierarchical Robotic Control). Ils divisent le cerveau du robot en deux rôles distincts, comme un Chef de projet et un Ouvrier.

Le Chef de projet (Planificateur) voit la situation dans sa globalité. Il prend l'instruction complexe (« nettoie la pièce ») et la décompose en une liste de sous-objectifs petits et gérables (« ramasse les chaussettes », « mets les chaussettes dans le panier », « ramasse les livres », etc.).
L'Ouvrier (Exécuteur) ne se soucie que du sous-objectif actuel. Il ne s'inquiète pas de toute la pièce ; il se concentre juste sur « ramasser les chettes » en ce moment précis.

L'article suggère que cette approche de « diviser pour régner » est bien meilleure que l'ancienne méthode « plate ». Cependant, il y avait un piège : l'Ouvrier était initialement entraîné pour écouter la grande instruction, et non les petits sous-objectifs. Si vous tendiez simplement à l'Ouvrier une liste provenant du Manager, il serait confus, comme un chef qui sait cuisiner un repas entier mais à qui on n'a jamais dit de simplement « hacher les oignons ».

Pour résoudre ce problème, les auteurs ont développé une routine d'entraînement spéciale. D'abord, ils ont appris au Manager à créer de bonnes listes. Ensuite, ils ont réentraîné l'Ouvrier pour qu'il comprenne ces listes spécifiques, corrigeant ainsi la confusion. Enfin, ils ont laissé l'Ouvrier s'exercer dans un monde virtuel, recevant des retours (récompenses) non seulement pour avoir terminé la tâche entière, mais aussi pour avoir bien réussi chaque petite étape.

Les résultats de leurs expériences sont très prometteurs. Lorsqu'ils ont testé HiRoC sur une variété de tâches robotiques, le système a systématiquement surpassé les autres méthodes de pointe. Sur un ensemble de tâches longues et complexes, leur système a atteint un taux de réussite de 98 %, ce qui est un bond significatif par rapport à la moyenne d'environ 83,5 % pour les autres méthodes (une amélioration moyenne de 10,06 %). Ils ont également testé le système dans une simulation du monde réel où un robot devait mettre du correcteur blanc dans une boîte, et il a fonctionné parfaitement sans nécessiter de réglages supplémentaires.

Les auteurs soulignent qu'il ne s'agit pas d'un tour de magie ; c'est une façon de penser structurée. En séparant la « planification » de l'« exécution », le robot devient bien plus apte à gérer des tâches longues et multi-étapes. Bien qu'ils admettent qu'il s'agit actuellement d'un succès basé sur la simulation et que la physique du monde réel peut être imprévisible, l'article suggère fortement que donner aux robots un cerveau « hiérarchique » — capable de décomposer de grands problèmes en petites pièces solubles — est la clé pour les rendre véritablement utiles dans notre vie quotidienne.

Résumé Technique : HiRoC (Hierarchical Post-Training for Embodied Agents)

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont montré leur potentiel pour la manipulation robotique en unifiant la perception visuelle, la compréhension du langage et la génération d'actions. Cependant, les méthodes de post-entraînement actuelles traitent principalement les modèles VLA comme des politiques plates (flat policies), associant directement des instructions globales à des actions de bas niveau. Cette approche présente des limitations significatives dans des scénarios réels :

Absence de progression explicite des tâches : Les politiques plates maintiennent la même instruction globale tout au long de l'exécution, échouant ainsi à modéliser explicitement la structure par étapes de tâches complexes à long horizon.
Accumulation d'erreurs : Sans ancres sémantiques intermédiaires (sous-objectifs), les écarts mineurs d'exécution s'accumulent au fil du temps, entraînant une dégradation de la prise de décision ou l'échec de la tâche.
Apprentissage hiérarchique inefficace : Bien que des approches hiérarchiques existent, elles reposent souvent sur l'apprentissage supervisé à partir de démonstrations hors ligne et peinent à améliorer l'exécution via l'interaction en ligne. De plus, les méthodes d'apprentissage par renforcement (RL) en ligne existantes optimisent toujours des politiques plates plutôt que des structures planificateur-exécuteur hiérarchiques.

Le défi central consiste à créer un cadre de post-entraînement qui sépare efficacement la planification de haut niveau de l'exécution de bas niveau, tout en garantissant que les deux modules collaborent efficacement sans souffrir de désalignement de distribution.

Méthodologie : Cadre HiRoC

Les auteurs proposent HiRoC (Hierarchical Robotic Control), un cadre de post-entraînement hiérarchique qui intègre la décomposition de tâches, l'alignement planificateur-exécuteur et l'apprentissage par renforcement en ligne. Le cadre se compose de deux modules principaux : un Planificateur de haut niveau et un Exécuteur de bas niveau.

1. Entraînement du Planificateur via le Fine-Tuning Supervisé (SFT)

Le planificateur est responsable de la décomposition des instructions de tâches globales en sous-objectifs exécutables basés sur les observations actuelles.

Préparation des données : Les auteurs réorganisent les jeux de données multimodaux existants (par exemple, issus de VLA-OS) pour créer un jeu de données propre et cohérent ( $D_{plan}$ ) où les trajectoires sont annotées avec les sous-objectifs immédiats suivants.
Optimisation : Le planificateur (basé sur un squelette VLM tel que Qwen2.5-VL) est entraîné via SFT pour prédire la séquence de jetons du sous-objectif suivant, conditionnée par l'état multimodal actuel ( $s_t$ ) et les jetons de sous-objectifs précédents.
Gel (Freezing) : Une fois entraîné, le planificateur est gelé lors du réglage RL ultérieur afin de préserver ses capacités de décomposition de tâches et d'éviter les dérives de distribution.

2. Entraînement de l'Exécuteur via SFT et Réglage RL

L'exécuteur génère des actions de bas niveau conditionnées par le sous-objectif actuel fourni par le planificateur.

Traitement du Désalignement de Distribution (DM) : Un défi critique est que les VLA pré-entraînés sont optimisés pour des objectifs globaux, et non pour des sous-objectifs intermédiaires. Coupler directement un planificateur avec un exécuteur pré-entraîné conduit à un "problème de démarrage à froid" dû au désalignement de distribution.
- Solution : Les auteurs réorganisent les données de trajectoire en échantillons conditionnés par sous-objectif ( $s_i, l_i, a_i$ ) et effectuent un SFT conditionné par sous-objectif sur l'exécuteur. Cela aligne la politique de l'exécuteur avec la sortie du planificateur avant le début du RL.
Apprentissage par Renforcement (RL) en ligne : L'exécuteur est optimisé davantage via l'interaction en ligne avec l'environnement, guidé par le planificateur gelé.
- GRPO Hiérarchique : Les auteurs introduisent un objectif de Group Relative Policy Optimization (GRPO) qui incorpore à la fois des signaux d'apprentissage globaux et locaux.
  - Avantage Global ( $A_{task}$ ) : Dérivé de la récompense cumulative de la trajectoire complète.
  - Avantage Local ( $A_{sub}$ ) : Dérivé du progrès réalisé sur les sous-objectifs intermédiaires enregistrés lors du déroulement (rollout).
- Intégration Pondérée : Le signal d'avantage final ( $\hat{A}_i$ ) est une somme pondérée des avantages globaux et locaux. Les poids ( $w_t, w_s$ ) sont équilibrés de manière adaptative en fonction du nombre moyen de sous-objectifs par trajectoire et de la longueur de la trajectoire, garantissant que les tâches de complexités variables reçoivent une supervision appropriée.
- Mise à jour de la Politique : L'exécuteur est mis à jour à l'aide d'un objectif d'acteur tronqué de type PPO, optimisant le ratio de probabilité des jetons d'action tout en limitant la déviation de la politique.

Contributions Clés

Cadre HiRoC : La proposition d'un cadre de post-entraînement hiérarchique qui sépare explicitement la planification de tâches de haut niveau de l'exécution d'actions de bas niveau, permettant un raisonnement structuré et une manipulation robuste à long horizon.
Stratégie d'Entraînement Collaborative :
- Alignement de Distribution : Une étape de SFT conditionnée par sous-objectif qui comble l'écart entre les sous-objectifs générés par le planificateur et l'exécution de l'exécuteur, atténuant le problème de démarrage à froid.
- Objectif de RL Hiérarchique : Une nouvelle formulation GRPO qui exploite conjointement les signaux d'apprentissage au niveau de la tâche (global) et au niveau du sous-objectif (local), fournissant un guidage plus structuré pour l'optimisation de la politique.
Validation Empirique : Expérimentations approfondies démontrant des améliorations de performance constantes à travers divers benchmarks de manipulation robotique.

Résultats Expérimentaux

Les auteurs ont évalué HiRoC sur le benchmark LIBERO (suites Goal, Spatial, Object, et Long) et la suite de généralisation LIBERO-Plus.

Performance Globale : HiRoC a atteint des performances de pointe (SOTA), surpassant les bases solides incluant les politiques VLA plates (OpenVLA), d'autres méthodes basées sur le RL (VLA-RL, TGRPO) et les approches basées sur des modèles de monde (world-models).
- Sur la suite LIBERO-Long, HiRoC a atteint un taux de réussite de 98 %, surpassant nettement les bases et démontrant l'efficacité du contrôle hiérarchique pour les tâches complexes.
- La méthode a montré une amélioration moyenne de 10,06 % sur les benchmarks par rapport aux bases.
Généralisation (Zero-Shot) : Sur LIBERO-Plus, qui introduit sept types de perturbations, HiRoce a démontré une généralisation supérieure par rapport aux modèles basés sur le SFT et aux approches de modèles de monde, grâce à sa capacité à décomposer les objectifs en sous-objectifs gérables.
Études d'Ablation :
- Supprimer le planificateur (w/o Plan) a considérablement dégradé les performances, confirmant la nécessité d'une décomposition explicite des tâches.
- Supprimer le pré-entraînement de désalignement de distribution (DM) a entraîné un démarrage à froid sévère et une performance finale plus faible.
- Supprimer le GRPO local (w/o L) a montré que, bien que le GRPO global soit primaire, le signal de sous-objectif local apporte des améliorations complémentaires.
Transfert au Monde Réel : Une expérience sim-to-real sur une plateforme robotique physique a déployé avec succès la politique entraînée sans ajustement supplémentaire, validant l'applicabilité pratique du cadre.

Signification et Revendications

L'article affirme que Hi-RoC répond à la limitation fondamentale des politiques VLA plates dans la gestion de tâches robotiques à long horizon et à étapes multiples. En modélisant explicitement la progression des tâches via une hiérarchie planificateur-exécuteur et en résolvant le problème du désalignement de distribution via un SFT ciblé et un RL hiérarchique, HiRoC permet aux agents d'effectuer une manipulation robuste et auto-correctrice.

Les auteurs soulignent que si leurs travaux actuels se concentrent sur le post-entraînement hiérarchique, les directions futures incluent l'exploration de l'entraînement de bout en bout et de mécanismes de décomposition plus robustes pour gérer l'incertitude dans les systèmes physiques. Ce travail souligne l'importance de combiner la décomposition hiérarchique des tâches avec l'optimisation de politique par apprentissage par renforcement pour faire progresser la manipulation robotique généraliste.