SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning

Ce papier présente ReST-RL, une architecture d'apprentissage par renforcement hiérarchique qui, en découplant la locomotion de la stabilisation de la charge via un module résiduel, permet aux humanoïdes de transporter des plateaux de manière robuste et précise, avec une généralisation réussie de la simulation à la réalité sur le robot Unitree G1.

L'essentiel

🤖 SteadyTray : Le Robot qui ne renverse jamais son café

Imaginez un robot humanoïde (qui ressemble à un humain) qui doit traverser une pièce en marchant, tout en tenant un plateau avec un verre de vin rempli à ras bord. Le problème ? Le robot a des jambes qui bougent, ce qui crée des secousses. Si le robot marche normalement, le liquide dans le verre va se renverser, ou pire, le verre va tomber.

C'est le défi que l'équipe de l'Université de Californie (UC San Diego) a relevé avec leur nouvelle méthode appelée ReST-RL.

1. Le Problème : Marcher vs. Garder l'équilibre

Habituellement, les robots sont entraînés soit pour marcher (locomotion), soit pour manipuler des objets. Mais faire les deux en même temps est très difficile.

• L'analogie du danseur : Imaginez un danseur de ballet qui doit courir dans une pièce tout en tenant un plateau avec une bougie allumée. Si le danseur se concentre uniquement sur ses pieds pour courir vite, il va faire trembler ses bras et éteindre la bougie. S'il se concentre uniquement sur la bougie, il va trébucher et tomber.

La plupart des robots actuels essaient de tout apprendre d'un coup (comme un élève qui essaie d'apprendre à marcher et à jouer du piano en même temps). Ça ne marche pas très bien.

2. La Solution : L'approche "Professeur et Élève" (ReST-RL)

Au lieu d'essayer d'apprendre tout d'un coup, les chercheurs ont utilisé une astuce intelligente qu'ils appellent ReST-RL (Reinforcement Learning avec un module résiduel).

Voici comment ça fonctionne, avec une analogie simple :

• Le Professeur (La politique de base) : C'est un robot expert qui sait déjà très bien marcher. Il connaît parfaitement comment poser les pieds, comment garder l'équilibre et comment avancer. Il est "gelé", c'est-à-dire qu'on ne le modifie pas.
• L'Élève (Le module résiduel) : C'est un petit cerveau supplémentaire qui observe le Professeur. Son travail n'est pas de décider comment marcher, mais seulement de corriger les petits tremblements que le Professeur fait involontairement à cause du plateau.

L'analogie du passeur de ballon :
Imaginez que le Professeur lance un ballon (le plateau) avec une certaine force. L'Élève est un autre joueur qui se tient juste à côté. Si le Professeur lance le ballon un peu trop haut ou trop bas à cause d'un mouvement de jambe, l'Élève donne un petit coup de main subtil pour remettre le ballon dans la bonne trajectoire.

• Le Professeur continue de marcher normalement.
• L'Élève ajuste uniquement ce qui est nécessaire pour que le plateau reste plat.

3. L'Entraînement : Apprendre avec des "lunettes magiques"

Pour entraîner cet Élève, les chercheurs ont utilisé une technique géniale en simulation (dans un monde virtuel) :

• Le temps des "lunettes magiques" (Observations privilégiées) : Pendant l'entraînement, l'Élève a accès à des informations que le robot n'aura jamais dans la réalité (comme la vitesse exacte du verre, la position précise du liquide, etc.). C'est comme si l'élève avait une télépathie qui lui dit exactement ce qui va se passer.
• Le temps des "lunettes normales" (Distillation) : Une fois que l'Élève a appris à corriger les erreurs grâce à ces informations magiques, on lui retire les lunettes. On lui apprend à utiliser seulement ce que le robot peut vraiment voir (une caméra sur la tête).
• Le résultat : L'Élève devient si bon qu'il peut corriger les erreurs même sans les informations magiques, juste en regardant le plateau et en sentant les mouvements du robot.

4. Les Résultats : Un robot qui ne renverse rien

Les chercheurs ont testé leur robot (un Unitree G1) dans la vraie vie avec des objets fragiles :

• Des verres de vin pleins d'eau.
• Des tasses à café.
• Des outils médicaux.

Ce qui s'est passé :

• Même si on poussait le robot par derrière, ou si on donnait un coup au plateau lui-même, le robot s'adaptait instantanément.
• Il marchait, tournait, accélérait, et le plateau restait parfaitement de niveau. Le liquide ne se renversait pas !
• Le robot a réussi à transporter ces objets sans jamais avoir besoin d'être reprogrammé pour un objet spécifique. C'est ce qu'on appelle une généralisation : il a appris le principe, pas juste un mouvement précis.

En résumé

Ce papier nous dit que pour faire tenir un plateau stable sur un robot qui marche, il ne faut pas tout réinventer. Il faut prendre un robot qui sait déjà bien marcher et lui ajouter un "assistant intelligent" qui ne fait que corriger les tremblements.

C'est comme apprendre à un enfant à porter un plateau : on ne lui apprend pas à marcher à nouveau, on lui apprend juste à ajuster ses mains pour compenser les mouvements de ses jambes. Grâce à cette méthode, les robots humanoïdes peuvent bientôt nous aider à transporter des repas, des médicaments ou des objets fragiles dans des environnements encombrés, sans rien renverser ! 🍷🤖✨

Résumé technique

Voici un résumé technique détaillé de l'article "SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning" (SteadyTray : Apprentissage de tâches d'équilibrage d'objets pour le transport sur plateau par des humanoïdes via l'apprentissage par renforcement résiduel).

1. Problématique

Le transport d'objets non sécurisés (comme des verres remplis de liquide ou des instruments fragiles) sur un plateau par des robots humanoïdes en mouvement représente un défi majeur en robotique de service.

• Le défi technique : La locomotion bipède génère inévitablement des oscillations et des impacts au niveau des pieds qui se propagent à travers la chaîne cinématique du robot, perturbant l'orientation du torse et de la main (effecteur terminal).
• La complexité : Contrairement aux objets fixés, les objets sur un plateau sont contraints de manière non rigide. Le contrôleur doit simultanément maintenir une marche agile (locomotion) et assurer une orientation quasi-parfaite du plateau pour empêcher le glissement, le basculement ou la chute de la charge.
• Limites des approches existantes : Les méthodes d'apprentissage par renforcement (RL) "end-to-end" (monolithiques) peinent souvent à concilier ces deux objectifs contradictoires, dégradant soit la stabilité de la marche, soit la stabilité de la charge. Les méthodes de stabilisation d'effecteur existantes (comme SoFTA) ne suffisent pas pour des objets non fixés soumis à des perturbations dynamiques complexes.

2. Méthodologie : ReST-RL

Les auteurs proposent ReST-RL (Residual Student-Teacher Reinforcement Learning), une architecture hiérarchique qui découple explicitement la locomotion de la stabilisation de la charge.

A. Architecture Hiérarchique

Le framework se compose de deux modules principaux :

1. Politique de Base (Base Policy) : Une politique de locomotion pré-entraînée (via PPO) capable de marcher tout en maintenant un plateau de niveau. Cette politique est figée (frozen) lors de l'entraînement du module résiduel. Elle reçoit les observations proprioceptives (positions/vitesses des articulations, gravité projetée, etc.) et des commandes de vitesse.
2. Module Résiduel (Residual Module) : Un module ajouté par-dessus la politique de base pour corriger les perturbations. Il se compose de :
   • Un Encodeur : Traite les observations (y compris des informations privilégiées lors de l'entraînement).
   • Un Adaptateur : Génère des actions correctives résiduelles. Deux mécanismes d'intégration sont explorés :
     • Residual Action Adapter : Ajoute directement une action corrective à l'action de base.
     • Residual FiLM Adapter : Module les activations internes de la politique de base via des couches conditionnelles (FiLM).

B. Apprentissage et Distillation (Student-Teacher)

L'approche utilise une stratégie d'apprentissage par distillation pour garantir le transfert Sim-to-Réal :

• Phase d'entraînement (Teacher) : Le module résiduel est entraîné avec des observations privilégiées (vitesse linéaire du robot, position exacte du plateau, vitesse et accélération de l'objet, etc.) qui ne sont pas disponibles en temps réel sur le robot physique. L'objectif est d'apprendre à annuler les perturbations induites par la marche.
• Phase de distillation (Student) : Un encodeur "étudiant" est entraîné pour imiter les caractéristiques latentes (features) et les actions de l'encodeur "maître" (Teacher), mais en utilisant uniquement des observations déployables (principalement la vision de l'objet via une caméra et les données proprioceptives).
• Déploiement : Le module résiduel distillé (avec l'encodeur étudiant et l'adaptateur figé) est appliqué sur la politique de base figée pour le contrôle réel.

C. Conception de l'Environnement et de la Récompense

• Randomisation de domaine : Masses, frottements, retards de contrôle et bruit de perception sont randomisés pour assurer la robustesse.
• Délais d'observation : Un délai simulé est introduit spécifiquement pour les observations de l'objet (vision) afin de mimer la latence réelle des capteurs et d'améliorer la robustesse temporelle.
• Fonctions de récompense :
  • Base : Suivi de vitesse, stabilité du torse, réduction des impacts de pieds.
  • Résiduelle (Stabilisation) : Maintien de l'objet à la verticale (alignement avec la gravité) et maintien du contact objet-plateau.

3. Contributions Clés

1. Framework ReST-RL : Une architecture RL résiduelle étudiant-maître qui permet d'ajouter des capacités de stabilisation de charge à une politique de locomotion existante sans dégrader la marche.
2. Découplage des objectifs : La séparation stricte entre la locomotion (base) et la stabilisation (résidu) résout le conflit d'objectifs inhérent aux tâches de loco-manipulation.
3. Stratégies d'entraînement robustes : Identification de l'importance cruciale des délais d'observation (observation delay) et de la randomisation de domaine pour le transfert Sim-to-Réal.
4. Validation Hardware : Déploiement réussi sur le robot humanoïde Unitree G1, démontrant une généralisation "zero-shot" (sans réentraînement) sur divers objets et perturbations.

4. Résultats Expérimentaux

A. Simulation (Isaac Lab)

Les résultats montrent la supériorité de ReST-RL par rapport aux politiques de base et aux approches End-to-End :

• Taux de réussite : ReST-RL atteint un taux de réussite de 96,9 % pour le suivi de vitesse variable, contre 47,4 % pour la politique de base seule et 89,1 % pour une approche End-to-End.
• Robustesse aux perturbations :
  • Contre des poussées sur le robot : 84,6 % de réussite (vs 9,1 % pour la base).
  • Contre des poussées sur l'objet : 74,6 % de réussite (vs 25,2 % pour la base).
• Comparaison Architecturale : Les variantes FiLM et Action Adapter fonctionnent toutes deux bien, suggérant que l'amélioration provient principalement de l'adaptation résiduelle structurée plutôt que d'un choix architectural spécifique.
• Impact du délai : L'entraînement avec des délais d'observation simulés améliore systématiquement les performances, même en l'absence de latence réelle.

B. Résultats Réels (Unitree G1)

• Généralisation Zero-Shot : Le robot a réussi à transporter et stabiliser divers objets sans réentraînement : tasses à café, verres à vin remplis d'eau, outils médicaux et contenants alimentaires.
• Récupération de perturbations : Le robot a démontré une capacité à récupérer de manière fluide après avoir été poussé (au niveau du torse) ou après que l'objet ait été poussé, en coordonnant tout le corps pour maintenir le plateau de niveau.
• Stabilité du fluide : Le système a réussi à empêcher le renversement de liquides dans des verres, prouvant son efficacité sur des charges dynamiques.

5. Signification et Conclusion

Cet article présente une avancée significative pour la robotique de service humanoïde.

• Importance : Il résout un goulot d'étranglement critique : la capacité à transporter des charges instables dans des environnements non structurés, ce qui est essentiel pour des applications comme la livraison de repas, le transport d'instruments stériles ou l'assistance aux personnes âgées.
• Innovation méthodologique : L'approche ReST-RL démontre que l'ajout d'un module résiduel "intelligent" sur une politique de base robuste est plus efficace et plus généralisable que l'entraînement d'une politique monolithique complexe.
• Perspectives : Bien que limité actuellement à un seul objet et à une vision monoculaire, ce travail ouvre la voie à des compétences de loco-manipulation plus complexes (ouverture de portes, poussée de chariots) en intégrant des feedbacks visuels et tactiles tout en préservant la stabilité de la marche.

En résumé, SteadyTray prouve qu'il est possible de doter des robots humanoïdes de la dextérité nécessaire pour manipuler des objets fragiles en mouvement, grâce à une architecture d'apprentissage par renforcement résiduel soigneusement conçue pour le transfert du simulateur vers le monde réel.