FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid

Le papier présente FAME, un cadre d'apprentissage par renforcement adaptatif aux forces qui permet à un humanoïde à échelle réelle de maintenir son équilibre et d'élargir son enveloppe de manipulation bimanuelle en estimant les forces d'interaction via la dynamique du robot, sans capteurs de couple aux poignets.

L'essentiel

Imaginez un robot humanoïde (un robot qui a l'air et la structure d'un humain) qui essaie de faire deux choses en même temps : tenir debout et porter quelque chose de lourd avec ses mains.

C'est un peu comme essayer de faire du yoga sur une poutre d'équilibre tout en tenant un seau d'eau rempli. Si vous bougez vos bras d'un côté, votre poids se déplace, et vous risquez de tomber. Pour un robot, c'est encore plus difficile car les forces qu'il exerce avec ses mains se répercutent dans tout son corps, jusqu'à ses pieds.

Voici l'histoire de FAME, la nouvelle astuce intelligente inventée par les chercheurs pour aider ces robots à ne pas tomber.

1. Le Problème : Le Robot "Amnésique"

Avant FAME, les robots étaient un peu comme des personnes qui marchent les yeux bandés.

• Ils savaient où étaient leurs jambes (pour ne pas trébucher).
• Mais ils ne comprenaient pas bien ce que faisaient leurs bras.
• Si le robot soulevait une boîte lourde avec une seule main, ou s'il tirait sur un objet, le robot ne s'adaptait pas assez vite. Il restait figé dans une position de "repos" et finissait par basculer, comme un funambule qui ne réagit pas au vent.

Les chercheurs ont constaté que plus le robot changeait de position avec ses bras (bras tendus, bras croisés, bras en l'air), plus il était difficile de rester stable sous la pression des objets qu'il tenait.

2. La Solution : FAME (Le "Cerveau" qui comprend la force)

Les chercheurs ont créé un système appelé FAME. Pour faire simple, c'est comme donner au robot un sixième sens ou un manteau invisible qui lui dit exactement ce qui se passe dans ses bras.

Voici comment ça marche, avec une analogie :

• L'ancien robot (sans FAME) : C'est comme un danseur qui écoute sa musique mais ne sent pas le poids de son partenaire. Si son partenaire tire fort, il trébuche.
• Le nouveau robot (avec FAME) : C'est comme un danseur de tango expérimenté. Il sent immédiatement la tension dans les bras de son partenaire. Il sait : "Ah ! Il tire fort vers la gauche, je dois pencher mon corps vers la droite pour compenser."

Comment FAME apprend-il ?
Au lieu d'essayer de tout deviner, le robot a un "professeur virtuel" (une intelligence artificielle) qui l'entraîne dans un simulateur de réalité virtuelle :

1. Le Cours de Gymnastique : On lui fait essayer des milliers de positions de bras différentes (tendre les bras, les croiser, les lever).
2. Le Vent Artificiel : On lui envoie des coups de vent (des forces) sur les mains, venant de toutes les directions, comme s'il poussait ou tirait sur des objets lourds.
3. L'Enseignement : Le robot apprend à associer la position de ses bras + la force qu'il ressent à une petite "note mentale" (un contexte caché). Cette note lui dit : "Attention, je suis dans cette position précise avec cette force, donc je dois ajuster mes jambes de cette manière précise."

3. L'Innovation Magique : Pas besoin de capteurs spéciaux

D'habitude, pour savoir combien de poids on porte, il faut des capteurs très chers et fragiles dans les poignets du robot (comme des balances miniatures).

FAME est génial car il est dépourvu de ces capteurs.

• L'analogie : Imaginez que vous portez un sac à dos lourd. Vous ne savez pas exactement combien il pèse en le regardant, mais vous le sentez dans vos muscles et vos articulations.
• Le robot fait la même chose. Il regarde la tension dans ses moteurs (les "muscles") et calcule, grâce à des mathématiques rapides, combien de force il exerce. Il devine le poids sans avoir besoin d'une balance dans le poignet.

4. Les Résultats : De la Simulation au Réel

Les chercheurs ont testé FAME sur un vrai robot géant (le Unitree H12).

• Sans FAME : Le robot tombait souvent quand on lui demandait de porter des charges ou de tirer sur des objets, surtout si la charge était déséquilibrée (un bras plus chargé que l'autre).
• Avec FAME : Le robot a réussi à rester debout dans 74 % des cas (contre seulement 29 % pour les anciens modèles). Il a pu porter des charges lourdes, tirer sur des objets, et même garder son équilibre quand on lui a donné un sac de 30 kg, tout en restant stable.

En résumé

FAME, c'est comme apprendre à un robot à danser avec la gravité. Au lieu de lutter contre le poids qu'il porte, il apprend à écouter ce poids et à ajuster sa posture en temps réel. Grâce à cela, les robots humanoïdes peuvent enfin faire des tâches utiles dans nos maisons ou nos usines (porter des cartons, ouvrir des portes lourdes) sans tomber à chaque fois qu'ils bougent les bras.

C'est un grand pas vers des robots qui sont non seulement intelligents, mais aussi agiles et sûrs dans un monde réel où les forces sont imprévisibles.

Résumé technique

Voici un résumé technique détaillé de l'article "FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid", rédigé en français.

1. Problématique

Les robots humanoïdes doivent opérer dans des environnements centrés sur l'humain, ce qui nécessite une manipulation bimanuelle coordonnée tout en maintenant un équilibre stable. Le défi principal réside dans le fait que les forces externes appliquées aux mains (lors de la manipulation d'objets ou de l'interaction avec des outils) se propagent à travers la chaîne cinématique et perturbent directement l'équilibre du bas du corps.

Sans une mitigation active, ces forces d'interaction limitent la zone de manipulation admissible (la région des configurations de bras et de forces externes sous lesquelles le robot peut rester debout). Les méthodes traditionnelles basées sur des modèles (comme le LIPM ou le MPC) peinent à gérer ces perturbations dynamiques complexes. Bien que l'apprentissage par renforcement profond (DRL) soit prometteur, il est difficile d'entraîner des politiques capables de s'adapter à la fois aux variations de la configuration des bras et à l'incertitude des forces appliquées, en raison de la haute dimensionnalité et du couplage complexe de l'espace d'état.

2. Méthodologie : Le cadre FAME

Les auteurs proposent FAME (Force-Adaptive RL), un cadre d'apprentissage par renforcement qui conditionne une politique de stationnement (standing) sur un contexte latent appris. Ce contexte encode la configuration du haut du corps et les forces d'interaction bimanuelles.

L'architecture se compose de deux éléments principaux (voir Fig. 2) :

• Encodeur de contexte du haut du corps :

  • Il prend en entrée les positions des articulations du torse et des bras ($q_{ub} \in \mathbb{R}^{15}$) ainsi que les forces aux poignets ($F_L, F_R \in \mathbb{R}^3$).
  • Il produit un vecteur de contexte latent ($\hat{z}_t \in \mathbb{R}^8$) qui capture le couplage entre la posture du haut du corps et les perturbations induites par les forces.
  • Ce vecteur conditionne la politique de base, permettant au contrôleur du bas du corps d'adapter sa stratégie en fonction de la charge actuelle.

• Stratégie de déploiement sans capteurs de force :

  • Contrairement aux approches nécessitant des capteurs de force/torque aux poignets, FAME estime les forces d'interaction en ligne à partir de la dynamique du robot.
  • L'estimation utilise les couples articulaires mesurés ($\tau$), les couples de compensation de gravité ($\tau_g$) et la matrice jacobienne du poignet ($J$) via la relation : $F_{ext} = -(J^\top)^\dagger (\tau - \tau_g)$.

• Entraînement et Curriculum :

  • Curriculum de posture : Une méthode d'apprentissage progressif expose la politique à des configurations de bras de plus en plus variées (de petites perturbations à des poses extrêmes) au fur et à mesure que la qualité de l'équilibre s'améliore.
  • Randomisation des forces : Pendant l'entraînement en simulation, des forces 3D sont échantillonnées de manière isotrope (sphérique) sur chaque main pour simuler des perturbations diverses.

3. Contributions Clés

1. Cadre adaptatif aux forces : Introduction d'un mécanisme de conditionnement latent qui encode explicitement le couplage entre l'état des articulations du haut du corps et les forces appliquées, permettant une adaptation rapide de l'équilibre.
2. Déploiement sans capteurs de force : Une stratégie qui estime les forces aux poignets uniquement à partir des couples moteurs et de la dynamique rigide, éliminant le besoin de capteurs de force/torque coûteux ou fragiles aux poignets.
3. Extension de la zone de manipulation : Démonstration d'une amélioration significative de la robustesse face aux perturbations asymétriques et symétriques.
4. Validation sur robot réel : Mise en œuvre réussie sur un humanoïde à échelle réelle (Unitree H12), validant la méthode dans des scénarios de charge asymétrique (tir à un bras) et symétrique (port de charge à deux bras).

4. Résultats Expérimentaux

En Simulation

L'évaluation a été menée sur cinq configurations de bras fixes avec des forces de main randomisées. Les résultats montrent une nette supériorité de FAME par rapport aux baselines :

• Politique de base (Base) : Taux de réussite moyen de 29,44 %. Elle échoue souvent dans les configurations asymétriques ou en extension avant.
• Base + Curriculum (Base+Curr) : Taux de réussite moyen de 51,40 %. L'exposition aux variations de posture aide, mais sans encodage explicite des forces, la politique reste conservatrice ou mal adaptée aux asymétries fortes.
• FAME (Proposé) : Taux de réussite moyen de 73,84 %.
  • Performance exceptionnelle dans les cas difficiles : 81,6 % pour la configuration "Extension avant" (C1) et 85,4 % pour la configuration "Asymétrique" (C5).
  • La politique conditionnée par le contexte latent permet de distinguer les perturbations induites par la posture et de s'y adapter activement.

Sur Robot Réel (Unitree H12)

Des expériences ont été réalisées avec des charges réelles (jusqu'à 30 N) :

• Scénario RE1 (Charge asymétrique) : Le robot maintient l'équilibre avec FAME, tandis que la politique sans encodage latent (Base+Curr) perd l'équilibre et tombe.
• Scénario RE2 (Charge symétrique) : Même résultat, FAME régule les couples articulaires (hanche, cheville) pour maintenir la posture nominale, alors que l'autre politique voit ses joints dériver.
• Les trajectoires des articulations montrent que FAME maintient les positions proches de la configuration de référence, tandis que les autres méthodes subissent une dérive significative menant à la chute.

5. Signification et Impact

Ce travail démontre que l'encodage explicite des perturbations de force via un contexte latent est crucial pour la stabilité des humanoïdes lors de la manipulation.

• Robustesse accrue : FAME élargit considérablement la zone de manipulation admissible, permettant aux robots de manipuler des charges lourdes ou d'interagir avec des environnements incertains sans tomber.
• Praticité industrielle : La capacité à estimer les forces sans capteurs dédiés aux poignets rend le système plus robuste, moins cher et plus facile à déployer sur des robots réels.
• Avancée méthodologique : L'article établit un lien fort entre l'adaptation de contexte (inspirée de RMA) et la gestion des perturbations structurées spécifiques à la manipulation, ouvrant la voie à des humanoïdes plus autonomes dans des tâches de manipulation dynamique.

En résumé, FAME transforme la gestion de l'équilibre d'une tâche passive (résistance aux perturbations) en une capacité active d'adaptation, permettant aux humanoïdes d'opérer de manière fiable dans des conditions de manipulation complexes.