Résumé Technique : LadderMan

Problématique

Permettre aux robots humanoïdes d'opérer dans des environnements centrés sur l'humain nécessite des capacités robustes de montée d'échelle. Cependant, cette tâche présente des défis importants par rapport à la locomotion sur terrain plat ou à la montée d'escaliers. La montée d'échelle exige une coordination précise et soutenue entre les contacts du haut et du bas du corps sur des appuis et des prises épars, discontinus et étroits. De petites erreurs de perception ou de contrôle peuvent entraîner un échec catastrophique. De plus, les échelles réelles varient considérablement en termes d'inclinaison, d'espacement des échelons et de conception structurelle, ce qui rend la généralisation difficile. Les approches existantes reposent souvent sur un contrôle basé sur des modèles nécessitant une modélisation précise de l'environnement et un réglage spécifique à la tâche, ou sur des méthodes d'apprentissage par renforcement (RL) qui produisent des comportements dominés par le bas du corps, échouant à exploiter la coordination de l'ensemble du corps. De plus, peu de méthodes traitent la manipulation sur échelle, où le robot doit maintenir son équilibre tout en effectuant des tâches.

Méthodologie

Les auteurs proposent LadderMan, un système unifié pour la montée d'échelle perceptive des humanoïdes et la manipulation sur échelle. Le système utilise un pipeline d'apprentissage à deux étapes évolutif et un cadre à double agent pour la manipulation.

1. Apprentissage de multiples politiques expertes (Étape 1)

Pour éviter le besoin de grands ensembles de données de mouvement couvrant diverses géométries, les auteurs introduisent le suivi de mouvement hybride.

• Mouvement de référence unique : Le système apprend plusieurs politiques expertes basées sur l'état ($\pi_{\phi,z}^{expert}$) correspondant à différentes configurations d'échelle (inclinaison $\phi$, espacement des échelons $z$) à partir d'un seul mouvement de référence.
• Suivi asymétrique : La récompense de suivi est partitionnée en composantes pour le haut et le bas du corps. Le bas du corps est suivi strictement pour assurer des comportements de montée stables, tandis que le haut du corps est suivi avec des contraintes assouplies pour permettre l'adaptation à des géométries d'échelle spécifiques.
• Adaptation pilotée par la tâche : Le système incorpore des récompenses de contact centrées sur l'échelle et des récompenses de montée. Les positions de contact sont générées automatiquement en fonction de la géométrie cible de l'échelle, permettant à la politique d'adapter les lieux de contact sans annotation manuelle pour chaque configuration.

2. Distillation unifiée de politique visuomotrice (Étape 2)

Les multiples politiques expertes sont distillées dans une politique visuomotrice unique basée sur la profondeur ($\pi_{visual}$) en utilisant un apprentissage par imitation et renforcement hybride.

• Objectif hybride : La politique est optimisée à l'aide d'une combinaison d'un objectif de RL basé sur PPO (utilisant les mêmes récompenses que les experts) et d'un terme de divergence KL pour encourager l'imitation des comportements experts. Le poids du terme d'imitation est amené pendant l'entraînement, permettant une transition d'une initialisation pilotée par l'imitation vers une optimisation pilotée par la tâche.
• Entrées : La politique unifiée prend en entrée la proprioception, des observations de profondeur et une commande binaire de direction de montée.

3. Combler le fossé Sim-to-Real

Pour permettre un transfert zero-shot vers le matériel réel, les auteurs traitent le fossé sim-to-real dans la perception de la profondeur, ce qui est critique pour les échelons d'échelle fins.

• Modèle de vision fondationnel (VFM) : Au lieu de compter sur une randomisation étendue de la profondeur, le système utilise un VFM pré-entraîné (Fast-FoundationStereo) pour traiter des images stéréoscopiques en niveaux de gris du monde réel en cartes de profondeur. Cela fournit des observations de profondeur plus propres et géométriquement cohérentes.
• Masquage focalisé sur les échelons (RFM) : Pendant l'entraînement, les régions sans échelons sont masquées avec une probabilité de $p=0,1$ pour forcer la politique à se concentrer sur les structures de montée pertinentes plutôt que sur la géométrie de l'arrière-plan ou les supports spécifiques de l'échelle.

4. Manipulation sur échelle via l'apprentissage à double agent

Pour les tâches de manipulation tout en étant sur l'échelle, les auteurs emploient une formulation à double agent pour découpler la stabilisation de la manipulation.

• Agent du bas du corps ($\pi_l$) : Responsable du maintien d'un équilibre stable et des contacts avec l'échelle.
• Agent du haut du corps ($\pi_u$) : Suit les cibles de manipulation téléopérées (poses du bras, du poignet et de la taille).
• Découplage : En utilisant des réseaux acteur-critique séparés, le système réduit l'interférence entre les objectifs de stabilisation et de manipulation, permettant une téléopération stable de l'ensemble du corps sur l'échelle.

Contributions clés

1. Système perceptif unifié : LadderMan permet une montée d'échelle sim-to-real zero-shot robuste à travers diverses géométries (inclinaison, espacement des échelons, structure) en utilisant un seul mouvement de référence et un contrôle visuomoteur basé sur la profondeur.
2. Suivi de mouvement hybride : Une méthode novatrice pour apprendre plusieurs politiques de montée expertes à partir d'un seul mouvement de référence en combinant un suivi du haut du corps assoupli avec une adaptation de contact pilotée par la tâche, éliminant ainsi le besoin de grands ensembles de données de mouvement.
3. Perception Sim-to-Real : L'intégration d'un modèle de vision fondationnel et d'un masquage focalisé sur les échelons pour combler le fossé de perception de la profondeur, permettant le déploiement sur du matériel réel sans réglage manuel extensif ou modification du matériel.
4. Manipulation stable sur échelle : Un cadre d'apprentissage à double agent qui permet avec succès des tâches de manipulation complexes (ex: ajuster des tableaux, remplacer des ampoules) tout en maintenant l'équilibre sur l'échelle, surpassant les politiques standards de téléopération de l'ensemble du corps.

Résultats expérimentaux

Le système a été évalué sur un humanoïde Unitree G1 de 1,3 m et 29 degrés de liberté, utilisant une caméra Intel RealSense D435i et un NVIDIA Jetson Orin.

• Performance en conditions réelles : LadderMan a réussi à monter et descendre trois échelles réelles diverses (variations d'angle, d'espacement et de matériau) de manière zero-shot. Il a atteint une vitesse de montée d'environ 3,4 secondes par échelon, comparable à celle de sujets humains (~3,2 s/échelon).
• Manipulation : Le système a réalisé avec succès des tâches d'ajustement de tableau, de remplacement d'ampoule et de passage de boîte tout en maintenant l'équilibre.
• Généralisation : En simulation, la politique a atteint des taux de réussite >95 % sur des échelles avec des espacements d'échelons entre 24 et 28 cm et des inclinaisons entre 55 et 65 degrés. Elle a maintenu environ 57 % de succès même dans des configurations limites extrêmes.
• Études d'ablation :
  • Apprentissage de l'expert : Le suivi de mouvement standard a échoué sur des géométries différentes de la référence, tandis que le suivi de mouvement hybride a réussi sur toutes les configurations testées.
  • Sim-to-Real : Supprimer le VFM, le masquage focalisé sur les échelons ou la composante RL dans l'étape de distillation a considérablement réduit les taux de réussite en conditions réelles, certaines variantes échouant complètement.
  • Manipulation : La politique à double agent a maintenu un équilibre stable pendant la manipulation, alors qu'une ligne de base de pointe (TWIST2) perdait fréquemment l'équilibre.

Signification et Limites

L'article affirme que LadderMan représente un jalon clé pour le déploiement des humanoïdes dans les environnements industriels (construction, maintenance) en résolvant le problème complexe de la montée d'échelle perceptive et de la manipulation sans modification du matériel.

Limites reconnues par les auteurs :

• La politique de montée est actuellement évaluée sur des échelles inclinées jusqu'à 75 degrés et ne s'étend pas encore aux échelles verticales, qui nécessitent des stratégies différentes et des forces de contact plus élevées.
• Les capacités de manipulation sont actuellement limitées par l'absence d'effecteurs terminaux dextres sur le matériel actuel.

Les auteurs déclarent que tout le code d'entraînement et d'inférence, ainsi que les modèles déployables, seront rendus en open-source.