Résumé Technique : Accélération et Mise à l'Échelle de l'Apprentissage par Renforcement Guidé par MPC pour la Locomotion et la Manipulation Humanoïde

1. Énoncé du Problème

Le contrôle du mouvement des humanoïdes fait face à une dichotomie entre le Contrôle Prédictif de Modèle (MPC) et l'Apprentissage par Renforcement (RL). Le MPC offre une prédiction ancrée dans la physique et une gestion explicite des contraintes, mais il peine souvent face au calcul en temps réel et à la robustesse face aux écarts de modèle. À l'inverse, le RL permet d'acquérir des compétences globales agiles et robustes grâce à la simulation à grande échelle, mais manque souvent de la structure physique et des capacités de planification à long horizon inhérentes au MPC.

Bien que des approches hybrides existent, l'intégration du MPC à l'intérieur de la boucle d'entraînement du RL présente des défis importants :

• Surcharge de Calcul : Résoudre de manière répétée des problèmes de MPC pendant l'entraînement est chronophage.
• Goulots d'Étranglement de l'Évolutivité : Les solveurs MPC actuels basés sur GPU parallélisent souvent les environnements, mais échouent à paralléliser efficacement l'horizon de prédiction, laissant les récursions séquentielles comme un goulot d'étranglement.
• Coûts de Mémoire et de Compilation : Les formulations traditionnelles de Programmation Quadratique (QP) creuses pour le MPC nécessitent une construction de problème et une compilation symbolique chronophages, ce qui entraîne une utilisation élevée de la VRAM qui évolue mal avec la taille du problème.
• Portée Limitée : Les cadres hybrides existants se concentrent principalement sur la locomotion, laissant la loco-manipulation (locomotion et interaction avec des objets simultanées) sous-explorée malgré la haute valeur des modèles physiques pour ces tâches.

2. Méthodologie

Le cadre proposé, MPC-RL, découple les rôles du MPC et du RL : le MPC agit comme un guide lors de l'entraînement pour générer des récompenses structurées, tandis que la politique apprise fonctionne sans MPC lors du déploiement.

A. Guidance par MPC de Dynamique Centroidale (CD-MPC)

Au lieu d'utiliser le MPC pour le contrôle direct, le système utilise un modèle de Dynamique Centroidale (CD) pour générer des références prédictives pour l'agent de RL.

• Modèle : Le CD-MPC suit le Centre de Masse (CoM), la quantité de mouvement linéaire centroïdale ($l_G$) et la quantité de mouvement angulaire centroïdale ($k_G$). Il gère les dynamiques variables en incorporant des ensembles de contacts actifs (pieds pour la locomotion ; pieds et mains pour la loco-manipulation).
• Extraction de Points de Repère (Landmarks) : Plut que de forcer la politique à suivre l'étape immédiate suivante du MPC (ce qui rejette la structure à long horizon), le système extrait un ensemble de points de repère prédictifs à partir de la trajectoire complète du MPC à des intervalles de temps spécifiques ($\delta_\ell$).
• Pondération de la Confiance de Prédiction : La fonction de récompense compare le CoM réalisé à ces points de repère. Une programmation de pondération monotone de l'horizon ($\alpha_0 > \alpha_1 > \dots$) est appliquée, accordant un poids important aux points de repère proches de l'horizon (plus fiables) et diminuant le poids des points de repère lointains (sujets aux écarts de modèle et aux erreurs d'intégration). Cela crée un signal de récompense borné qui fusionne le guidage à long horizon avec un suivi précis à court terme.

B. $\pi$nMPC : Un Solveur Parallèle en Horizon et Sans Construction

Pour rendre le CD-MPC réalisable pour un entraînement de RL massivement parallèle, les auteurs introduisent $\pi$nMPC, un solveur par lots (batched) sur GPU.

• Architecture : Il étend la structure ADMM parallèle en horizon du travail précédent ($\pi$MPC) pour gérer les dynamiques variables dans le temps (essentielles pour les robots à pattes avec des séquences de contact changeantes).
• Innovations Clés :
  1. MPC en Forme de Vélocité : Le solveur optimise sur les incréments d'entrée plutôt que sur les entrées absolues, élevant l'état pour inclure les entrées précédentes.
  2. Séparation de Variables : Un nouveau schéma de séparation introduit des variables auxiliaires pour découpler la dynamique des contraintes. Cela permet aux mises à jour ADMM d'être exécutées en parallèle sur l'ensemble de l'horizon de prédiction sur le GPU, plutôt que séquentiellement.
  3. Sans Construction (Construction-Free) : Le solveur opère directement sur les matrices d'état variables dans le temps ($A_k, B_k, e_k$) sans assembler un QP creux ou nécessiter de génération de code symbolique/compilation à chaque étape. Cela réduit considérablement l'utilisation de la VRAM et élimine les délais de pré-compilation.
• Implémentation : Réalisé en PyTorch et JAX, supportant des tailles de lots massives (jusqu'à 4096 environnements) et de longs horizons (jusqu'à $N=400$).

C. Entraînement et Déploiement

• Algorithme : L'Optimisation de Politique Proximale (PPO) est utilisée avec une architecture acteur-critique asymétrique.
• Observations : L'acteur (déployé sur le matériel) reçoit uniquement la proprioception et les commandes. Le critique (uniquement durant l'entraînement) est privilégié avec les références de CoM et de quantité de mouvement angulaire prédites par le MPC.
• Récompenses : La récompense totale combine la régularisation standard (limites articulaires, dégagement du pied) avec les termes de guidage par points de repère du MPC (CoM, vélocité, quantité de mouvement angulaire, placement du pied et forces de réaction au sol).

3. Contributions Clés

1. Formulation de Récompense par MPC Structurée : Un mécanisme de récompense novateur utilisant la pondération de confiance de prédiction pour extraire le guidage du mouvement et de la dynamique à long horizon des trajectoires de MPC centroïdal, validé par des études d'ablation sur la longueur de l'horizon et les taux de mise à jour.
2. Solveur $\pi$nMPC : Un solveur MPC par lots, sans construction et efficace en mémoire, qui atteint une exécution parallèle en horizon pour les dynamiques variables dans le temps, surmontant les goulots d'étranglement de l'évolutivité des solveurs QP existants.
3. Extension à la Loco-Manipulation : La première démonstration de l'apprentissage par renforcement guidé par MPC pour la loco-manipulation humanoïde, transférée avec succès sur matériel pour pousser des charges lourdes (jusqu'à 290 kg).

4. Résultats

A. Évolutivité du Solveur

• Performance : $\pi$nMPC passe favorablement sur GPU par rapport aux solveurs de pointe (Consensus ADMM, qpth, qpax, CusADi).
• Efficacité : Contrairement à CusADi, qui nécessite des heures de compilation symbolique et une RAM élevée, $\pi$nMPC opère sans compilation. Il reste faisable pour de longs horizons ($N=400$) et de grandes tailles de lots là où les autres solveurs manquent de VRAM ou deviennent prohibitifs en termes de lenteur.
• Implémentation : La variante JAX est plus rapide en calcul, tandis que la variante PyTorch offre une empreinte mémoire plus faible pendant l'entraînement du RL.

B. Locomotion Humanoïde

• Suivi de Vélocité : MPC-RL surpasse systématiquement le Pure RL dans le suivi de la vitesse de translation, y compris pour les commandes hors distribution.
• Récupération de Poussée : Le cadre démontre une robustesse supérieure, récupérant de poussées allant jusqu'à 450 N (selon la configuration), ce qui est nettement plus élevé que le baseline Pure RL (300 N).
• Hyperparamètres : Un horizon de $N=10$ (environ 0,7 s, un cycle de marche) avec un taux de mise à jour de 10 Hz a produit le meilleur équilibre entre performance et efficacité d'entraînement. Des horizons plus longs n'ont pas apporté d'améliorations monotones.
• Conception de la Récompense : Le programme de pondération des points de repère "dégressif" (tapered) a surpassé les conceptions "prochaine étape" et "moyenne" tant en précision de suivi qu'en récupération de poussée.

C. Loco-Manipulation

• Validation Matérielle : La politique a été déployée sur le robot Westwood Robotics Themis V2.
• Capacité : Le robot a réussi à pousser un chariot avec une charge de 290 kg (639 lbs), ce qui représente 829 % de la masse corporelle du robot.
• Comparaison : En simulation, la politique guidée par MPC a obtenu un meilleur suivi de vitesse et une meilleure capacité de poussée par rapport au Pure RL, qui s'arrêtait souvent. Les récompenses structurées du MPC ont fourni le guidage physique nécessaire pour l'interaction de force requise, que le RL pur peinait à découvrir par la seule exploration.

5. Signification et Revendications

L'article affirme que l'optimisation prédictive peut servir d'outil d'entraînement pratique et de source de structure physique pour l'apprentissage de comportements humanoïdes avec une efficacité d'entraînement compétitive.

• Praticité : Le cadre évite le besoin de MPC en temps réel lors du déploiement, s'appuyant sur une politique apprise qui est robuste aux perturbations (ex: poids inconnus, poussées).
• Efficacité : En introduisant $\pi$nMPC, les auteurs démontrent que le guidage par MPC à long horizon est informatiquement faisable dans le cadre du parallélisme massif de l'entraînement RL moderne, supprimant la barrière de la "construction de problème chronophage".
• Généralisabilité : Le succès de la loco-manipulation suggère que le guidage par MPC n'est pas limité à la locomotion, mais est crucial pour des tâches nécessitant des interactions de force complexes et une cohérence dynamique.

Limites et Travaux Futurs :
Les auteurs reconnaissent que l'approche actuelle repose sur des dynamiques centroïdales d'ordre réduit avec des schémas de contact prescrits. Les travaux futurs visent à étendre ce cadre à des modes de contact plus riches en utilisant le MPC non linéaire et à explorer des solveurs augmentés par réseaux de neurones pour un guidage encore plus efficace durant l'entraînement.