Résumé technique : Imitation et affinage du contrôle prédictif de modèle pour une locomotion quadrupède robuste et symétrique

Énoncé du problème

La conception de contrôleurs de locomotion robustes pour les robots à pattes reste un défi majeur en raison de la dynamique sous-actionnée, discrète et de haute dimension de ces systèmes. Le contrôle basé sur modèle traditionnel (par exemple, le contrôle prédictif de modèle ou MPC) a démontré une agilité et une robustesse impressionnantes, mais repose souvent sur une modélisation mathématique extensive et des heuristiques prédéfinies (comme celles de Raibert). Ces modèles peinent dans des situations complexes et inhabituelles, telles que des terrains accidentés, glissants ou sur convoyeurs, où des glissements de pattes ou des obstacles inattendus se produisent. À l'inverse, les approches basées sur l'apprentissage (par exemple, l'apprentissage par renforcement profond ou Deep RL) peuvent résoudre automatiquement des problèmes contre-intuitifs en utilisant d'énormes volumes de données, mais nécessitent souvent un façonnage manuel extensif des récompenses pour produire des allures de haute qualité, symétriques et périodiques. Sans un réglage minutieux, les politiques apprises peuvent présenter des mouvements saccadés et asymétriques qui échouent à se transférer sur du matériel réel. De plus, les approches hybrides existantes souffrent souvent de coûts de calcul élevés dus à la nécessité d'exécuter le MPC à des fréquences élevées, ou échouent à généraliser au-delà de trajectoires de référence uniques.

Méthodologie : Le cadre IFM

Les auteurs proposent un nouveau cadre d'Imitation et d'Affinage du Contrôle Prédictif de Modèle (IFM) qui intègre les forces du contrôle basé sur modèle et des algorithmes basés sur l'apprentissage à travers un processus en trois étapes :

Étape 0 : Contrôle Prédictif de Modèle Expert (MPC)

Le cadre commence par le développement d'un contrôleur expert ($\pi_E$) utilisant la Programmation Dynamique Différentielle (DDP) et les heuristiques de Raibert.

• Conception : Le MPC prédit les états futurs et génère des commandes de contrôle optimales basées sur une fonction de coût convexe. Il utilise des contraintes de pyramide de frottement pour les pattes d'appui et un contrôle d'impédance dans l'espace des tâches pour les pattes en oscillation.
• Limitation : Bien que robuste, ce MPC est coûteux en calcul (environ 12,4 ms par optimisation) et repose sur un modèle fixe, rendant l'exécution en temps réel sur du matériel difficile et limitant l'adaptabilité à des terrains non rencontrés.
• Conversion des actions : Pour combler le fossé avec les algorithmes d'apprentissage, les sorties de couple du MPC sont converties en angles de joints cibles à l'aide d'un modèle inverse proportionnel-dérivé (PD), rendant les données compatibles avec les politiques de réseaux de neurones.

Étape 1 : Apprentissage par Imitation (IL)

Le MPC expert est utilisé pour générer un jeu de données afin de pré-entraîner une politique de réseau de neurones ($\pi_I$).

• Algorithme : Les auteurs emploient l'Agrégation de Jeux de Données (DAgger). Au lieu d'un simple clonage de comportement, la politique est déployée et le MPC expert corrige les actions pour les états non rencontrés, agrégeant ces données pour atténuer le décalage de distribution.
• Architecture : Un Perceptron Multicouche (MLP) avec trois couches cachées (512, 256, 64 neurones) prend en entrée des observations incluant l'orientation du corps, les états des joints, l'historique et les commandes utilisateur.
• Objectif : Cette étape crée un « clone » du MPC qui est efficace en calcul et apprenable, héritant des allures symétriques et périodiques de l'expert sans le coût d'optimisation lourd.

Étape 2 : Affinage par Apprentissage par Renforcement (RL)

La politique imitée est ensuite affinée sur des terrains difficiles en utilisant l'Optimisation de Politique Proximale (PPO).

• Apprentissage par curriculum : La politique est entraînée sur un curriculum de terrains (accidenté, accidenté discret, marche, falaise) avec une difficulté croissante (facteur de terrain) pour éviter la perte des styles de mouvement pré-entraînés.
• Formulation des récompenses : Les auteurs utilisent un paramétrage de Récompense Simple (SR) (suivi de la vitesse, minimisation des mouvements inutiles, régularisation du couple) et un paramétrage de Récompense de Contact (CR) (ajout d'un biais de contact). Crucialement, le pré-entraînement réduit considérablement la charge de l'ingénierie des récompenses par rapport au RL classique.
• Exploration contrainte : Pour maintenir les styles de mouvement bénéfiques appris lors de l'imitation, l'affinage RL emploie une exploration contrainte (écart-type initial faible, taux d'apprentissage bas et petits paramètres de clip PPO).
• Simulation vers Réel : Une randomisation de domaine est appliquée au bruit des observations, au frottement des moteurs, aux gains PD, au frottement du sol et à la latence des commandes pour assurer un transfert zéro-shot vers le matériel.

Contributions clés

1. Cadre novateur : La proposition du cadre IFM, qui combine systématiquement le MPC et le RL pour tirer parti de la robustesse du contrôle basé sur modèle et de l'adaptabilité des méthodes basées sur l'apprentissage.
2. Amélioration des performances : Démonstration que IFM améliore considérablement la robustesse du MPC expert sur des terrains accidentés, glissants et sur convoyeurs, tout en réduisant drastiquement le temps de calcul (de ~15 ms à ~1 ms).
3. Efficacité et qualité : Preuve que IFM produit des allures plus symétriques, périodiques et économes en énergie par rapport au RL classique, y parvenant avec un façonnage minimal des récompenses et une convergence plus rapide.
4. Validation matérielle : Déploiement réussi sur le robot Mini Cheetah, montrant des taux de réussite supérieurs pour le franchissement d'obstacles et le suivi de vitesses par rapport à la fois au MPC original et aux références RL pures.

Résultats expérimentaux

Les auteurs ont mené des simulations extensives et des expériences matérielles sur le Mini Cheetah :

• Robustesse : En simulation, IFM a surpassé le MPC expert et les politiques DAgger uniquement sur des terrains accidentés, glissants et convoyeurs non rencontrés. Alors que le MPC échouait sur les convoyeurs en raison de motifs de pose de pattes fixes, IFM a adapté son allure efficacement.
• Performance de suivi : Sur terrain plat, IFM(SR) a obtenu les erreurs de suivi linéaire les plus faibles, surpassant à la fois le MPC et le RL classique. Le RL classique(SR) présentait un mauvais suivi en raison d'un « saut » (mouvement vertical excessif), un problème atténué par le pré-entraînement de IFM.
• Taux de réussite matérielle :
  • Franchissement d'obstacles : IFM(CR) a atteint un taux de réussite de 90 % pour franchir des obstacles de 7,5 cm, tandis que le MPC ajusté matériellement (WBIC) et DAgger ont échoué complètement à cette hauteur.
  • Terrain glissant : Les politiques IFM ont traversé avec succès une surface avec un coefficient de frottement de 0,22, tandis que le MPC et DAgger sont tombés en raison de leur dépendance aux heuristiques de Raibert qui ne pouvaient pas gérer un glissement significatif.
• Qualité du mouvement : Les politiques IFM ont démontré un Coût de Transport (CoT) et un Indice de Portrait de Phase (PPI) inférieurs par rapport au RL classique, indiquant des allures plus économes en énergie et symétriques. Les portraits de phase de IFM montraient un recouvrement presque parfait entre les pattes gauche et droite, contrairement aux mouvements asymétriques du RL classique.
• Efficacité : IFM a convergé en environ 2 000 itérations, nettement plus vite que le RL classique (environ 4 000+ itérations).

Importance et affirmations

L'article affirme que le cadre IFM offre une solution équilibrée au compromis entre l'interprétabilité et la robustesse du contrôle basé sur modèle et l'adaptabilité des méthodes basées sur l'apprentissage. En utilisant le MPC comme expert de pré-entraînement, le cadre :

1. Réduit l'espace de recherche pour le RL, permettant à l'agent de trouver des allures de haute qualité et symétriques sans ingénierie complexe des récompenses.
2. Surmonte les limitations des contrôleurs à modèle fixe (comme le MPC) dans des environnements dynamiques et incertains.
3. Permet un contrôle en temps réel en remplaçant l'optimisation en ligne lourde par un réseau de neurones léger.

Les auteurs concluent que IFM fournit une approche structurée pour réguler les styles de mouvement, atténuant le défi de l'ingénierie des récompenses tout en améliorant considérablement la robustesse et l'efficacité de la locomotion quadrupède sur des terrains difficiles. Des travaux futurs sont suggérés pour étendre cette méthode à la locomotion basée sur la vision, nécessitant potentiellement des architectures de réseau plus complexes comme les LSTM ou les CNN.