Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Résumé Technique : Koopman DCM : Des fonctions propres instables comme représentations fondées sur les données pour l'équilibrage de robots bipèdes

Énoncé du Problème
Le contrôle de l'équilibre des robots bipédés reposait historiquement sur des modèles d'ordre réduit, notamment le Pendule Inversé Linéaire (LIP). Dans le cadre du LIP, la Composante Divergente du Mouvement (DCM) sert de coordonnée de contrôle critique qui isole le mode instable du système. Cependant, les formulations existantes de la DCM font face à deux limitations principales :

1. Dépendance au Modèle : La DCM est strictement définie pour des modèles réduits (comme le LIP) et ne s'étend pas naturellement à la dynamique complète et non linéaire d'un robot réel.
2. Écart de Paramètres : La fréquence naturelle $\omega = \sqrt{g/h}$ utilisée dans les formulations standards de la DCM est dérivée d'une hauteur théorique du centre de masse (CoM) $h$. Ce paramètre basé sur le modèle échoue souvent à capturer la véritable dynamique de systèmes complexes et réels, ce qui conduit à des performances de contrôle sous-optimales.

L'article traite ces problèmes en reformulant la DCM non pas comme une propriété d'un modèle réduit spécifique, mais comme une fonction propre de Koopman de la dynamique complète du système, apprenable directement à partir des données du robot réel.

Méthodologie
Les auteurs proposent un pipeline fondé sur les données pour apprendre des « Koopman DCMs » en tant que fonctions propres instables. La méthodologie centrale implique :

1. Reformulation Théorique :

   • Les auteurs cadrent la recherche d'une DCM comme un problème de recherche de fonctions propres pour l'opérateur de Koopman.
   • Contra-rément aux applications typiques de Koopman qui ciblent des valeurs propres proches de zéro (quantités conservées), ce travail recherche délibérément des paires propres instables avec de grandes valeurs propres positives ($\omega > 0$).
   • Pour un système affine en commande $\dot{x} = f(x) + B(x)u$, l'observable apprise $\xi$ est contrainte de satisfaire l'équation différentielle linéaire $\dot{\xi} = \omega(\xi - u)$, reflétant la structure de la DCM du LIP mais dérivée des données.

2. Pipeline d'Apprentissage :

   • Entrée : Le système utilise un plongement de retard (delay embedding) des historiques mesurements-actions ($z_k$) plutôt qu'un espace d'état prédéfini.
   • Architecture : Un perceptron multicouche (MLP) apprend l'observable $\xi_\theta$.
   • Fonctions de Perte : L'objectif d'entraînement combine deux composantes pour éviter les solutions triviales (où $\omega \to 0$ et $\xi \to 0$) :
     • Perte de Dynamique DCM : Impose la récursion linéaire $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$.
     • Perte de Prédiction du CoM : Impose la relation entre la DCM apprise et la position du CoM, garantissant que l'observable apprise ancre la dynamique stable du CoM.
   • Extension Temporelle : Pour éviter la convergence vers de faibles valeurs propres sur les données réelles, les auteurs emploient des traces d'éligibilité (perte TD($\lambda$)), évaluant l'encodeur par rapport à des prédictions multi-étapes plutôt que par rapport à un seul résidu d'une étape.

3. Application au Contrôle :

   • Robot Réel : La DCM apprise est utilisée dans une boucle de rétroaction proportionnelle pour suivre des références de point de passage du moment nul (ZMP) sur un bípède à roues (Cookie).
   • Simulation (MPC) : La DCM apprise sert de variable d'état dans un cadre de contrôle prédictif de modèle (MPC) pour un humanoïde (Unitree G1). La dynamique de la DCM est utilisée pour formuler des contraintes de viabilité (garantissant que le robot reste à l'intérieur du polygone de support), qui sont imposées comme des contraintes strictes dans l'optimisation.

Principales Contributions

1. Recadrage des DCM : L'article présente les Composantes Divergentes du Mouvement comme des fonctions propres instables de Koopman, généralisant le concept au-delà des modèles réduits.
2. Apprentissage Fondé sur les Données : Un nouveau pipeline est proposé pour apprendre ces fonctions propres directement à partir de données en boucle fermée de mesures-actions sans nécessiter de modèle cinématique d'ordre réduit.
3. Déploiement sur Robot Réel : La méthode est déployée sur un bípède physique, démontrant une amélioration du suivi des motifs de marche par rapport aux bases de comparaison basées sur le modèle cinématique.
4. Contraintes de Viabilité : Les auteurs démontrent comment les DCM apprises peuvent être intégrées dans un MPC pour imposer des contraintes de viabilité basées sur l'état, améliorant la stabilité en simulation.

Résultats

• Performance sur Robot Réel (Bipède Cookie) :
  • Le système a été entraîné sur 1 heure de données de robot réel.
  • Dans les expériences de suivi de ZMP avec des références sinusoïdales, la DCM apprise (avec un horizon de retard $H=10$) a nettement surpassé la base de comparaison LIP cinématique.
  • Plus précisément, à une amplitude de 0,2, la DCM apprise a atteint une erreur quadratique moyenne (RMSE) de 0,05, contre 0,12 pour la base de comparaison cinématique (une amélioration de 2,4x).
  • Le contrôleur appris a systématiquement réduit les erreurs de suivi à travers diverses amplitudes et périodes.
• Performance en Simulation (Unitree G1) :
  • Dans une simulation d'équilibrage latéral, un contrôleur utilisant la DCM apprise au sein d'un cadre MPC a atteint un taux de chute de 0 % sur 90 essais.
  • En revanche, un contrôleur DCM proportionnel (sans les contraintes de fonction propre apprises) a entraîné un taux de chute de 33 % (30/90 essais) dans les mêmes conditions difficiles. L'approche MPC a également réduit l'erreur de suivi du ZMP (0,59 contre 0,73).

Signification et Revendications
L'article affirme qu'en traitant les DCM comme des fonctions propres de Koopman fondées sur les données, il est possible de contourner les limitations des modèles d'ordre réduit. La signification primaire réside dans la capacité de :

• Apprendre la Dynamique Spécifique au Système : La méthode capture les véritables modes instables du robot directement à partir des données, plutôt que de s'appuyer sur des paramètres théoriques comme la hauteur du CoM.
• Permettre un Contrôle Robuste : Les observables apprises fournissent une représentation d'état plus précise pour le contrôle par rétroaction et l'analyse de viabilité.
• Éviter les Problèmes de Transfert Sim-to-Real : Comme le pipeline s'entraîne directement sur des données en boucle fermée du robot réel (ou d'un simulateur haute fidélité), il évite les défis d'adaptation de domaine typiquement associés à l'entraînement en simulation et au déploiement sur matériel.

Les auteurs restent modestes quant à la portée, notant que la formulation actuelle suppose un couplage d'entrée linéaire spécifique ($\dot{\xi} = \omega(\xi - u)$) et que des travaux futurs pourraient explorer des dynamiques bilinéaires plus générales ou des modèles à hauteur variable.