🤖 machine learning

Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

Cet article présente un cadre d'apprentissage par renforcement profond qui permet à un robot quadrupède de 68 kg de maintenir une locomotion stable lors d'une perte de puissance des actionneurs en utilisant une architecture acteur-critique asymétrique avec alignement latent et un paramètre de fréquence de marche apprenable pour réorganiser de manière adaptative la coordination sans stratégies de panne prédéfinies.

Auteurs originaux : Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Publié 2026-08-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots ne sont pas seulement des machines rigides et maladroites qui cessent de fonctionner dès qu'elles trébuchent ou qu'une pièce casse. Imaginez-les plutôt comme des athlètes résilients, capables de trébucher, de réaliser qu'un muscle est faible, et de trouver instantanément une nouvelle façon de courir sans tomber. C'est le rêve de la « robotique à pattes », un domaine où les scientifiques apprennent aux machines dotées de jambes — comme des chiens ou des chevaux — à marcher dans des environnements réels et désordonnés comme des décombres, des forêts ou des rues urbaines inégales. Le grand défi ? Lorsqu'un moteur de jambe d'un robot tombe en panne (par exemple, s'il perd de la puissance ou se bloque), le robot ne peut pas simplement continuer ce qu'il faisait. Il doit réorganiser l'ensemble de son corps, déplacer son poids et modifier sa façon de marcher, le tout en une fraction de seconde. Cela est particulièrement difficile pour les robots lourds ; contrairement à un petit robot jouet qui peut bondir frénétiquement pour corriger une erreur, un robot lourd est comme un lutteur de sumo essayant de danser. S'il bouge trop vite ou de manière trop agressive, il risque de basculer. La question est donc la suivante : comment apprendre à un robot lourd à être un danseur gracieux et adaptatif même lorsqu'une de ses jambes est blessée ?

Cet article présente une solution ingénieuse utilisant un type d'intelligence artificielle appelé « apprentissage par renforcement profond » (deep reinforcement learning). Voyez cela comme une méthode d'entraînement de jeu vidéo où le robot apprend par essais et erreurs, mais avec une touche spéciale. Les chercheurs ont appris à un robot quadrupède de 68 kg (nommé Kyon) à continuer de marcher même lorsqu'un de ses moteurs perd soudainement toute puissance. Ils ne se sont pas contentés de dire au robot : « Si ta patte gauche casse, fais X ». Au lieu de cela, ils ont laissé le robot comprendre par lui-même. Le ingrédient secret était une configuration d'entraînement où le « cerveau » du robot (l'acteur) devait deviner ce qui n'allait pas en se basant uniquement sur ce que son corps ressentait (la proprioception), tandis que son « entraîneur » (le critique) connaissait la vérité exacte pendant l'entraînement. En forçant le cerveau à imiter la compréhension de l'entraîneur, le robot a appris à déduire ses propres blessures simplement en ressentant la différence dans ses mouvements.

L'équipe a découvert que dire simplement au robot où placer ses pieds ne suffisait pas. Ils ont ajouté un bouton spécial de « fréquence de la démarche » (gait frequency) aux commandes du robot, lui permettant d'accélérer ou de ralentir son rythme de pas à la volée. Cela s'est avéré être un changement radical. Lorsqu'une jambe tombait en panne, le robot ne se contentait pas de boiter ; il ajustait dynamiquement son timing, passant parfois à un trot à trois pattes ou changeant la longueur de son enjambée pour rester équilibré. Ils ont testé cela dans des simulations de haute fidélité sur des terrains accidentés et à marches, et même sur un vrai sol plat avec le robot de 68 kg réel. Les résultats ont montré que le robot pouvait survivre à des défaillances soudaines de moteurs, en maintenant son équilibre et en continuant à avancer sans avoir besoin d'un « plan d'urgence » préprogrammé.

Voici comment la magie opère, décomposée en concepts du quotidien :

Le jeu « Enseignant-Élève »
Imaginez que vous apprenez à faire du vélo avec des petites roues, mais que votre enseignant peut voir une carte cachée de la route que vous ne voyez pas. Dans la méthode de l'article, le « critique » est l'enseignant qui voit tout : la position exacte du robot, le terrain, et même quel moteur est cassé. L'« acteur » est l'élève qui ne ressent que le vent et le guidon (les capteurs du robot). Pendant l'entraînement, l'enseignant guide l'élève, mais l'élève doit apprendre à deviner ce que l'enseignant voit en se basant uniquement sur le ressenti du vélo. Les chercheurs ont ajouté une règle spéciale : le « devinette » de l'élève (une carte mentale cachée) doit correspondre le plus fidèlement possible à la carte de l'enseignant. Cela force le robot à devenir incroyablement sensible aux minuscules changements dans son propre corps qui signalent un moteur cassé, lui permettant de réagir sans jamais qu'on lui dise : « Hé, ta jambe est cassée ! ».

Le Rythme Adaptatif
La plupart des robots marchent selon un rythme strict, comme une fanfare. Si une jambe se casse, un robot de fanfare pourrait essayer de garder le même rythme, ce qui mène généralement à une chute. Le robot de cet article, cependant, a appris à être un batteur de jazz. Les chercheurs ont donné au robot une « action de fréquence de la démarche », qui est comme un bouton de volume pour sa vitesse de pas. Lorsque le robot détectait un problème (comme un moteur perdant de la puissance), il ne paniquait pas ; il ajustait son tempo. S'il se trouvait sur une seule jambe (appui unipodal), il accélérait son rythme pour poser le pied suivant rapidement. S'il était sur deux jambes (appui bipodal), il ralentissait pour être plus stable. Cette flexibilité a permis au robot lourd de redistribuer son poids en toute sécurité, ce que les robots rigides et préprogrammés échouent souvent à faire.

Le Défi du Poids Lourd
Pourquoi est-ce important pour un robot de 68 kg ? L'article souligne que les robots lourds sont différents des petits robots souvent vus dans les laboratoires. Un petit robot peut bondir et se rétablir rapidement, mais un robot lourd possède plus d'inertie et des limites plus serrées sur la force que ses moteurs peuvent supporter. Si un robot lourd tente une correction soudaine et agressive, il pourrait briser ses propres articulations ou tomber. Les chercheurs ont constaté que les stratégies « agressives » qui fonctionnent pour les petits robots ne passent pas à l'échelle supérieure. Au lieu de cela, la clé était le « timing de la démarche adaptatif ». En laissant le robot changer quand il pose le pied, plutôt que simplement où, il pouvait maintenir sa stabilité sans avoir besoin d'être un super-héros.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)
Les expériences, menées dans une simulation informatique ultra-précise et sur un robot réel, ont montré que cette méthode fonctionne. Le robot a pu gérer une perte de puissance soudaine dans n'importe lequel de ses 12 joints. Curieusement, le robot a compris que les défaillances des articulations du genou étaient les plus difficiles à gérer, le forçant souvent à passer à une marche en « trépied » à trois pattes. Les chercheurs ont également testé de combien de « mémoire » le robot avait besoin. Ils ont découvert que regarder en arrière seulement quelques pas (un historique de 3 pas) était suffisant pour que le robot comprenne ce qui n'allait pas ; regarder plus loin n'apportait pas beaucoup plus d'aide.

Cependant, il existe des limites à ce succès. Le robot a été testé sur un sol plat dans le monde réel et sur un terrain accidenté à marches dans la simulation. Il ne possédait pas de caméra ou de LiDAR pour « voir » le sol lors des tests en conditions réelles ; il comptait entièrement sur ses capteurs internes et une carte de la hauteur du terrain préchargée. L'article suggère que l'ajout d'un véritable système de perception (comme une caméra) pour voir le sol en temps réel serait la prochaine étape logique, mais cela ne faisait pas partie de cette étude spécifique. De plus, bien que le robot ait survécu à la chute et ait continué à marcher, l'étude s'est concentrée sur la locomotion (la marche), et non sur la manière dont le robot se relèverait s'il tombait réellement.

En bref, cet article suggère qu'en apprenant aux robots à « écouter » leur propre corps et à ajuster leur rythme de marche à la volée, nous pouvons créer des robots lourds et pratiques, assez robustes pour gérer des pièces cassées sans avoir besoin d'une intervention manuelle. C'est une étape vers des machines qui ne se contentent pas de suivre des ordres, mais qui s'adaptent comme des créatures vivantes quand les choses tournent mal.

Résumé Technique : Apprentissage d'une locomotion tolérante aux pannes par synchronisation adaptative de la cadence

Énoncé du problème
Les robots à pattes déployés dans des environnements non structurés sont confrontés à un risque élevé de défaillances matérielles, telles que la perte de puissance d'un actionneur ou le blocage d'une articulation. Bien que l'apprentissage par renforcement profond (RL) ait montré des promesses en matière de contrôle tolérant aux pannes, les approches existantes se heurtent à deux limitations principales lors du passage à des plateformes plus lourdes (par exemple, des quadrupèdes de 68 kg). Premièrement, de nombreuses méthodes reposent sur des générateurs de démarche prédéfinis ou des stratégies spécifiques pour les pattes défaillantes, ce qui limite la capacité de la politique à exploiter pleinement les capacités d'actionnement restantes et à s'adapter à des terrains complexes. Deuxièmement, la plupart des validations expérimentales sont limitées à de petits robots sur des terrains plats ou légèrement accidentés. Les robots plus lourds possèdent une masse et une inertie accrues, ce qui amplifie le couplage dynamique et resserre les marges d'actionnement, rendant moins réalisables les stratégies de compensation agressives à haute fréquence. Par conséquent, il est nécessaire de disposer d'une politique de contrôle capable de réorganiser de manière autonome la coordination et la synchronisation de la cadence sans dépendre d'une connaissance explicite de la panne ou de stratégies de récupération prédéfinies.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par renforcement profond basé sur une architecture acteur-critique asymétrique entraînée via l'optimisation de politique proximale (PPO). L'objectif central est de permettre à un robot de maintenir sa stabilité et sa mobilité lors d'une perte soudaine de puissance d'un actionneur sur un terrain accidenté.

Acteur-Critique Asymétrique avec Alignement Latent : L'entraînement utilise des informations privilégiées (incluant le masque de panne des articulations en vérité terrain et des données de terrain sans bruit) accessibles uniquement au critique. L'acteur, qui sert de contrôleur déployable, ne reçoit que des observations proprioceptives et un historique des états passés. Pour combler l'écart entre le critique privilégié et l'acteur proprioceptif, les auteurs introduisent une perte d'alignement latent auxiliaire. Cette perte encourage l'encodeur de l'acteur à reconstruire une représentation latente de l'information privilégiée à partir de son historique proprioceptif, garantissant que l'acteur apprenne à inférer implicitement les conditions de panne.
Synchronisation Adaptative de la Cadence : Contraurs aux approches traditionnelles qui ne produisent que des cibles de position d'articulation, l'espace d'action est augmenté d'un paramètre de fréquence de cadence ( $a^\nu_t$ ) apprenable. Ce scalaire module la fréquence de pas d'un motif de marche de référence. Cela permet à la politique de réguler de manière autonome la synchronisation des pas et l'ordonnancement des contacts en réponse aux variations de terrain et à la dégradation des actionneurs, plutôt que de s'en tenir à un cycle de marche fixe.
Espaces d'Observation et d'Action : La politique opère à 50 Hz, produisant des écarts d'angle d'articulation et le terme de fréquence de cadence. L'espace d'observation comprend des données proprioceptives (angles d'articulation, vitesses, vitesse de la base, actions précédentes) et des cartes de hauteur de terrain. Crucialement, l'acteur traite un historique de $H$ observations proprioceptives pour inférer l'état du système.
Curriculum d'Entraînement : L'entraînement utilise une stratégie de curriculum où la sévérité de la panne (modélisée comme une mise à l'échelle de l'efficacité du couple) est progressivement augmentée en fonction des performances de suivi de la politique. Cela garantit que l'agent apprend d'abord à gérer des défaillances partielles avant d'être confronté à une perte de puissance totale.

Contributions Clés

Locomotion consciente des pannes à partir de capteurs non conscients des pannes : Le papier présente une procédure d'entraînement en une seule étape où une perte d'alignement latent permet à l'acteur de reconstruire les représentations de panne privilégiées uniquement à partir de l'historique proprioceptif, éliminant ainsi le besoin de modules explicites d'estimation de panne ou d'étiquettes de panne de vérité terrain lors du déploiement.
Synchronisation Adaptative de la Cadence : En augmentant l'espace d'action avec une fréquence de cadence apprenable, la méthode permet une modulation dynamique de la synchronisation des pas. Cela permet au robot d'adapter son calendrier de contact aux conditions de panne et à la géométrie du terrain sans stratégies de patte défaillante prédéfinies.
Analyse de l'Historique Proprioceptif : Le travail étudie l'impact de la longueur de l'historique d'observation sur la capacité de la politique à inférer les pannes, démontrant qu'un historique court est suffisant pour une reconstruction latente efficace.
Validation Sim-to-Real sur des Plateformes Lourdes : L'approche est validée par une simulation haute fidélité sur terrain accidenté et par des expériences réelles sur un quadrupède de 68 kg (Kyon), abordant les défis de passage à l'échelle souvent négligés dans les études antérieures sur de petits robots.

Résultats Expérimentaux
La méthode proposée a été évaluée par rapport à plusieurs bases de comparaison, incluant un « Oracle » (accès complet aux informations privilégiées), une version sans alignement latent, et une version sans historique d'observation.

Performance en Simulation : La méthode complète proposée a obtenu les performances les plus proches de l'Oracle, surpassant de manière significative les variantes dépourvues d'alignement latent ou d'historique d'observation. La politique a démontré une robustesse face à une perte de puissance d'actionneur aléatoire sur différentes articulations (roll de la hanche, pitch de la hanche, pitch du genou) et positions de pattes.
Généralisation : Dans des tests Sim-to-Sim utilisant le middleware XBot2 pour répliquer les délais de communication du monde réel, la politique s'est généralisée à des profils de terrain inédits, incluant de nouvelles dimensions d'escaliers et des rampes avec des pentes allant jusqu'à 13°.
Validation en Réel : Un transfert zero-shot sim-to-real a été démontré sur sol plat. Le robot Kyon de 68 kg a réussi à maintenir sa locomotion et à récupérer sa stabilité suite à une panne soudaine de puissance au niveau du pitch du genou arrière gauche.
Études d'Ablation :
- Longueur de l'Historique : Augmenter l'historique proprioceptif de $H=1$ à $H=2$ a produit les gains de performance les plus significatifs, avec des rendements décroissants au-delà de $H=3$ .
- Fréquence de Cadence : Les comparaisons avec un contrôleur de « marche libre » (produisant uniquement des positions d'articulation) ont montré que le paramètre de fréquence apprenable résultait en des motifs de marche plus stables et périodiques ainsi qu'en des accélérations d'articulation plus fluides, particulièrement lors des phases de support unipodal sous condition de panne.

Signification et Revendications
Le papier affirme que pour les robots à pattes plus lourds, les stratégies réactives rapides efficaces sur les plateformes légères sont souvent non viables en raison de limites d'actionnement plus serrées et d'un couplage dynamique plus fort. Par conséquent, la synchronisation adaptative de la cadence est présentée comme un mécanisme critique pour la tolérance aux pannes sous actionnement dégradé. En exploitant les informations de terrain et en modulant la fréquence de la cadence, la politique proposée parvient à une locomotion robuste sans dépendre d'un façonnage de récompense restrictif ou de stratégies de panne prédéfinies. Le travail démontre qu'une seule politique peut efficacement identifier les conditions de panne et réorganiser la coordination, comblant le fossé entre la simulation et la réalité pour les quadrupèdes de moyenne à grande taille dans des environnements non structurés. Les travaux futurs visent l'intégration de la perception embarquée pour la reconstruction de terrain et l'extension du cadre à la récupération de chute et aux systèmes hybrides roues-jambes.

Articles similaires