SAC-Loco: Safe and Adjustable Compliant Quadrupedal Locomotion

Les auteurs proposent un cadre de locomotion quadrupède sûr et adaptable, baptisé SAC-Loco, qui intègre une politique d'apprentissage par renforcement pour un comportement compliant ajustable sans capteurs de force et un critique de sécurité appris pour coordonner la locomotion fluide et la récupération rapide face aux perturbations externes.

L'essentiel

Imaginez un chien robotique (un quadrupède) qui doit se promener dans un monde chaotique. Parfois, il doit tirer un chariot lourd, parfois il doit résister à un coup de vent violent, et parfois, quelqu'un le pousse brutalement pour le faire tomber.

Le problème avec la plupart des robots actuels, c'est qu'ils sont soit trop rigides (ils tombent si on les pousse), soit trop mous (ils ne peuvent pas suivre un ordre de vitesse précis). Ils manquent de ce que les animaux ont : l'adaptabilité.

Voici l'histoire de SAC-Loco, le nouveau "cerveau" pour ces robots, expliqué simplement.

1. Le Problème : Le Robot "Rigide" vs Le Chat Agile

Imaginez un robot qui marche comme un soldat en formation. Si vous le poussez, il résiste jusqu'à ce qu'il tombe. C'est dangereux et inefficace.
Les animaux, eux, agissent comme des gymnastes. Si on les pousse, ils peuvent :

• Résister (comme un ancre) si la poussée est légère.
• Céder (comme un ressort) si la poussée est forte, en allant dans le sens de la force pour ne pas tomber.
• Se rattraper (comme un chat qui retombe sur ses pattes) si la poussée est trop violente.

Les chercheurs de Singapour et de Chine ont créé SAC-Loco pour donner cette capacité aux robots.

2. La Solution : Une Équipe de Trois Experts

SAC-Loco n'est pas un seul programme, c'est une équipe de trois "personnalités" qui travaillent ensemble, comme un trio d'athlètes :

A. Le "Danseur" (La Politique de Compliance)

C'est le robot quand tout va bien. Il a un bouton magique appelé $k$ (le niveau de souplesse).

• Si vous tournez le bouton vers "Rigide", le robot résiste aux poussées et garde sa trajectoire.
• Si vous le tournez vers "Molle", le robot accepte d'être poussé. Imaginez un patineur qui glisse avec le courant au lieu de lutter contre.
• L'astuce : Ce robot apprend à faire cela sans avoir besoin de capteurs de force spéciaux (comme des mains sensibles). Il devine la force en observant comment son corps bouge, un peu comme vous sentez le vent sur votre visage sans avoir besoin d'un anémomètre.

B. Le "Sauveteur" (La Politique de Sécurité)

Parfois, le "Danseur" est trop gentil et le robot commence à tomber. C'est là qu'intervient le Sauveteur.
Son travail est simple : sauver la mise.

• Il utilise une règle physique intelligente appelée le "Point de Capture" (CCP). Imaginez que le robot doit toujours placer ses pattes sous son centre de gravité pour ne pas basculer.
• Si le robot est poussé vers l'avant, le Sauveteur le fait pivoter pour présenter sa tête à la force (comme un bouclier).
• Si on le pousse par l'arrière, il pivote pour présenter sa queue.
• Il transforme une poussée latérale (dangereuse) en une poussée longitudinale (plus facile à gérer), comme un navigateur qui tourne son bateau pour affronter la vague de face.

C. Le "Gardien" (Le Critique de Sécurité)

C'est le chef d'orchestre. C'est un petit cerveau artificiel qui surveille tout en temps réel.

• Il regarde le robot et se demande : "Est-ce qu'on va tomber dans 100 millisecondes ?"
• Si la réponse est OUI, il crie au "Sauveteur" : "À toi !" et le Sauveur prend le contrôle immédiatement.
• Dès que le danger passe, il dit au "Danseur" : "Reviens, tout est calme."
• Ce Gardien apprend tout seul en regardant des milliers de simulations où le robot tombe, pour savoir exactement quand intervenir.

3. Comment ça marche ? (L'École de Robotique)

Pour entraîner ce système, les chercheurs ont utilisé une méthode très intelligente, un peu comme l'éducation d'un enfant :

1. Le Professeur (Teacher) : D'abord, ils entraînent un robot "surdoué" dans un simulateur. Ce robot a des yeux de super-héros : il voit les forces invisibles et connaît l'avenir. Il apprend à danser et à se sauver.
2. L'Étudiant (Student) : Ensuite, ils entraînent le vrai robot (qui n'a pas ces super-vues) à imiter le Professeur. C'est comme un élève qui copie les mouvements de son maître sans savoir pourquoi il les fait, juste pour réussir.
3. Le Résultat : Le robot final est aussi performant que le Professeur, mais il peut fonctionner dans le monde réel sans capteurs coûteux.

4. Les Résultats : Plus Fort que la Nature ?

Les tests ont été impressionnants :

• En simulation : Le robot a survécu à des poussées de plus de 600 Newtons (l'équivalent de pousser un adulte de 60 kg très fort), là où les autres robots tombaient.
• Dans la vraie vie : Ils ont attaché le robot à une chaise avec une personne dessus (environ 70 kg). Le robot a pu tirer la chaise en ajustant sa vitesse selon la force demandée.
• Le test ultime : Ils ont tiré sur le robot avec une corde pour le faire tomber. Le robot a résisté à des forces bien supérieures à celles que les autres méthodes pouvaient supporter, et il n'est jamais tombé lors des tests de sécurité.

En Résumé

SAC-Loco, c'est comme donner à un robot une âme d'animal. Il ne lutte pas bêtement contre le monde ; il danse avec lui. Il sait quand résister, quand céder, et surtout, il sait se rattraper avant de tomber, le tout sans avoir besoin de capteurs de force complexes. C'est un pas de géant vers des robots qui peuvent travailler en toute sécurité à côté des humains, même dans des environnements imprévisibles.

Résumé technique

1. Problématique

Les robots quadrupèdes sont conçus pour imiter l'agilité et la robustesse des animaux. Cependant, les méthodes de contrôle existantes souffrent d'une limitation majeure : elles peinent à concilier diversité des comportements de conformité (s'adapter aux forces extérieures) et sécurité robuste (éviter la chute) face à des perturbations importantes.

• Le défi : Les approches actuelles se concentrent souvent sur le suivi strict de trajectoires ou de vitesses, négligeant les grandes perturbations externes. D'autres méthodes basées sur l'apprentissage par renforcement (RL) offrent une certaine robustesse, mais manquent de flexibilité pour ajuster le niveau de conformité (résister ou céder à la force) sans retraining, et échouent souvent face à des forces impulsionnelles très fortes (> 500 N).
• L'objectif : Développer un contrôleur capable d'exhiber une conformité ajustable (céder ou résister selon le besoin) tout en garantissant la sécurité et la récupération rapide en cas de perturbation critique, le tout sans capteurs de force externes explicites (seulement des capteurs proprioceptifs).

2. Méthodologie : Le Framework SAC-Loco

L'approche proposée, SAC-Loco, est un cadre de contrôle intégrant trois modules appris par apprentissage par renforcement (RL), coordonnés par un critique de sécurité.

A. Politique de Conformité Ajustable (Compliant Policy)

• Objectif : Suivre une commande de vitesse tout en s'adaptant aux forces extérieures avec un niveau de conformité réglable via un paramètre $k$.
• Architecture Teacher-Student :
  • Un enseignant (Teacher) est entraîné en simulation avec des observations privilégiées (incluant les forces et couples externes $F, \tau$). Il utilise un modulateur de vitesse pour calculer une vitesse cible $v^*$ qui intègre la force externe ($v^* = v' + k \cdot F$).
  • Un élève (Student) est distillé à partir de l'enseignant. Il ne reçoit que des observations proprioceptives (position, vitesse, gravité projetée, historique des actions). Pour compenser l'absence de données de force, l'élève utilise un historique de 20 pas de temps.
• Résultat : Le robot peut suivre des commandes de vitesse tout en cédant ou en résistant aux poussées selon le paramètre $k$, sans avoir besoin de capteurs de force physiques.

B. Politique de Sécurité et Récupération (Safe Policy)

• Objectif : Récupérer le robot et stabiliser sa posture lorsqu'il est poussé vers un état dangereux (risque de chute).
• Dynamique du Point de Capture (Capture Point) : La politique est guidée par le Corrected Capture Point (CCP). Elle calcule le déplacement nécessaire du centre du polygone de support (SPC) pour neutraliser la force externe.
• Stratégie de récupération :
  • Le robot ajuste sa position et son orientation (yaw) pour aligner son axe longitudinal avec la direction de la force (transformant une perturbation latérale en longitudinale, plus facile à gérer).
  • L'entraînement se fait en deux étapes : suivi de pose aléatoire, puis récupération sous fortes perturbations.
• Distillation : Comme pour la politique de conformité, une politique élève est entraînée sans observations privilégiées pour le déploiement réel.

C. Critique de Sécurité Appris (Learned Safety Critic)

• Fonction : Un réseau de neurones ($V_{safe}$) évalue en temps réel la "récupérabilité" de l'état actuel du robot.
• Mécanisme de commutation :
  • Si la sortie du critique est supérieure à un seuil $\epsilon$, le robot utilise la politique de conformité ($\pi_{comply}$).
  • Si la sortie tombe en dessous de $\epsilon$ (indiquant un risque imminent), le système bascule instantanément vers la politique de sécurité ($\pi_{safe}$).
• Entraînement : Le critique est entraîné par apprentissage supervisé sur un ensemble de données d'états dangereux collectés lors de simulations où le robot a failli tomber, en utilisant les états initiaux de la politique de sécurité pour vérifier la réussite de la récupération.

3. Contributions Clés

1. Politique de conformité sans capteur de force : Utilisation d'un cadre Teacher-Student pour apprendre des comportements de conformité ajustables sans nécessiter de mesure explicite des forces externes.
2. Politique de sécurité basée sur la dynamique : Une stratégie de récupération fondée sur le CCP (Corrected Capture Point) permettant de stabiliser le robot face à de grandes perturbations.
3. Critique de sécurité apprenant : Un module de décision qui coordonne dynamiquement entre la locomotion fluide et la récupération d'urgence, offrant une garantie de sécurité supérieure aux règles fixes.
4. Validation expérimentale : Résultats validés à la fois en simulation et sur du matériel réel (robot Unitree Go2).

4. Résultats Expérimentaux

En Simulation

• Plage de conformité : SAC-Loco démontre une plage de conformité ajustable ($\Delta C$) plus large que les méthodes de référence (HAC-Loco, FACET).
• Robustesse aux perturbations :
  • Face à des forces allant jusqu'à 600 N, SAC-Loco maintient un taux de réussite (SR) bien supérieur aux méthodes de base (ex: 84% contre 18% pour HAC-Loco à 500-600 N).
  • Le robot résiste mieux aux forces latérales et aux impacts de longue durée.
• Efficacité énergétique : Consomme moins d'énergie que les méthodes de base pour la plupart des niveaux de perturbation.
• Ablation : L'étude montre que sans le cadre Teacher-Student, sans l'initialisation par CCP, ou sans le critique de sécurité, les performances chutent drastiquement (taux d'échec élevé, suivi de vitesse médiocre).

Déploiement Matériel (Unitree Go2)

• Conformité ajustable : Le robot a réussi à tirer une chaise avec une personne (70 kg) à différentes vitesses en ajustant le paramètre $k$.
• Récupération de sécurité : Lors de tests de traction intentionnelle pour faire tomber le robot :
  • Les méthodes de référence (HAC-Loco, FACET) ont échoué avec des forces moyennes de 120 N et 194 N respectivement.
  • SAC-Loco n'a subi aucun échec (0 chute) dans les mêmes conditions, basculant automatiquement vers la politique de récupération.
• Force de traction : Le robot a pu exercer une force de traction maximale de 10,54 kg (vers l'avant) et 10,45 kg (vers l'arrière) tout en maintenant une locomotion stable, surpassant les résultats précédents de FACET.

5. Signification et Impact

SAC-Loco représente une avancée significative pour la locomotion des robots quadrupèdes dans des environnements réels et dynamiques.

• Sécurité et Adaptabilité : Il résout le compromis traditionnel entre suivre une trajectoire précise et s'adapter aux perturbations, permettant aux robots de travailler en toute sécurité à proximité des humains ou dans des environnements non structurés.
• Déploiement Réaliste : La capacité à fonctionner sans capteurs de force externes (seulement des capteurs internes) rend cette solution économiquement viable et facile à intégrer sur des robots commerciaux existants.
• Futur : Cette approche ouvre la voie à des robots capables de réaliser des tâches coopératives complexes (comme tirer ou pousser des charges) et de s'adapter dynamiquement à des environnements changeants sans reconfiguration manuelle.

En résumé, SAC-Loco combine l'agilité de l'apprentissage par renforcement avec des garanties de sécurité rigoureuses, permettant aux robots quadrupèdes de se comporter de manière aussi robuste et adaptable que les animaux face aux forces extérieures.