💻 computer science

SOLO: Stable Omni-terrain Long-Horizon Perceptive Humanoid Locomotion

SOLO est un cadre unifié pour une locomotion humanoïde stable et à long horizon qui combine un Reconstructeur de Requêtes à codage de Fourier pour préserver les limites nettes du terrain et une méthode de distillation MSE sensible à la trajectoire pour une meilleure attribution de crédit temporel, permettant une traversée zero-shot robuste de terrains complexes intérieurs et extérieurs.

Auteurs originaux : Pihai Sun, Gang Han, Jingkai Sun, Jiahao Ma, Zeran Su, Zelin Tao, Peiran Liu, Shuai Shi, Wei Cui, Zifan Wang, Jialin Yu, Wen Zhao, Kangning Yin, Jiaxu Wang, Jiahang Cao, Lingfeng Zhang, Hao Cheng, Jia

Publié 2026-08-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pihai Sun, Gang Han, Jingkai Sun, Jiahao Ma, Zeran Su, Zelin Tao, Peiran Liu, Shuai Shi, Wei Cui, Zifan Wang, Jialin Yu, Wen Zhao, Kangning Yin, Jiaxu Wang, Jiahang Cao, Lingfeng Zhang, Hao Cheng, Jian Tang, Yijie Guo, Qiang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

En marchant dans une forêt, une personne n'a pas besoin de calculer la hauteur exacte de chaque racine ou l'angle précis de chaque pierre. Au lieu de cela, elle s'appuie sur une boucle fluide : les yeux voient le sol, le cerveau interprète la forme, et les jambes ajustent le pas, le tout en une fraction de seconde. Ce retour continu permet aux humains de parcourir de longues distances sur des terrains accidentés sans tomber, même lorsque le sol passe de l'herbe au gravier ou à un escalier escarpé. Pendant des décennies, les ingénieurs ont tenté de donner aux robots cette même capacité. Ils ont construit des machines capables de marcher, mais lorsqu'on leur demande de naviguer sur un chemin complexe et changeant pendant une longue période, ces robots trébuchent souvent. Le problème n'est pas qu'ils ne peuvent pas bouger leurs jambes, mais que leur compréhension du monde devient floue avec le temps. En marchant, de petites erreurs dans la façon dont ils perçoivent le sol et dans la façon dont ils décident de bouger s'accumulent, finissant par leur faire perdre l'équilibre.

Une équipe de chercheurs a développé un nouveau système appelé SOLO qui permet à un robot humanoïde de marcher sur un chemin difficile et continu pendant très longtemps sans tomber. Le système a été testé sur un robot nommé Omni, qui est équipé d'une seule caméra sur sa poitrine et de capteurs qui ressentent la position de son propre corps. Lors d'un test en conditions réelles, le robot a parcouru 1,5 kilomètre en extérieur, franchissant des escaliers naturels, des pentes, de l'herbe et un sol irrégulier en une seule fois, sans aucune aide humaine ni réinitialisation. Il a également navigué avec succès dans un parcours intérieur complexe comprenant des vides et des obstacles. Les chercheurs ont constaté que les méthodes précédentes échouaient car elles lissaient les détails importants du sol et parce qu'elles vérifiaient seulement si le pas actuel était correct, ignorant si ce pas mènerait à une chute plus tard. SOLO corrige ces deux problèmes en créant une image plus nette du sol et en apprenant au robot à anticiper la manière dont ses actions actuelles affecteront sa stabilité future.

Le cœur du problème réside dans la façon dont les robots construisent une carte mentale du sol. Les systèmes traditionnels prennent un flux d'images provenant d'une caméra et tentent de les transformer en une carte plate du terrain. Pour ce faire rapidement, ils compressent souvent toute l'information visuelle en un seul résumé partagé. Bien que cela fonctionne pour les formes générales, cela brouille les bords nets qui sont pourtant les plus importants, comme la limite exacte d'une pierre de passage ou le bord d'une marche d'escalier. Lorsqu'un robot ne peut pas voir clairement ces lignes nettes, il place son pied au mauvais endroit, et au cours d'une longue marche, ces petites erreurs s'accumulent jusqu'à provoquer une chute. Les chercheurs ont résolu ce problème en changeant la façon dont le robot demande l'information. Au lieu de demander un résumé unique de toute la scène, le système attribue une question spécifique à chaque point de la carte du sol. Chaque point demande à l'historique de la caméra : « Que se passe-t-il juste ici ? ». Cela permet au robot de récupérer les détails exacts pour cet endroit spécifique, préservant ainsi les bords nets des marches et des pierres que les autres systèmes ont tendance à lisser.

Le second problème que les chercheurs ont abordé était la façon dont le robot apprend à marcher. Dans de nombreuses méthodes d'apprentissage, un robot apprend en copiant les actions d'un enseignant parfait au moment précis où il se tient debout. Si le pied du robot est au bon endroit en ce moment même, il reçoit une récompense, même si cette même action provoquera un trébuchement quelques pas plus tard. C'est comme un étudiant qui obtient une bonne note pour une seule question d'examen mais qui échoue à l'examen final parce qu'il n'a pas compris comment les questions sont liées. Le nouveau système, SOLO, ajoute une couche de prévoyance à ce processus d'apprentissage. Il ne se contente pas de vérifier si le robot fait la bonne chose maintenant ; il vérifie aussi ce qui se passe après que le robot a fait ce pas. Si une action spécifique mène à un état futur où le robot aurait du mal à correspondre aux mouvements parfaits de l'enseignant, le système pénalise cette action. Cela apprend au robot à éviter les mouvements qui semblent bons sur le moment mais qui mènent à des difficultés plus tard, lui donnant ainsi un sens des conséquences à long terme.

Pour prouver que ces changements fonctionnaient, les chercheurs ont soumis le robot à une série de tests rigoureux dans un environnement simulé avant de le sortir à l'extérieur. Ils ont comparé leur nouveau système à d'anciennes méthodes utilisant les mêmes données d'entraînement et le même robot. Lorsque le terrain était difficile, comme une série de pierres de passage étroites ou des escaliers escarpés, les anciens systèmes échouaient la plupart du temps, avec des taux de réussite chutant à presque zéro pour les obstacles les plus difficiles. En revanche, le nouveau système a réussi 96 % des essais sur les pierres de passage et 97,5 % des tests de terrains difficiles globaux. Les chercheurs ont mesuré la précision de la carte du sol et ont constaté que la nouvelle méthode réduisait les erreurs de plus de trois fois par rapport aux approches plus anciennes. Cette amélioration signifiait que le robot pouvait placer ses pieds avec une précision bien plus grande, évitant les petits glissements qui causent habituellement une chute.

Le test final a eu lieu dans le monde réel, où le robot devait compter entièrement sur ses propres capteurs sans aucun suivi externe ou guidage humain. Le robot a parcouru un itinéraire continu de 1,5 kilomètre en extérieur, naviguant entre les transitions naturelles entre l'herbe, la terre et la pierre. Il a également affronté un parcours intérieur qui nécessitait de monter et descendre des escaliers, de traverser un vide et de franchir un obstacle mobile. Dans chaque cas, le robot a terminé le parcours sans tomber ni avoir besoin d'être arrêté et réinitialisé. Les chercheurs ont noté que le robot utilisait uniquement les données de sa caméra fixée sur la poitrine et de ses capteurs corporels internes, prouvant que le système pouvait gérer la complexité du monde réel sans avoir besoin d'un superordinateur ou d'une carte parfaite de la zone. Le succès de cette marche de longue distance démontre qu'en corrigeant la façon dont les robots voient le sol et la façon dont ils planifient leurs pas, il est possible de créer des machines capables de se déplacer avec une stabilité qui rivalise avec la marche humaine.

Ce travail ne prétend pas que les robots peuvent désormais marcher partout sans aucune limitation. Le système nécessite toujours qu'un humain fournisse la direction générale et la vitesse, tandis que le robot gère les détails de l'équilibre et du placement des pieds. Le robot possède également un angle mort derrière lui, ce qui signifie qu'il ne peut pas marcher en arrière sur des terrains difficiles aussi facilement qu'il marche vers l'avant. Cependant, les résultats montrent une voie claire pour rendre les robots humanoïdes plus fiables. En combinant une vision plus nette du sol avec une manière plus intelligente d'apprendre de ses erreurs, les chercheurs ont montré que les robots peuvent traverser de longs parcours complexes sans perdre l'équilibre. Ce progrès rapproche le domaine de l'objectif de voir des robots capables de travailler et de se déplacer aux côtés des humains dans les environnements réels, désordonnés et imprévisibles.

Résumé Technique : SOLO – Locomotion Humanoïde Stable, Omniterrain et à Longue Horizon Perceptive

Problématique

Bien que les humains puissent traverser des terrains complexes et accidentés sur de longues distances sans perdre l'équilibre, les politiques humanoïdes perceptives font souvent preuve de fragilité lors de déploiements prolongés en conditions réelles. Cette « fragilité à long horizon » provient du fait que les erreurs de perception et de contrôle se cumulent au fil du temps, entraînant des chutes que le succès face à des obstacles isolés ne permet pas d'éviter. Les auteurs identent deux causes primaires de cet échec lors de déroulements continus :

Reconstruction Dense avec Perte d'Information : Les reconstructeurs de terrain standards (ex. : START, DPL) compressent l'historique de la profondeur via des encodeurs CNN–RNN partagés pour décoder une carte de hauteur locale. Ce goulot d'étranglement partagé agit comme un filtre passe-bas, lissant les détails de haute fréquence critiques pour l'action, tels que les limites de dalles ou les arêtes de marches. La perte de fidélité par cellule qui en résulte augmente les erreurs de placement de pied, déstabilisant le robot sur de longs horizons.
Imitation Ponctuelle Myope : Les méthodes actuelles de distillation de contrôleur utilisent généralement l'erreur quadratique moyenne (MSE) de l'action pour faire correspondre une politique étudiante à un enseignant privilégié uniquement à l'état actuellement visité. Cet objectif ne parvient pas à distinguer les actions qui ont des erreurs immédiates similaires mais des conséquences futures différentes. Sans assignation de crédit au niveau de la trajectoire, des actions plausibles peuvent mener à des états futurs où il devient impossible de correspondre à l'enseignant, provoquant une accumulation d'erreurs.

Méthodologie

SOLO traite ces problèmes via un cadre unifié combinant un nouveau module de perception et une stratégie de distillation de politique sensible à la trajectoire. Le système opère en trois étapes d'entraînement :

Étape I : Entraîne un enseignant privilégié conditionné par le terrain en utilisant le PPO régularisé par AMP.
Étape II : Distille une politique étudiante en utilisant des entrées de terrain privilégiées et l'objectif de MSE Sensible à la Trajectoire (TA-MSE) proposé.
Étape III : Remplace les entrées de terrain privilégiées par des estimations issues du Reconstructeur de Requête (QR), en affinant conjointement l'étudiant et en mettant à jour le QR sur le tampon on-policy de l'étudiant.

1. Reconstructeur de Requête (QR)

Le QR est conçu pour préserver les limites nettes du terrain en évitant les goulots d'étranglement denses partagés.

Mécanisme : Au lieu de décoder une carte de hauteur à partir d'un unique embedding partagé, le QR assigne une requête encodée par Fourier unique à chaque cellule de la carte de hauteur.
Processus : Ces requêtes de cellules effectuent une attention croisée avec une « mémoire de jetons de capteurs » partagée (construite à partir d'images de profondeur et de proprioception via un encodeur Transformer). Chaque requête de cellule récupère des preuves spatialement spécifiques pertinentes uniquement pour sa cellule de carte spécifique.
Résultat : Cette architecture préserve l'identité des cellules et les transitions de hauteur abruptes (ex. : arêtes de marches) que les décodeurs denses ont tendance à moyenner, fournissant des estimations d'état de terrain ( $\hat{m}_t, \hat{v}_t$ ) de haute fidélité à partir de la profondeur embarquée et de la proprioception.

2. Distillation TA-MSE (Sensible à la Trajectoire)

La TA-MSE modifie la distillation standard enseignant-étudiant pour tenir compte des conséquences futures des actions actuelles.

Correspondance à l'État Actuel : Conserve la perte auxiliaire standard qui fait correspondre l'action de l'étudiant à l'action de l'enseignant à l'état actuel ( $\mu_\theta(h^S_t) \approx \mu^T(o^T_t)$ ).
Désaccord à l'État Suivant : Après qu'un étudiant a pris une action et a transité vers $s_{t+1}$ , le système évalue le désaccord entre l'étudiant et l'enseignant à cet état suivant. Ce désaccord ( $\bar{\ell}_{t+1}$ ) est stocké et soustrait de la récompense PPO ( $r^{TA}_t = r^{task}_t - \beta \bar{\ell}_{t+1}$ ).
Assignation de Crédit : Grâce à l'Estimation de l'Avantage Généralisé (GAE), ces pénalités de désaccord futur sont propagées vers l'arrière pour influencer les mises à jour de la valeur et de la politique des actions précédentes. Cela encourage l'étudiant à éviter les actions qui mènent à des états futurs où il ne peut plus correspondre à l'enseignant, sans nécessiter de critique supplémentaire ou de nouveaux déroulements de l'enseignant.

Contributions Clés

Le papier présente trois contributions principales couvrant la perception, l'apprentissage de politique et le déploiement :

Reconstruction de Terrain par Requête de Cellule : L'introduction du QR, qui récupère des preuves spécifiques à chaque cellule à partir d'un historique de profondeur partiel, préservant de manière fiable les limites de terrain critiques pour l'action lors de la locomotion.
Distillation de Politique Sensible à la Trajectoire : La proposition de la TA-MSE, qui intègre le désaccord enseignant-étudiant à l'état suivant dans la récompense PPO. Cela permet une assignation de crédit sensible à la trajectoire sans critiques ou déroulements d'enseignant supplémentaires, tout en maintenant la supervision à l'état actuel.
Évaluation et Déploiement à Long Horizon : Validation complète de SOLO via l'analyse de reconstruction, des tests de stress en simulation de haute difficulté et un déploiement matériel zero-shot sur des routes intérieures et extérieures continues en utilisant uniquement les capteurs embarqués.

Résultats Expérimentaux

Performance en Simulation

Précision de Reconstruction : Dans les terrains de test de stress, le QR a réduit l'erreur L1 moyenne de la carte de hauteur de 3,3 à 4,0× par rapport aux bases START et DPL. L'amélioration a été la plus significative sur les dalles et les marches, où les discontinuités de hauteur locales sont critiques. Le QR a également démontré une robustesse supérieure aux changements d'étendue du terrain (ex. : évaluation sur des scènes de 10 m entraînées sur 8 m de données).
Progression du Curriculum : La TA-MSE a atteint des niveaux de difficulté de curriculum plus élevés que PPO et MSE+PPO. Alors que les bases plafonnaient autour de 5,0–5,1, la TA-MSE a continué de progresser, atteignant le plafond de 5,5.
Succès aux Tests de Stress : Avec la TA-MSE fixée, le remplacement des reconstructeurs standards par le QR a augmenté le taux de réussite moyen de traversée sur les terrains de haute difficulté de 75,0–75,6 % à 97,5 %. Sur les dalles (stepping stones), les taux de réussite sont passés de 0–3 % à 96 %. Le QR a également considérablement réduit les pénalités de « trébuchement du pied » (Foot Stumble) et de « gradient de placement de pied » (Foothold-Grad).

Déploiement sur Robot Réel

SOLO a été déployé zero-shot sur le robot humanoïde Omni en utilisant uniquement une caméra de profondeur D455 montée sur le torse et la proprioception (sans suivi ni cartographie externe).

Longue Durée en Extérieur : Le robot a complété une route extérieure continue de 1,5 km impliquant des escaliers naturels, des pentes, des transitions herbeuses et un sol irrégulier en une seule course sans réinitialisation.
Terrain Mixte en Intérieur : Le robot a traversé un parcours complexe incluant des montées/descentes d'escaliers, des dalles, des vides et des obstacles mobiles sans intervention.
Fiabilité des Terrains Isolés : Sur 70 essais à travers 7 terrains isolés (escaliers, pentes, vides, dalles), SOLO a obtenu 69/70 succès. L'unique échec s'est produit sur les dalles, tandis que tous les autres terrains ont atteint 10/10 succès sans réinitialisation ni assistance.

Signification et Revendications

Le papier affirme que SOLO démontre qu'une locomotion perceptive stable à long horizon est possible en traitant la nature cumulative des erreurs de perception et de contrôle. En découplant la reconstruction des détails critiques pour l'action du processus de distillation de la politique, SOLO surmonte la fragilité observée dans les systèmes précédents lors de déploiements prolongés.

Les auteurs soulignent que leur approche préserve l'interface standard de détection et de contrôle embarquée, ce qui la rend directement applicable au matériel réel. Les résultats suggèrent que l'assignation de crédit sensible à la trajectoire et la reconstruction de terrain spécifique à la cellule sont critiques pour passer de la négociation d'obstacles isolés à la navigation continue et longue distance dans des environaux non structurés. La capacité du système à généraliser en zero-shot à divers terrains inconnus sans estimation d'état externe marque une étape importante vers une opération humanoïde autonome et robuste.