💻 computer science

Online Learning of Robust Legged Odometry with Minimal Exteroceptive Supervision

Cet article présente un système d'odométrie pour robots à pattes robuste et prêt à l'emploi qui élimine le besoin de calibrage explicite des capteurs ou de modélisation cinématique en entraînant un réseau de neurones en ligne sur des données proprioceptives en utilisant des signaux exteroceptifs comme supervision, permettant ainsi un basculement fluide vers une estimation purement proprioceptive lorsque les conditions environnementales se dégradent.

Auteurs originaux : Abhijeet M. Kulkarni, Yuze Du, Guoquan Huang

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abhijeet M. Kulkarni, Yuze Du, Guoquan Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un chien robotique. Pour se déplacer sans tomber ou se perdre, il doit savoir exactement où il se trouve et à quelle vitesse il se déplace. C'est ce qu'on appelle l'odométrie.

Traditionnellement, les chiens robots utilisent deux méthodes principales pour déterminer cela :

Les « Yeux » (Exteroception) : Des caméras et des LiDARs (lasers) qui observent le monde. Ils sont excellents, mais s'il fait noir complet, s'il y a du brouillard ou si les murs sont tous blancs, le robot devient aveugle.
L'« Oreille interne » (Proprioception) : Des capteurs situés à l'intérieur des articulations et du corps du robot qui ressentent comment les pattes bougent. Ils ne deviennent jamais aveugles, mais ils sont comme une personne marchant les yeux fermés : ils peuvent deviner où ils se trouvent en fonction du nombre de pas effectués, mais s'ils glissent sur de la glace ou marchent sur un rocher, leur estimation devient erronée.

Le problème est que combiner ces deux éléments nécessite généralement un processus de « calibration » manuel très complexe. Vous devez dire au robot exactement comment ses yeux sont reliés à ses pattes. Si vous changez le robot ou déplacez une caméra, vous devez refaire tout ce calcul.

La solution du papier : Un système de « Tuteur Intelligent »

Les auteurs de ce papier ont créé un système qui agit comme un tuteur intelligent « plug-and-play ». Voici comment il fonctionne, en utilisant des analogies simples :

1. Le « Réservoir » (La banque de mémoire)

Au lieu d'essayer d'écrire des formules mathématiques complexes pour décrire le mouvement du robot, le système utilise un « Réservoir » (un Réseau à État Écho). Considérez cela comme une éponge géante et chaotique qui absorbe tous les mouvements récents du robot (angles articulaires, vitesses, forces).

Comment ça marche : Vous n'avez pas besoin d'entraîner l'éponge elle-même. Elle est pré-fabriquée avec des connexions aléatoires. Elle se contente de conserver l'« historique » de ce que le robot a ressenti.

2. La « Lecture » (L'étudiant)

Attaché à cette éponge se trouve un petit cerveau simple (un réseau de neurones) appelé la Lecture (Readout). Sa tâche est de regarder l'éponge et de dire : « Sur la base de tous ces ressentis, nous nous déplaçons à 2 mètres par seconde ».

L'innovation : Habituellement, vous devez entraîner ce cerveau étudiant hors ligne, dans un laboratoire. Ce papier enseigne à l'étudiant pendant que le robot marche réellement.

3. Le « Tuteur » (La supervision)

Lorsque les « Yeux » du robot (caméras/LiDAR) fonctionnent bien, ils agissent comme un Tuteur.

Le Tuteur dit : « Non, nous nous déplaçons en réalité à 2,1 mètres par seconde ».
Le cerveau de l'Étudiant écoute, compare sa propre supposition à la réponse du Tuteur, et ajuste instantanément ses propres poids internes pour se rapprocher de la vérité.
Point crucial : Le système est assez intelligent pour savoir si le Tuteur est confus (par exemple, dans l'obscurité). Si le Tuteur n'est pas fiable, le système ignore la correction du Tuteur et laisse simplement l'Étudiant continuer à apprendre basé sur sa propre meilleure supposition, afin de ne pas être « grondé » par des données erronées.

4. L'« Arbitre » (Le gestionnaire de commutation)

Un arbitre (le Gestionnaire de commutation) surveille à la fois l'« Oreille interne » du robot (l'Étudiant) et les « Yeux » (le Tuteur).

Scénario A (Bonne luminosité) : L'Arbitre fait confiance au Tuteur (les Yeux) pour guider le robot et utilise également le Tuteur pour enseigner à l'Étudiant.
Scénario B (Faible luminosité/Obscurité) : L'Arbitre voit que le Tuteur est en difficulté (la caméra est aveugle). Il bascule immédiatement le robot pour qu'il se repose sur l'Étudiant (le modèle d'« Oreille interne » appris).
Parce que l'Étudiant a été entraîné pendant que le robot marchait, il a appris à être étonnamment précis même sans les yeux.

Pourquoi est-ce spécial ?

Pas de mathématiques manuelles : Vous n'avez pas besoin de mesurer exactement où se trouve la caméra par rapport aux pattes. Le robot apprend la relation lui-même pendant qu'il se déplace.
Fonctionne sur n'importe quel chien : Qu'il s'agisse d'un Boston Dynamics Spot ou d'un Ghost Robotics Vision 60, le système fonctionne immédiatement. Il n'a pas besoin de pré-entraînement dans un simulateur.
Résilient : Si les lumières s'éteignent ou si le robot entre dans une pièce blanche sans relief, les « Yeux » échouent, mais le robot ne s'écrase pas. Il bascule de manière fluide vers son entraînement d'« Oreille interne », qui a été affiné par les moments où les yeux fonctionnaient.

Les Résultats

L'équipe a testé cela sur deux vrais chiens robots :

Spot : Ils ont testé cela sur un ensemble de données où ils éteignaient artificiellement le « Tuteur » (la vision) pendant de courtes périodes. Le cerveau « Étudiant » du robot a appris assez vite pour que, même lorsque les yeux étaient éteints, le robot continue de marcher droit sans dévier de sa trajectoire.
Vision 60 : Ils ont emmené le robot dans un vrai bâtiment et ont éteint les lumières en plein milieu de la marche. Le système basé sur la caméra (le Tuteur) s'est perdu et la trajectoire du robot a dévié de manière sauvage. Le nouveau système, cependant, a basculé sur son mode « Oreille interne » appris et est resté sur le bon chemin, finissant beaucoup plus près de sa destination réelle.

La Limite

Le papier admet une règle majeure : Le robot ne peut pas apprendre si les yeux ET l'oreille interne échouent en même temps. Si le robot est dans l'obscurité totale et que ses pattes glissent sur la glace de telle sorte que les capteurs ne peuvent plus distinguer la différence, le système ne fonctionnera pas. Il a besoin d'au moins un signal fiable pour empêcher le cerveau de l'« Étudiant » de faire de mauvaises suppositions.

En résumé, ce papier donne aux chiens robots un moyen d'apprendre à marcher par le toucher, en utilisant leurs yeux uniquement comme un enseignant temporaire, afin qu'ils puissent continuer à marcher même lorsqu'ils deviennent aveugles.

Résumé Technique : Apprentissage en Ligne d'une Odométrie de Robot Quadrupède Robuste avec une Supervision Exteroceptive Minimale

Énoncé du Problème

La navigation robuste pour les robots à pattes repose sur une odométrie précise, généralement obtenue par la fusion multi-capteurs. Cependant, les approches traditionnelles font face à des obstacles de déploiement importants :

Complexité de l'étalonnage et de la modélisation : Fusionner les données proprioceptives (capteurs articulaires, IMU) et exteroceptives (caméras, LiDAR) nécessite un étalonnage inter-capteurs méticuleux et une modélisation cinématique spécifique à la plateforme. Ces paramètres sont sensibles aux changements de configuration du robot ou de montage des capteurs.
Vulnérabilité à la dégradation environnementale : Bien que les capteurs exteroceptifs emballés industriellement fournissent un suivi précis, ils échouent dans des conditions adverses (ex: faible luminosité pour les caméras, environnements sans caractéristiques pour le LiDAR).
Limites de la proprioception : Les méthodes purement proprioceptives reposent sur des modèles de contact et de cinématique conçus à la main, qui se dégradent sous l'effet du glissement, des impacts, de la compliance du terrain ou des changements de charge utile.
Contraintes d'apprentissage hors ligne : Les méthodes basées sur l'apprentissage existantes nécessitent souvent un entraînement hors ligne sur des jeux de données représentatifs, ce qui limite leur adaptabilité à de nouveaux matériels ou à des environnements dynamiques sans pré-entraînement.

Le papier répond au besoin d'un système d'odométrie plug-and-play et agnostique vis-à-vis de la plateforme, capable d'apprendre des mappages proprioception-vers-vélocité en ligne avec une supervision minimale, éliminant ainsi le besoin d'étalonnage explicite ou de pré-entraînement, et basculant de manière transparente vers une proprioception apprise lorsque les capteurs exteroceptifs font défaut.

Méthodologie

Le système proposé se compose de deux composants principaux : un Module Proprioceptif Appris en Ligne et un cadre de Filtre de Kalman Étendu Invariant (InEKF) Robuste.

1. Proprioception efficace basée sur l'ESN via un EKF de rang faible

L'innovation centrale est un module proprioceptif qui apprend à estimer la vélocité de la base directement à partir de mesures articulaires bruitées (positions, vélocités, couples) sans modèle conçu à la main.

Architecture Echo State Network (ESN) : Pour éviter le coût computationnel de l'entraînement des poids récurrents en ligne, le système utilise un ESN. L'historique des signaux articulaires est compressé en un état de réservoir ( $x_t$ ) via une dynamique récurrente fixe et initialisée aléatoirement. Cela agit comme un plongement de délai de l'historique proprioceptif.
Lecture par MLP : Un Perceptron Multicouche (MLP) avec des poids $\hat{\theta}_t$ projette l'état du réservoir vers la vélocité de la base ( $v^{esn}_t$ ).
Apprentissage en ligne avec EKF de rang faible (LOFI) : Au lieu d'utiliser la descente de gradient stochastique (SGD), qui peine avec la quantification de l'incertitude et la pondération des échantillons dans les données en flux continu, les auteurs utilisent une approche de filtrage.
- Les paramètres de lecture optimaux $\theta^*_t$ sont traités comme un état latent évoluant via une marche aléatoire.
- Un EKF de rang faible met à jour les poids du MLP en temps réel en utilisant une supervision de vélocité exteroceptive parcimonieuse ( $v^{sup}_t$ ) chaque fois qu'elle est disponible.
- Cette méthode prend en compte l'incertitude tant dans l'entrée proprioceptive (covariance de l'état du réservoir) que dans le signal de supervision.
- L'utilisation d'une approximation de rang faible (LOFI) permet au système de gérer la haute dimensionnalité des poids du MLP ( $D \approx 8000+$ ) en temps réel, maintenant une complexité mémoire de $O(D(L+C))$ et une complexité de calcul de $O(D(L+C)^2)$ .

2. Odométrie de robot quadrupède robuste basée sur l'InEKF

La vélocité proprioceptive apprise est fusionnée avec les données IMU et les vélocités exteroceptives optionnelles au sein d'un cadre InEKF.

Représentation de l'état : L'état de navigation inclut l'orientation, la vélocité, la position et les biais de l'IMU, propagés via un modèle IMU strapdown.
Sélection adaptative de la mesure : Un Gestionnaire de Commutation (Switching Manager) sélectionne dynamiquement la source de mesure de vélocité :
- Exteroceptive (VINS) : Utilisée lorsque le système de navigation visuelle-inertielle est fiable. Elle sert également de signal de supervision pour la mise à jour du MLP proprioceptif.
- Proprioceptive (ESN) : Utilisée lorsque le VINS se dégrade (ex: scènes sans texture, changements de luminosité). Le système repose alors sur le modèle appris, qui a été mis à jour durant les périodes de supervision fiable.
Gestion de l'incertitude : La logique de commutation surveille la santé du VINS (qualité du suivi de caractéristiques et covariance) ainsi que la covariance de l'ESN. Si le VINS est marqué comme "inutilisable" et que la covariance de l'ESN est faible, le système bascule vers la vélocité proprioceptive apprise pour l'estimation d'état et interrompt la mise à jour du MLP afin d'éviter la corruption par une mauvaise supervision.

Contributions Clés

Apprentissage Proprioceptif en Ligne : Le papier présente la première méthode modélisant la proprioception d'un robot à pattes comme une lecture MLP sur un ESN, entraînée en ligne lors du déploiement. Elle ne nécessite aucun pré-entraînement, aucun modèle de contact ou de cinématique conçu à la main, et est transférable à n'importe quel robot à pattes doté de capteurs proprioceptifs.
EKF de Rang Faible pour l'Entraînement Neuronal : Les auteurs utilisent un EKF de rang faible pour entraîner les poids de la lecture MLP en ligne. Cette approche quantifie de manière unique l'incertitude des poids et de l'entrée, permettant des taux d'apprentissage adaptatifs basés sur la qualité du signal de supervision, dépassant ainsi les limites du SGD standard dans les contextes de flux continu.
Cadre InEKF Robuste : Un cadre d'odométrie unifié qui fusionne de manière optimale les données IMU avec les vélocités proprioceptives ou exteroceptives apprises. Il dispose d'une stratégie de commutation adaptative qui assure la résilience lorsque les capteurs exteroceptifs font défaut, basculant de manière fluide vers le modèle proprioceptif appris en ligne.

Résultats Expérimentaux

La méthode a été validée sur deux plateformes quadrupedes : Boston Dynamics Spot et Ghost Robotics Vision 60.

Évaluation sur le jeu de données Spot :
- Le système a été testé sur diverses séquences (ex: ATRIUM, BICORRIDOR, DOWNSTAIR) avec des fenêtres de supervision de 10s, 30s et 60s.
- Performance : Avec seulement 30 secondes de supervision, la méthode a appris une carte de vélocité fiable. Dans de nombreux cas, elle a été compétitive, voire supérieure, à GaRLILEO (baseline exteroceptive-proprioceptive) et à Leg-InEKF (baseline étalonnée hors ligne), malgré l'absence d'étalonnage hors ligne.
- Observation : La précision s'améliore avec des fenêtres de supervision plus longues. Des exceptions surviennent (ex: séquence OVERPASS) où la distribution de mouvement non supervisée (descente d'escaliers) diffère significativement de la distribution supervisée (sol plat/montée d'escaliers), entraînant une dérive. Cela souligne la limite selon laquelle le modèle ne généralise pas au-delà de la distribution de sa supervision.
Déploiement Réel sur Vision 60 :
- Testé dans un bâtiment avec un Intel RealSense D435i, sans étalonnage extrinsèque entre la caméra et les capteurs du robot.
- Scénarios : Le robot a traversé des zones visuellement dégradées, incluant un couloir avec les lumières éteintes et des toilettes où les lumières ont été coupées en plein mouvement de rotation.
- Résultat : Lorsque le VINS a échoué en raison du manque de caractéristiques visuelles ou de changements de luminosité, le gestionnaire de commutation a détecté avec succès la dégradation et a basculé sur le module proprioceptif appris. Le système a maintenu des trajectoires précises, là où la baseline VINS seule souffrait de dérives et de dépassements sévères.

Signification et Revendications

Le papier prétend démontrer un système d'odométrie résilient et agnostique à la plateforme qui :

Élimine l'Étalonnage : Supprime le besoin d'un étalonnage explicite entre l'exteroception et la proprioception ou d'une modélisation cinématique du système, permettant un déploiement "plug-and-play" sur différents matériels.
S'adapte aux Conditions Adverses : Maintient une estimation de mouvement robuste en basculant de manière transparente vers un modèle proprioceptif appris en ligne lorsque les capteurs exteroceptifs se dégradent.
Apprentissage en Ligne Efficace : Prouve que des lectures de réseaux neuronaux complexes peuvent être entraînées en ligne en temps réel via un EKF de rang faible, en tenant compte des incertitudes sur l'entrée du capteur et le signal de supervision.

Limites Reconnues :
Les auteurs notent modestement que le cadre suppose que l'exteroception et la proprioception ne se dégradent pas simultanément. De plus, la lecture MLP apprise n'est pas censée généraliser à des distributions de mouvement significativement différentes de celles couvertes par la supervision de vélocité ; prédire la vélocité pour des types de mouvements non vus entraînera des estimations incorrectes.