💻 computer science

REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering

Le papier présente REAL, un cadre d'apprentissage robuste pour la parkour quadrupède qui, en couplant vision, mémoire temporelle et estimation bayésienne guidée par la physique, permet à un robot Unitree Go2 de naviguer avec succès sur des terrains extrêmes même en présence de fortes perturbations sensorielles, tout en respectant des contraintes temps réel strictes.

Auteurs originaux : Jialong Liu, Dehan Shen, Yanbo Wen, Zeyu Jiang, Changhao Chen

Publié 2026-03-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jialong Liu, Dehan Shen, Yanbo Wen, Zeyu Jiang, Changhao Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🦊 Le Robot "Parkour" qui ne perd jamais le Nord

Imaginez un chien robot (un quadrupède) capable de faire du parkour extrême : il saute par-dessus des murs, court sur des échelles et atterrit sur des rochers instables. C'est impressionnant, mais ces robots ont un gros défaut : ils sont comme des athlètes qui ont peur de tomber s'ils ferment les yeux une seconde. Si leur caméra est sale, brouillée par la vitesse, ou s'ils entrent dans une zone sombre, ils paniquent et tombent.

Les chercheurs ont créé REAL (Robust Extreme Agility Learning) pour résoudre ce problème. Voici comment cela fonctionne, grâce à trois astuces magiques :

1. Le "Cerveau" qui a une mémoire de poisson rouge (et non)

La plupart des robots actuels regardent le sol maintenant pour décider où poser leur patte. Si la caméra est aveuglée par de la poussière ou du flou, le robot est perdu.

REAL, lui, a une mémoire à court terme.

L'analogie : Imaginez que vous traversez une pièce sombre en courant. Vous ne voyez pas le sol sous vos pieds, mais vous vous souvenez exactement où vous avez posé le pied il y a une seconde, et vous sentez la vitesse de votre course. Vous continuez à courir sans vous arrêter.
La technologie : Le robot utilise un composant appelé Mamba. C'est comme un mémo très rapide qui se souvient du terrain traversé il y a quelques instants. Même si la caméra ne voit plus rien (parce qu'il y a un trou de 1 mètre d'aveugle), le robot "voit" encore le terrain grâce à sa mémoire de ses propres mouvements.

2. Le "Filtre de réalité" (Le détecteur de mensonges)

Quand un robot court très vite, ses caméras voient des choses floues ou bizarres (des ombres qui bougent, des reflets). Un robot normal pourrait croire que ces illusions sont des obstacles et s'arrêter, ou pire, sauter dans le vide.

REAL utilise un filtre guidé par la physique.

L'analogie : C'est comme un coach sportif très strict. Si le robot dit "Je vois un mur devant moi !" mais que ses muscles (les capteurs de mouvement) disent "Non, je suis en plein saut, je ne peux pas toucher de mur", le coach dit : "Arrête de paniquer, c'est un mensonge de la caméra !".
La technologie : Le robot combine ce que la caméra voit avec ce que la physique dit (la gravité, l'inertie). Si la caméra est confuse, le robot fait confiance à la physique pour rester stable.

3. Le Professeur et l'Élève (L'entraînement intelligent)

Pour apprendre, le robot a eu deux profs :

Le Professeur (Privé) : Il a appris dans un simulateur parfait où il voyait tout, même à travers les murs. Il est un génie.
L'Élève (Le Robot réel) : Il doit apprendre à agir avec des yeux humains (une caméra imparfaite).

Le problème, c'est que l'élève essaie souvent de copier le professeur, mais comme il ne voit pas la même chose, il se trompe et se casse la figure.

La solution REAL : Ils ont inventé un système de "portail de confiance".
- Si l'élève fait quelque chose de très différent du professeur, le système dit : "Attends, tu es perdu, copie exactement le professeur pour ne pas tomber !" (Apprentissage par imitation).
- Si l'élève commence à bien faire, le système dit : "Ok, tu as compris, maintenant explore et adapte-toi aux situations réelles !" (Apprentissage par essai-erreur).
  Cela permet au robot d'apprendre vite sans se détruire.

🏆 Le Résultat : Un Robot Incassable

Les chercheurs ont testé ce robot (un Unitree Go2) dans la vraie vie.

Le test ultime : Ils ont caché la caméra du robot pendant 1 mètre avant chaque obstacle.
Le résultat : Les autres robots tombaient immédiatement. REAL, lui, a continué à courir, sauter et atterrir parfaitement, comme s'il voyait encore le chemin, grâce à sa mémoire et son sens de l'équilibre.

En résumé : REAL est un robot qui ne panique pas quand il fait noir ou quand il y a du bruit. Il utilise sa mémoire de ses propres mouvements et sa connaissance de la physique pour continuer à faire du parkour extrême, même quand ses yeux lui font défaut. C'est comme un athlète de haut niveau qui court les yeux fermés, juste en se fiant à son instinct et à son expérience.

Titre : REAL : Agilité Extrême Robuste par Apprentissage de Politiques Spatio-Temporelles et Filtrage Guidé par la Physique

1. Problématique

Le parkour robotique extrême (sauts, courses, franchissements d'obstacles complexes) exige une évaluation rapide du terrain et un placement précis des pieds dans des conditions dynamiques sévères. Bien que les systèmes récents basés sur l'apprentissage par renforcement (RL) aient démontré une agilité impressionnante, ils souffrent d'une fragilité fondamentale face à la dégradation perceptive.

Vulnérabilité : Même un bruit visuel bref, une latence ou une perte temporaire de signal (flou de mouvement, occultation) peut entraîner un échec catastrophique.
Limites actuelles : La plupart des approches traitent la perception comme une entrée directe sans modéliser l'incertitude, sans exploiter la mémoire temporelle à court terme, et sans garantir la cohérence physique des états estimés. Les estimateurs d'état déterministes échouent souvent lors de glissements ou d'impacts violents.

2. Méthodologie : Le Framework REAL

Les auteurs proposent REAL, un cadre d'apprentissage de politique "end-to-end" conçu pour la locomotion quadrupède robuste sous corruption sensorielle. L'approche repose sur un paradigme d'entraînement en deux étapes (Professeur-Élève) et intègre trois composants clés :

A. Architecture d'Apprentissage (Professeur-Élève)

Professeur (Privileged Teacher) : Entraîné en simulation avec des informations privilégiées (balayage du terrain, proprioception). Il utilise un mécanisme d'attention croisée pour établir des associations structurées entre l'état du corps et la géométrie du terrain, apprenant ainsi à récupérer dynamiquement les caractéristiques environnementales pertinentes.
Élève (Student Policy) : Déployé sur le robot réel, il n'a accès qu'à la perception embarquée (caméra de profondeur) et à la proprioception. Il doit distiller les capacités du professeur sans accès direct aux données du terrain.

B. Composants Clés de l'Architecture Élève

Apprentissage de Politique Spatio-Temporelle (Mamba + FiLM) :
- FiLM (Feature-wise Linear Modulation) : Fusionne les caractéristiques visuelles et proprioceptives. La proprioception module dynamiquement les features visuelles pour supprimer les données non fiables (ex: flou de mouvement) et mettre l'accent sur les informations pertinentes pour l'état actuel du robot.
- Backbone Mamba : Remplace les architectures basées sur les Transformers (coûteuses en calcul) par un modèle d'espace d'état (Mamba). Cela permet une mémoire temporelle efficace avec une complexité d'inférence linéaire $O(1)$ , essentielle pour maintenir une cohérence décisionnelle lors de pertes visuelles temporaires.
Filtrage Guidé par la Physique (Physics-Guided Filtering) :
- Combine un prédicteur de vitesse neuronal (avec estimation d'incertitude) et un Filtre de Kalman Étendu (EKF) basé sur la dynamique du corps rigide.
- Le réseau neuronal prédit une distribution gaussienne de la vitesse et de son incertitude. L'EKF fusionne cette prédiction avec le modèle physique pour garantir une estimation d'état cohérente, même lors de phases de vol ou de glissement, en réduisant la dérive.
Stratégie de "Gating" de Perte Consciente de la Cohérence (Consistency-Aware Loss Gating) :
- Pour stabiliser le transfert Sim-to-Réal, un mécanisme de porte adaptative équilibre dynamiquement la perte d'apprentissage par renforcement (RL) et l'apprentissage par imitation (Behavioral Cloning - BC).
- Si l'écart entre l'action de l'élève et celle du professeur est grand, le système favorise l'imitation pour éviter la déstabilisation. Lorsque l'élève devient cohérent, il bascule vers le RL pour explorer et s'adapter au bruit.

3. Contributions Principales

Framework REAL : Une nouvelle architecture de politique spatio-temporelle qui capture des associations proprioceptives-terrain structurées, permettant une locomotion quadrupède robuste et efficace.
Module de Filtrage Guidé par la Physique : Modélisation explicite de l'incertitude et imposition de la cohérence du corps rigide pour des estimations d'état fiables lors de manœuvres à haute dynamique.
Stratégie de Gating Adaptative : Un mécanisme de perte qui stabilise la distillation de politique en équilibrant imitation et exploration, améliorant la robustesse du transfert Sim-to-Réal.
Validation Expérimentale : Démonstration d'un transfert "zero-shot" vers un robot réel (Unitree Go2), réussissant à traverser des terrains extrêmes même avec une zone aveugle visuelle de 1 mètre.

4. Résultats Expérimentaux

Les expériences ont été menées en simulation (Isaac Gym) et sur un robot quadrupède Unitree Go2 réel.

Performance sur Terrains Extrêmes : REAL atteint un taux de réussite global de 78 %, surpassant nettement les méthodes de référence (Extreme Parkour : 16 %, RPL : 4 %, SoloParkour : 39 %).
Robustesse à la Dégradation Sensorielle :
- Sous occlusion de champ de vision (1m avant l'obstacle), REAL maintient un taux de réussite de 72 %, tandis que les méthodes basées uniquement sur la vision échouent presque totalement.
- Le robot utilise sa mémoire proprioceptive et temporelle pour naviguer "à l'aveugle" à travers des obstacles complexes.
Efficacité Temps Réel :
- L'inférence sur le module embarqué (NVIDIA Jetson) prend en moyenne 13,1 ms par étape (50 Hz).
- Contrairement aux bases de référence Transformer (23 ms), l'architecture Mamba garantit une complexité bornée, respectant strictement les contraintes de contrôle haute fréquence.
Ablation : L'ablation des composants montre que sans Mamba, le taux d'erreur de bord (MEV) augmente de 5 fois ; sans FiLM, le taux de réussite chute à 44 %.

5. Signification et Impact

Ce travail représente une avancée majeure pour le déploiement de robots dans des environnements non structurés et critiques (sauvetage, exploration planétaire).

Fiabilité : Il résout le problème de la fragilité des robots face aux perturbations sensorielles, un obstacle majeur pour l'adoption industrielle.
Efficacité Computationnelle : L'utilisation de Mamba démontre qu'il est possible d'avoir une mémoire à long terme sans sacrifier la latence temps réel, contrairement aux approches Transformer.
Transfert Réaliste : La réussite du transfert "zero-shot" sur un robot réel, sans ajustement fin supplémentaire, valide la robustesse de la méthodologie de distillation et de filtrage physique proposée.

En résumé, REAL transforme la locomotion robotique extrême en passant d'une dépendance fragile à la vision à un système résilient qui intègre la mémoire, la physique et la perception de manière unifiée.