Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

Résumé Technique : Apprendre à Courir en Quelques Minutes avec Infoprop Dyna sur le Mini Wheelbot

Énoncé du Problème
Le contrôle de systèmes robotiques caractérisés par des dynamiques rapides, instables et non linéaires reste un défi majeur, particulièrement lorsqu'il s'agit d'apprendre directement sur du matériel réel. Bien que l'apprentissage par renforcement (RL) offre des perspectives, les méthodes conventionnelles souffrent souvent d'une faible efficacité d'échantillonnage, nécessitant l'utilisation de simulateurs physiques soigneusement conçus et d'une randomisation de domaine étendue pour réussir le transfert sim-to-réel. Le RL basé sur des modèles (MBRL) améliore l'efficacité d'échantillonnage en apprenant un modèle de dynamique pour enrichir l'expérience réelle avec des déroulements imaginés ; cependant, des modèles imparfaits conduisent souvent à une « exploitation du modèle » lors de la planification à long horizon, dégradant les performances dans le monde réel. Le défi spécifique abordé dans ce travail est le Mini Wheelbot, un robot monocycle sous-actionné doté d'une dynamique de lacet hautement non linéaire. Son contrôle est compliqué par les interactions de contact avec le sol, de petites constantes de temps et une sensibilité à l'actionnement, rendant la modélisation précise difficile et la planification à long horizon essentielle pour un suivi de trajectoire efficace.

Méthodologie
Les auteurs emploient Infoprop Dyna, un cadre MBRL de pointe et conscient de l'incertitude, pour permettre au Mini Wheelbot d'apprendre directement à partir d'interactions réelles sans recourir à un simulateur physique.

• Algorithme Central : Infoprop Dyna traite les prédictions du modèle comme des observations bruitées d'un signal de vérité terrain. En tirant parti de la théorie de l'information, le cadre récupère le signal de vérité terrain estimé tout en suivant simultanément la corruption accumulée due au bruit. Cette approche atténue l'exploitation du modèle et permet des déroulements fiables sur des horizons plus longs que les méthodes antérieures.
• Modélisation de la Dynamique : Contrairement aux benchmarks précédents qui supposent des états entièrement observés et sans mémoire, le Mini Wheelbot repose sur une estimation d'état embarquée. Par conséquent, le modèle de transition appris est conditionné par un court historique d'états physiques estimés et d'entrées de contrôle appliquées pour prédire le prochain état estimé. Cela permet au modèle de capturer implicitement la dynamique de l'estimateur d'état ainsi que celle du système physique.
• Pipeline d'Entraînement : Le système utilise une configuration d'entraînement distribuée (illustrée dans la Figure 2). Les données du monde réel sont collectées par le robot physique et transmises via SSH à une station de travail locale, qui transfère ensuite l'ensemble de données vers un cluster de calcul haute performance (HPC). L'apprentissage du modèle et l'optimisation de la politique sont effectués à l'aide d'une implémentation basée sur JAX au-dessus de BRAX. Crucialement, aucun modèle de simulation n'est utilisé pour l'entraînement ; le cluster HPC génère des déroulements synthétiques massivement parallèles en utilisant le modèle de dynamique appris, remplaçant ainsi le besoin d'un simulateur physique.
• Initialisation : Pour assurer la sécurité et fournir des transitions informatives, l'ensemble de données réel est amorcé à chaud à l'aide d'une minute de données collectées en pilotant manuellement le robot avec un contrôleur prédictif de modèle approximatif (AMPC) et une interface de joystick.

Contributions Clés

1. Apprentissage Réel Sans Simulateur : Ce travail démontre qu'Infoprop Dyna peut permettre à un robot d'apprendre une politique de contrôle complexe directement à partir d'interactions réelles, contournant ainsi le besoin de pipelines sim-to-réel soigneusement conçus.
2. Acquisition Rapide de Comportements Agressifs : Le Mini Wheelbot apprend à courir sur un circuit fixe en 11 minutes d'expérience réelle, passant d'un mouvement conservateur à des stratégies de course agressives.
3. Découverte de Stratégies Non Triviales : La politique apprise découvre des comportements complexes, tels que des glissements contrôlés à haute vitesse pour négocier les virages, qui sont difficiles à capturer en utilisant uniquement des simulations basées sur la physique.
4. Architecture d'Entraînement Distribuée : L'article présente un pipeline où les temps d'entraînement sont comparables aux temps de collecte de données réelles grâce à une parallélisation massive sur HPC, contrairement aux benchmarks antérieurs où l'entraînement dominait le temps réel.

Résultats
Lors d'une seule session d'entraînement continue, l'agent a réussi à compléter son premier tour après six minutes d'interaction réelle. À la marque des 11 minutes, l'agent a atteint son pic de performance, complétant plusieurs tours avec une grande régularité.

• Métriques de Performance : L'agent de course final a atteint une vitesse moyenne de 0,5 m/s et une vitesse de pointe de 0,97 m/s. Par comparaison, la référence AMPC initiale avait une vitesse moyenne de 0,15 m/s et une vitesse maximale de 0,33 m/s.
• Efficacité : L'agent de course a complété plus de trois fois le nombre de tours que l'agent AMPC.
• Différences Comportementales : Alors que l'AMPC s'appuyait sur des effets gyroscopiques pour se réorienter, l'agent appris a exploité des glissements contrôlés pour gérer les virages rapides, lui permettant de rester plus près de la ligne médiane du circuit et de maintenir des vitesses plus élevées.

Signification
L'article affirme que ces résultats mettent en lumière le potentiel pratique d'Infoprop Dyna pour combler le fossé entre l'efficacité des données et les performances finales élevées sur des systèmes robotiques réels. En démontrant qu'un système sous-actionné et difficile peut apprendre des comportements de course agressifs en quelques minutes sans simulateur, ce travail suggère une voie viable vers une adoption plus large du RL basé sur des modèles dans le monde réel. Les auteurs positionnent cela comme une étape vers la mise à l'échelle de telles méthodes vers des arènes plus vastes et des agencements de circuits arbitraires, ainsi que vers le développement d'interfaces modulaires pour une application plus large sur divers systèmes robotiques.