🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

Cet article présente une approche d'apprentissage par renforcement qui permet avec succès à un modèle de bicyclette virtuel de type Whipple de suivre simultanément des trajectoires complexes et de maintenir une stabilité latérale sur une plage de vitesse de 2 m/s à 7 m/s en utilisant uniquement des sorties d'angle de braquage, validée par l'apprentissage curriculaire et une analyse explicative.

Auteurs originaux : Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un bambin à faire du vélo. Vous ne vous contentez pas de lui dire : « Va tout droit ». Vous devez lui apprendre à garder l'équilibre, à s'incliner dans les virages et à diriger sans tomber. Maintenant, imaginez faire cela non pas avec un enfant humain, mais avec un programme informatique et un vélo virtuel, en utilisant une méthode appelée Apprentissage par Renforcement (Reinforcement Learning - RL).

Ce document est essentiellement l'histoire de la façon dont les chercheurs ont appris à un « agent » numérique (un programme informatique intelligent) à faire du vélo parfaitement, en le maintenant en équilibre tout en suivant un chemin sinueux, le tout sans petites roues de soutien ni aide physique.

Voici la décomposition de leur parcours, en utilisant des analogies de la vie quotidienne :

1. La piste d'essai virtuelle

Les chercheurs n'ont pas utilisé un vrai vélo dans un garage. Ils ont construit un vélo virtuel à l'intérieur d'un ordinateur. Il ne s'agit pas d'un simple dessin animé ; c'est un modèle physique hautement précis (appelé « modèle de Whipple ») qui se comporte exactement comme un vrai vélo.

Le défi : Les vrais vélos sont délicats. Si vous allez trop lentement, vous tombez. Si vous allez trop vite, vous devenez instable. Ils ont aussi une particularité étrange : pour tourner à gauche, il faut en réalité diriger légèrement le guidon vers la droite (c'est ce qu'on appelle le « contre-braquage »).
L'objectif : L'agent informatique devait faire deux choses à la fois : rester droit (stabilisation) et suivre une ligne spécifique au sol (suivi de trajectoire). Il ne pouvait contrôler que le guidon. Il ne pouvait pas pousser le vélo ni changer la vitesse ; la vitesse était fixée par un « cycliste » invisible.

2. Le professeur : L'apprentissage par renforcement

Considérez l'agent comme un élève et la simulation informatique comme un professeur très strict.

Le jeu : L'agent essaie de rouler.
La fiche de score (Récompense) : Chaque fois que le vélo reste proche de la ligne et ne tombe pas, l'agent reçoit des points (une « récompense »). S'il tombe ou s'éloigne trop de la trajectoire, il reçoit zéro point et la partie recommence.
L'apprentissage : L'agent essaie des millions de fois. Au début, il s'écrase constamment. Mais peu à peu, il commence à réaliser : « Oh, quand je penche à gauche, je dois braquer à droite pour rester debout », ou « Quand le chemin tourne, je dois regarder devant moi ». Il apprend par essais et erreurs, et non en lui dictant les règles de la physique.

3. La recette secrète : L'apprentissage par curriculum (« Curriculum Learning »)

Si vous essayiez d'apprendre à un bambin à faire du vélo sur une route de montagne escarpée et sinueuse immédiatement, il échouerait. On commence par l'installer sur une allée droite et plate.
Les chercheurs ont utilisé une stratégie appelée Apprentissage par Curriculum. C'est comme un jeu vidéo qui devient plus difficile à mesure que vous montez de niveau :

Niveau 1 : L'agent commence sur un chemin droit à une vitesse modérée et facile, où le vélo veut naturellement rester droit.
Niveau 2 : À mesure que l'agent devient bon, le professeur introduit des courbes et des changements de vitesse.
Niveau 3 : L'agent fait face aux défis les plus difficiles : des vitesses très lentes (où le vélo est très instable) et des virages serrés et brusques.
En commençant par le plus facile et en augmentant progressivement la difficulté, l'agent a appris à gérer toute la gamme de vitesses (de 2 m/s à 7 m/s) et des trajectoires complexes comme des slaloms et des cercles complets.

4. Les résultats : Un maître cycliste

Après des millions de trajets virtuels (prenant environ 55 heures de temps simulé), l'agent est devenu un expert.

Le test : Ils ont placé l'agent entraîné sur un « Chemin de Référence » (Benchmark Path) : une piste complexe avec des cercles, des zigzags et des changements de voie.
Le résultat : L'agent a maintenu le vélo droit et a suivi la trajectoire avec une précision incroyable. La distance moyenne entre le vélo et la ligne qu'il devait suivre était de moins de 9 centimètres (environ la largeur d'une main).
La vitesse : Cela fonctionnait parfaitement, que le vélo se déplaçait lentement ou rapidement.

5. L'agent a-t-il réellement « compris » la physique ?

Les chercheurs ne voulaient pas seulement une boîte noire qui fonctionne ; ils voulaient savoir comment elle fonctionnait. Ils ont utilisé un outil appelé SHAP (qui agit comme une radiographie pour les décisions de l'IA) pour voir ce que l'agent surveillait.

Ce qu'ils ont découvert : L'agent avait appris exactement les mêmes astuces physiques que les humains !
- Contre-braquage : L'agent a appris à braquer légèrement dans la direction opposée pour amorcer un virage.
- S'incliner dans la chute : Lorsque le vélo commençait à pencher, l'agent apprenait à braquer dans la direction de la chute pour le rattraper, tout comme un vrai cycliste.
- Regarder devant soi : L'agent prêtait le plus d'attention au chemin situé quelques mètres devant lui, et non pas seulement là où les roues touchaient le sol.

L'essentiel

Ce document prouve qu'un programme informatique peut apprendre à faire du vélo en partant de zéro, en le stabilisant et en le dirigeant à travers des parcours complexes, sans aucune équation de physique préprogrammée ou aide humaine. Il a appris le « ressenti » du vélo par essais et erreurs, devenant finalement un maître cycliste capable de gérer les changements de vitesse et les virages difficiles mieux que de nombreux contrôleurs informatiques traditionnels.

Les chercheurs concluent que cette approche fonctionne, mais notent que pour un véritable robot vélo, ils devraient affiner le modèle pour gérer les routes accidentées et trouver comment « voir » le chemin (comme avec une caméra) plutôt que d'avoir le chemin préchargé dans l'ordinateur.

Résumé technique : Suivi de trajectoire et stabilisation d'un modèle de bicyclette utilisant une approche d'apprentissage par renforcement

Énoncé du problème
Le contrôle du mouvement d'une bicyclette est une tâche complexe en raison de sa stabilité latérale dépendante de la vitesse et de son comportement à phase non minimale, ce qui nécessite de diriger la direction vers la direction d'une chute indésirable pour maintenir l'équilibre. Bien que les méthodes traditionnelles de génie de contrôle aient été largement utilisées pour la stabilisation et le suivi de trajectoire de bicycles, il existe un intérêt croissant pour l'application de l'apprentissage automatique, spécifiquement de l'apprentissage par renforcement (RL), à ces systèmes mécaniques. Une lacune importante existe dans la littérature : les applications précédentes du RL aux modèles de bicyclette se sont généralement spécialisées soit dans la stabilisation (utilisant souvent des modèles simplifiés sans traînée ou avec des aides à l'équilibre), soit dans le suivi de trajectoire (ignorant souvent la stabilisation latérale). De plus, les travaux existants n'ont pas suffisamment démontré si un agent de RL peut induire une politique de stabilisation dépendante de la vitesse pour un modèle de bicyclette standard (avec une traînée positive) sur une large gamme de vélocités tout en effectuant simultanément un suivi de trajectoire, sans la capacité de contrôler la vitesse de progression.

Méthodologie
Les auteurs proposent un cadre de RL où un agent contrôle un modèle de bicyclette de Whipple virtuel — un modèle de référence pour la dynamique de la bicyclette caractérisé par une traînée positive et une auto-stabilité uniquement dans une plage de vitesse spécifique (4,3–6 m/s). La bicyclette est modélisée comme un système multi-corps comprenant quatre corps rigides (roue arrière, roue avant, corps arrière, guidon) et sans aides de stabilisation externes (par exemple, des roues d'inertie).

Mécanisme de contrôle : L'agent agit exclusivement en prédisant un angle de direction ( $\delta_{set}$ ). Cet angle est converti en un couple de direction via un contrôleur PD agissant entre le corps arrière et la fourche. L'agent ne peut pas modifier la vitesse de progression, qui est définie aléatoirement entre 2 m/s et 7 m/s, simulant un scénario où le cycliste contrôle la vitesse tandis que l'agent gère la direction.
Représentation de l'état : Le vecteur d'état comprend les coordonnées minimales de la bicyclette (position, lacet, roulis, angle de direction et vitesses angulaires pertinentes) ainsi qu'une information d'aperçu de la trajectoire. L'aperçu de la trajectoire est représenté par un vecteur des distances latérales par rapport aux points futurs de la trajectoire. Les auteurs ont étudié deux formulations pour l'état : l'une utilisant l'angle de lacet directement et l'autre utilisant une représentation par vecteur unité pour éviter les discontinuités.
Fonction de récompense : La récompense est une combinaison linéaire de deux composantes :
1. Suivi de trajectoire ( $\rho_y$ ) : Récompense l'agent pour maintenir le point de contact de la roue arrière proche de la trajectoire.
2. Stabilisation ( $\rho_\phi$ ) : Récompense l'agent pour maintenir un angle de roulis faible.
  Les auteurs ont analysé différentes formulations de récompense, incluant les pénalités de distance linéaires versus exponentielles et la variation des poids entre le suivi de trajectoire et la stabilisation.
Stratégie d'entraînement : L'apprentissage par curriculum (CL) est employé pour gérer la complexité de la tâche. Le processus d'entraînement est divisé en quatre étapes où les intervalles d'initialisation pour la vitesse de progression, la courbure de la trajectoire (rayon des éléments circulaires) et la complexité de la trajectoire (longueur et largeur des segments polynomiaux) sont progressivement élargis. Cela permet à l'agent d'apprendre d'abord la stabilisation de base à une vitesse constante et stable avant d'aborder des vitesses variables et des trajectoires complexes.
Algorithme : L'algorithme Soft Actor-Critic (SAC) est utilisé pour l'apprentissage par renforcement profond hors politique (off-policy).

Contributions clés

Suivi de trajectoire et stabilisation simultanés : Ce travail démontre, pour la première fois, qu'un agent de RL peut effectuer avec succès le suivi de trajectoire et la stabilisation latérale sur un modèle de bicyclette de Whipple sans aides à l'équilibre, en s'appuyant uniquement sur des entrées de direction.
Politique dépendante de la vitesse : L'étude examine et confirme que l'approche RL peut induire une politique dépendante de la vitesse capable de stabiliser la bicyclette sur une large gamme de vélocités (2 m/s à 7 m/s), couvissant à la fois les régimes instables à basse vitesse et auto-stables à vitesse moyenne.
Application de l'apprentissage par curriculum : L'application de l'apprentissage par curriculum est montrée comme essentielle pour entraîner l'agent à gérer la complexité croissante des vitesses variables et des trajectoires arbitraires (incluant des cercles complets, des slaloms et des changements de voie).
Explicabilité : Les auteurs utilisent les explications SHapley Additive (SHAP) pour analyser le processus de décision de l'agent entraîné, liant la politique apprise aux mécanismes physiques connus de la dynamique de la bicyclette.

Résultats

Performance d'apprentissage : Les configurations proposées (utilisant un aperçu de distance mis à l'échelle par la vitesse et une récompense linéaire pour le suivi de trajectoire) ont nécessité moins d'étapes d'apprentissage ( $< 2 \times 10^6$ ) par rapport à d'autres alternatives comme un aperçu de distance constant ou une pondération égale des récompenses de stabilisation. L'inclusion de la récompense de stabilisation ( $\rho_\phi$ ) avec des poids égaux s'est avérée perturber la progression de l'apprentissage.
Performance de déploiement : Les agents entraînés avec les paramètres proposés ont réussi à stabiliser la bicyclette et à suivre des trajectoires sur toute la plage de vitesses testée (2–7 m/s).
- Sur des trajectoires générées aléatoirement, les 525 trajets simulés (à travers 5 séries et 5 configurations) ont été réussis sans aucune chute.
- Sur une trajectoire de référence complexe (cercle complet, slalom, changements de voie), le meilleur agent a atteint une distance moyenne maximale de 0,09 m de la trajectoire à 7 m/s (9 % de l'empattement) et une distance moyenne maximale de 0,19 m à la vitesse la plus basse (2 m/s).
- Certains agents individuels ont échoué aux vitesses les plus basses (2 m/s) sur des segments spécifiques de la trajectoire de référence (cercle complet et changement de voie brusque), ce qui était statistiquement rare dans le curriculum d'entraînement.
Analyse des mécanismes : L'analyse des valeurs SHAP a révélé que l'agent a appris des mécanismes de contrôle fondamentaux :
- Contre-braquage : L'agent a correctement prédit un angle de direction opposé à la direction de virage souhaitée pour initier une inclinaison.
- Braquer dans la direction de la chute : Une fois incliné, l'agent a braqué dans la direction de la chute pour maintenir l'équilibre, corrélant l'angle de roulis ( $\phi$ ) et les points d'aperçu ( $t_P$ ) avec les actions de direction.

Signification et affirmations
L'article affirme que l'apprentissage par renforcement est une alternative viable au génie de contrôle traditionnel pour la dynamique de la bicyclette, capable de gérer la nature non linéaire et dépendante de la vitesse du système sans modélisation explicite des lois de contrôle. Ce travail comble le fossé entre l'apprentissage automatique et la recherche sur la dynamique de la bicyclette en démontrant qu'un agent peut apprendre les mécanismes physiques de base du contrôle de la bicyclette (contre-braquage et inclinaison) uniquement par l'interaction avec un environnement simulé.

Les auteurs notent modestement que si l'environnement virtuel permet un suivi de trajectoire parfait dans de nombreux cas, la trajectoire de référence inclut des caractéristiques géométriques (comme des changements de voie brusques) qui sont physiquement exigeantes même pour de vraies bicyclettes. Le succès de l'agent à naviguer sur ces trajectoires complexes à travers une large plage de vitesses, malgré l'absence de contrôle explicite sur la vitesse de progression, souligne le potentiel pratique du RL pour les systèmes robotiques où la vélocité est une contrainte externe. L'article conclut que les travaux futurs devraient se concentrer sur l'affinement du modèle de bicyclette pour le transfert Sim-to-Real et sur le développement de méthodes pour obtenir des informations d'aperçu de trajectoire dans des scénarios réels (par exemple, via des caméras).