🤖 AI

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

Cet article présente un cadre d'apprentissage par renforcement à curriculum auto-adapté qui intègre le Soft Actor-Critic avec une génération de tâches dynamique pour entraîner efficacement un agent autonome pour la course de superbike stable et rapide dans une simulation physiquement fidèle, surpassant les approches SAC standards.

Auteurs originaux : Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un bambin à faire du vélo. Si vous le jetez simplement sur une autoroute très fréquentée en lui disant : « Vas-y ! », il tombera probablement immédiatement. Mais si vous commencez dans une allée calme, puis que vous passez à un parc plat, et enfin que vous introduisez de légères pentes, il apprendra beaucoup plus vite.

Ce document traite de l'enseignement à un « bambin » informatique (un agent d'IA) comment piloter une superbike à grande vitesse dans un simulateur de jeu vidéo appelé VRider SBK. Les chercheurs ont découvert que la méthode standard pour enseigner à l'IA ne fonctionnait pas bien pour les motos, ils ont donc inventé une méthode d'entraînement plus intelligente, étape par étape.

Voici la décomposition de leur travail en utilisant des analogies simples :

1. Le grand défi : Deux roues contre quatre

La plupart des recherches sur la course automobile par IA se concentrent sur les voitures. Les voitures sont comme des camions lourds ; elles sont stables. Si vous tournez un virage trop vite, la voiture peut glisser un peu, mais elle reste généralement droite.

Les motos sont différentes. Elles sont comme des funambules.

L'équilibre est la clé : Pour tourner, un pilote doit s'incliner. S'il ne s'incline pas assez, il tombe vers l'extérieur. S'il s'incline trop, il tombe vers l'intérieur.
La lutte de l'IA : L'ordinateur devait apprendre non seulement à diriger et à accélérer, mais aussi à équilibrer constamment la moto tout en s'inclinant selon des angles extrêmes. Si l'IA ratait l'équilibre, la moto s'écrasait et tombait — un problème que les voitures n'ont pas.

2. La solution : Le coach « auto-adaptatif »

Les chercheurs ont utilisé un entraîneur d'IA standard appelé SAC (Soft Actor-Critic). Considérez SAC comme un coach strict qui jette l'étudiant directement dans le grand bain.

Ils ont combiné SAC avec une nouvelle méthode appelée SPDL (Self-Paced Deep Reinforcement Learning). Considérez SPDL comme un coach intelligent et adaptatif qui observe l'étudiant et ajuste la difficulté en temps réel :

Le début : Le coach dit à l'IA : « Contente-toi de suivre le milieu de la piste. Ne t'inquiète pas de la vitesse pour l'instant. » C'est le mode « facile ».
La progression : À mesure que l'IA devient meilleure pour rester droite, le coach déplace progressivement les objectifs. « D'accord, maintenant essaie de suivre la "ligne de course idéale" (le chemin le plus rapide). »
La fin : Finalement, le coach dit : « Maintenant, va aussi vite que possible sur cette ligne parfaite. »

Le document affirme que cette approche « auto-adaptative » a bien mieux fonctionné que la méthode standard. L'IA a appris à courir plus vite, est tombée moins souvent et a terminé l'entraînement plus rapidement.

3. Comment l'IA « voit » la piste

Pour faire comprendre la moto à l'IA, les chercheurs lui ont donné un « tableau de bord » spécial d'informations (Espace d'état) :

Conscience du corps : Elle sait à quelle vitesse elle va, à quel point elle est inclinée et à quel point les pneus sont glissants.
Mémoire : Crucialement, elle se souvient de son historique récent d'inclinaison. Tout comme un pilote humain ressent l'instabilité de la moto avant de tomber, l'IA utilise cet historique pour s'empêcher de trop trembler.
La carte : Elle voit 60 points devant elle sur la piste, comme si elle regardait la route pour voir les courbes arriver.

4. La « fiche de score » (Récompenses)

Dans l'entraînement de l'IA, l'ordinateur reçoit des points (récompenses) pour les bons comportements et en perd pour les mauvais. Les chercheurs ont conçu une fiche de score très spécifique pour les motos :

Bien : Avancer le long de la piste.
Mal : Sortir de la piste, heurter les murs ou trop osciller.
La pénalité d'inclinaison : Ils ont spécifiquement puni l'IA pour les secousses (oscillations) de la moto pendant l'inclinaison. Cela a forcé l'IA à apprendre des virages fluides et contrôlés plutôt que des mouvements saccadés.

5. Les résultats : Qu'est-ce qui s'est passé ?

Les chercheurs ont testé cela sur un circuit célèbre appelé Barcelone et d'autres.

L'IA « standard » (SAC seul) : Aux premières étapes de l'entraînement, elle ne pouvait même pas finir un tour. Elle n'arrêtait pas de s'écraser et de tomber.
L'IA « auto-adaptative » (SPDL) : Elle a terminé des tours sans tomber. À la fin de l'entraînement, elle était 0,57 seconde plus rapide par tour que l'IA standard.
Le test de « transfert » : Ils ont pris une IA entraînée sur une moto Ducati et l'ont placée sur une Kawasaki, une Honda et une Yamaha sans la réentraîner.
- Résultat : Cela a fonctionné ! L'IA pouvait piloter les nouvelles motos de manière raisonnable, prouvant qu'elle avait appris la compétence générale de l'équilibre d'une moto, et non pas seulement comment piloter un modèle spécifique.
- Exception : Elle a un peu eu du mal avec la BMW, décrite comme « agressive et difficile à conduire », suggérant que certaines motos sont simplement plus dures à apprendre que d'autres.

6. Ce qu'il manque encore

Les auteurs sont honnêtes concernant les limites.

Le problème « Vitesse vs Précision » : Parfois, l'IA est tellement excitée par la vitesse qu'elle entre dans un virage trop rapidement et dépasse la trajectoire (voir Fig. 4 dans le document). Elle privilégie la vitesse au détriment de la trajecte parfaite.
Un circuit à la fois : Actuellement, ils entraînent une IA séparée pour chaque circuit. Ils espèrent pouvoir éventuellement entraîner une seule IA capable de gérer n'importe quel circuit qu'elle verrait pour la première fois.

Résumé

Ce document présente la première tentative réussie d'enseigner à une IA comment faire de la course de moto dans un simulateur en utilisant une méthode d'apprentissage « étape par étape ». En laissant l'IA commencer sur un chemin facile et en augmentant progressivement la difficulté, ils ont réussi à créer un pilote qui reste droit, apprend plus vite et peut même passer d'un modèle de moto à l'autre. C'est une étape majeure vers la course de moto autonome, bien que l'IA doive encore apprendre à être un peu plus précise lors des virages à grande vitesse.

Résumé technique : Apprentissage par renforcement à curriculum auto-cadencé pour la course de superbike autonome en simulation

Énoncé du problème

La course autonome a franchi des étapes significatives grâce à l'apprentissage par renforcement profond (RL), particulièrement pour les véhicules à quatre roues dans des simulateurs de haute fidélité comme Gran Turismo. Cependant, la course de motos reste largement inexplorée dans la littérature du RL en raison de défis physiques et dynamiques fondamentalement différents. Contrairement aux voitures, les motos de course exigent que l'agent gère activement l'angle d'inclinaison pour contrer les forces centrifuges lors des virages. Un échec dans le contrôle de cet angle entraîne une perte d'équilibre et une chute — un mode de défaillance absent des véhicules à quatre roues. De plus, les motos de course possèdent un rapport puissance/poids plus élevé, les soumettant à des dynamiques de freinage et d'accélération plus agressives. Le défi central consiste à entraîner un agent capable de gérer simultanément la direction, le contrôle de l'accélérateur/frein et l'équilibre complexe nécessaire à la stabilité à deux roues aux limites physiques du véhicule.

Méthodologie

Les auteurs proposent un cadre implémenté dans VRider SBK, un simulateur basé sur Unity physiquement précis, doté de circuits et de modèles de motos du championnat du monde de Superbike. Le système intègre le Soft Actor-Critic (SAC) avec un Apprentissage par renforcement profond à rythme auto-cadencé (SPDL).

1. Espace d'états et d'actions

Espace d'états : Le vecteur d'observation combine des caractéristiques proprioceptives et globales, normalisées entre $[-1, 1]$ $[- 1, 1]$ .
- Proprioceptif : Vitesse linéaire/angulaire, angles de direction et d'inclinaison actuels et précédents, historique de l'angle d'inclinaison ( $\theta$ ), rapports de glissement des pneus et actions de contrôle précédentes. L'inclusion de l'historique de l'angle d'inclinaison est cruciale pour anticiper et supprimer les comportements oscillatoires.
- Global : 60 points de parcours 3D équidistants échantillonnés le long de la trajectoire actuelle (ligne médiane et limites de piste) via une interpolation par spline de Catmull-Rom, fournissant une anticipation adaptée à la vitesse.
Espace d'actions : Deux actions continues dans $[-1, 1]$ $[- 1, 1]$ :
1. Direction (qui pilote également l'angle d'inclinaison de la moto).
2. Un signal combiné accélérateur/frein (mutuellement exclusif).

2. Conception de la récompense

La fonction de récompense est dense et multi-composante, conçue pour minimiser le temps au tour tout en pénalisant l'instabilité. Elle comprend :

Progression : Déplacement le long de la trajectoire, négatif si la moto recule ou sort de la piste.
Pénalités : Temps hors piste, contact avec les murs (basé sur l'énergie cinétique), et pénalités de stabilité spécifiques pour les changements importants de direction, d'inclinaison et de vitesse angulaire entre les étapes.
Pénalités d'historique : Pénalités basées sur une fonction sigmoïde sur les deltas d'angles accumulés pour décourager le comportement oscillatoire en direction et en inclinaison.
Conditions d'échec : Les épisodes sont réinitialisés si la moto tombe, percute un mur ou dépasse les minuteurs de pénalité.

3. Curriculum auto-cadencé (SPDL)

Au lieu d'un design de curriculum manuel, le système utilise le SPDL pour générer dynamiquement des tâches basées sur la performance de l'agent. La difficulté est définie par la trajectoire que l'agent doit suivre :

Variables de contexte :
- $c_1$ : Distance par rapport à la trajectoire médiane (ligne centrale).
- $c_2$ : Distance par rapport à la ligne de course idéale.
- $c_3$ : Limite de vitesse maximale.
Mécanisme : L'algorithme maintient une distribution de contexte $p(c|\nu)$ et optimise un compromis entre la maximisation de la récompense et la convergence vers une distribution cible (la ligne idéale à pleine vitesse). Une contrainte de divergence KL empêche les sauts de difficulté abrupts. Lorsque l'agent dépasse un seuil de performance $\delta$ , le curriculum bascule automatiquement de la trajectoire médiane facile vers la ligne de course idéale.

Contributions clés

Architecture RL pour véhicules à deux roues : Un espace d'états sur mesure incluant l'historique de l'angle d'inclinaison et un signal de récompense spécifiquement conçu pour gérer les instabilités propres aux motos (chute, oscillation).
Intégration de curriculum automatisé : Première intégration du SPDL avec Unity ML-Agents pour la course de moto, permettant la génération dynamique et automatique de tâches sans intervention manuelle.
Établissement d'une référence (Baseline) : Résultats expérimentaux préliminaires établissant la première référence de RL pour la course de moto autonome, démontrant une efficacité d'entraînement et une stabilité supérieures par rapport au SAC standard.

Résultats expérimentaux

Les expériences ont été menées sur le circuit de Barcelone (principal) et généralisées à Cremona et Phillip Island, en utilisant la Ducati Panigale V4 R et quatre autres modèles de motos.

Efficacité de l'entraînement : À l'itération 1150, un agent SAC standard n'a pas réussi à compléter un seul tour, perdant de manière répétée le contrôle. L'agent SPDL a complété tous les tours sans aucune chute et avec un temps moyen de 1:32.85. À l'itération 1900, le SPDL a atteint un temps au tour de 1:30.75, surpassant la référence SAC entraînée (1:31.32) de 0,57 seconde.
Stabilité : Les agents SPDL ont montré nettement moins de chutes et d'excursions hors piste par rapport au SAC.
Généralisation aux circuits : Les agents entraînés avec le SPDL ont réussi à compléter les tours sur Cremona et Phillip Island avec zéro chute et zéro collision, démontrant une robustesse à travers différentes géométries de circuits.
Généralisation aux motos : Une politique entraînée sur la Ducati Panigale V4 R a été transférée à d'autres modèles (Kawasaki, Honda, Yamaha, BMW) sans réentraînement.
- La Kawasaki Ninja ZX-10RR a montré le meilleur transfert, ne dépassant la Ducati que de 0,87s sur Barcelone.
- Les modèles Honda et Yamaha ont même surpassé la Ducati sur Phillip Island grâce à une meilleure gestion de virages spécifiques.
- La BMW M1000 RR a peiné sur Phillip Island, ne parvenant pas à terminer le tour, soulignant la difficulté de transférer vers des motos plus agressives et difficiles à piloter.

Signification et limites

L'article affirme établir la première référence de RL pour la course de moto autonome, prouvant que la combinaison du SAC avec l'apprentissage par curriculum auto-cadencé est efficace pour gérer les dynamiques uniques des véhicules à deux roues. Le cadre se généralise avec succès à plusieurs circuits et modèles de motos, suggérant que la politique apprise capture des priors de contrôle généralisables plutôt que de simples dynamiques spécifiques à la moto.

Cependant, les auteurs notent modestement les limites actuelles :

Précision de la trajectoire : L'agent a tendance à privilégier la vitesse sur la précision, dépassant occasionnellement les virages (comme vu dans les résultats qualitatifs).
Entraînement sur circuit unique : Actuellement, un agent distinct est entraîné par circuit ; les travaux futurs visent une généralisation multi-circuits.
Capteurs : Le système repose actuellement sur des entrées vectorielles ; les futures itérations pourraient incorporer des entrées visuelles et des architectures acteur-critique asymétriques pour améliorer l'efficacité de l'échantillonnage et le réalisme.

Ce travail constitue une étape fondamentale vers la course de superbike autonome compétitive, avec des directions futures visant à tester dans des contextes de compétition plutôt que simplement en mode contre-la-montre.