⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

Cet article propose une approche d'apprentissage par renforcement utilisant PPO pour optimiser conjointement la distance de visée et le gain de direction du contrôle Pure Pursuit en temps réel, surpassant ainsi les méthodes classiques et adaptatives en termes de temps de tour, de précision de trajectoire et de fluidité de direction lors de courses autonomes.

Auteurs originaux : Mohamed Elgouhary, Amr S. El-Wakeel

Publié 2026-02-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohamed Elgouhary, Amr S. El-Wakeel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏎️ Le Problème : La voiture qui "réfléchit" trop ou pas assez

Imaginez que vous conduisez une voiture de course autonome. Pour rester sur la piste, elle utilise une méthode classique appelée "Pure Pursuit" (la poursuite pure). C'est comme si le conducteur regardait un point devant lui sur la route et tournait le volant pour aller vers ce point.

Mais il y a un gros problème avec cette méthode : elle est très rigide.

Si le conducteur regarde trop loin devant (un grand point), la voiture est douce sur les lignes droites, mais elle rate les virages serrés (elle coupe les coins comme un débutant).
S'il regarde trop près, la voiture est très réactive dans les virages, mais elle commence à trembler et à zigzaguer sur les lignes droites (comme un conducteur nerveux).

Les ingénieurs essaient habituellement de régler ce problème avec des formules mathématiques fixes (ex: "si la vitesse augmente, regarde un peu plus loin"). Mais c'est comme essayer de régler une radio avec un seul bouton : ça marche bien sur une station, mais dès que vous changez de circuit ou de vitesse, ça ne fonctionne plus. Il faut tout re-réglé manuellement.

💡 La Solution : Un "Coach" IA qui ajuste les réglages en temps réel

Les auteurs de cette étude ont eu une idée brillante : au lieu de remplacer le conducteur par une IA complexe, ils ont gardé le conducteur simple (la méthode "Pure Pursuit") mais ils lui ont ajouté un Coach Virtuel (une Intelligence Artificielle) qui lui chuchote constamment : "Regarde un peu plus loin !", "Tourne le volant plus fort !" ou "Ralentis ton regard !".

Ce coach utilise une technique appelée Apprentissage par Renforcement (PPO). C'est comme un apprenti pilote qui s'entraîne des milliers de fois dans un simulateur vidéo (le jeu F1TENTH) pour apprendre, par essais et erreurs, les meilleurs réglages à chaque seconde.

🎮 Comment ça marche ? (L'analogie du Chef d'Orchestre)

Imaginez que la voiture est un instrument de musique.

Le Mécanisme de base (Pure Pursuit) : C'est le musicien qui joue la partition. Il sait comment faire avancer la voiture.
Les Réglages (Ld et g) : Ce sont le volume et le tempo.
- Ld (Distance de regard) : C'est à quelle distance le musicien regarde la partition.
- g (Gain de direction) : C'est à quel point il tourne le volant quand il voit un virage.
Le Coach (L'IA) : C'est le chef d'orchestre. Il observe la route (les virages, la vitesse) et dit au musicien : "Maintenant, on regarde plus loin car on va droit !" ou "Maintenant, on regarde de plus près et on tourne fort car c'est un virage serré !".

L'IA ne remplace pas le musicien, elle l'aide à être parfait à chaque instant.

🏆 Les Résultats : Qui gagne la course ?

Les chercheurs ont testé leur système sur deux types de circuits (un en simulation et un vrai circuit miniature) et ont comparé 5 méthodes :

Pure Pursuit fixe : Le réglage ne change jamais. (Perd souvent, soit trop lent, soit trop instable).
Pure Pursuit adaptatif classique : Change le réglage selon une formule simple. (Mieux, mais pas parfait).
MPC (Le surdoué mathématique) : Une méthode très complexe qui calcule tout à l'avance. (Très précis, mais lent et gourmand en énergie).
Notre IA (Le Coach) : Ajuste les deux réglages en même temps.

Le verdict ?

Vitesse : La voiture avec le Coach IA a fait les tours les plus rapides.
Précision : Elle a mieux suivi la ligne idéale, sans zigzaguer.
Souplesse : Les virages étaient pris plus fluidement.
Généralisation : Le plus impressionnant ? L'IA a été entraînée sur un circuit (Hockenheim) et a réussi, sans aucun réglage supplémentaire, à conduire parfaitement sur deux autres circuits totalement différents (Montréal et Yas Marina). C'est comme si un joueur apprenait à jouer au tennis sur un court en terre battue et gagnait immédiatement un match sur gazon.

🚀 En résumé

Cette recherche montre qu'on n'a pas besoin de remplacer les méthodes simples et fiables par des systèmes d'IA gigantesques et incompréhensibles. En ajoutant une petite couche d'intelligence qui ajuste les boutons de réglage d'un système simple, on obtient une voiture autonome plus rapide, plus sûre et capable de s'adapter à n'importe quelle piste, comme un pilote de Formule 1 qui s'adapte à la météo en temps réel.

C'est la preuve que l'IA peut être un excellent assistant pour les méthodes classiques, rendant la course autonome plus intelligente sans la rendre plus compliquée.

1. Problématique

Le contrôle géométrique Pure Pursuit (PP) est largement utilisé en course automobile autonome pour son efficacité et sa clarté géométrique. Cependant, ses performances sont extrêmement sensibles au choix de deux paramètres clés :

La distance de regard (lookahead distance, $L_d$ ) : Un $L_d$ trop petit provoque des oscillations sur les lignes droites, tandis qu'un $L_d$ trop grand entraîne un sous-virage dans les virages serrés.
Le gain de braquage (steering gain, $g$ ) : Un gain trop agressif amplifie le bruit, tandis qu'un gain trop conservateur ralentit la convergence.

Les méthodes classiques utilisent des règles heuristiques fixes (basées sur la vitesse ou la courbure) pour ajuster ces paramètres. Ces approches manquent de flexibilité, peinent à se transférer d'une piste à l'autre et nécessitent un réglage manuel pour chaque nouveau scénario. Les méthodes basées sur la modélisation (comme le MPC) sont performantes mais coûteuses en calcul et complexes à mettre en œuvre.

L'objectif de cet article est de maintenir la simplicité et l'interprétabilité du contrôle Pure Pursuit tout en améliorant sa robustesse et ses performances grâce à l'apprentissage automatique, sans remplacer le contrôleur géométrique de base.

2. Méthodologie

Les auteurs proposent une approche hybride combinant le contrôle géométrique classique et l'apprentissage par renforcement (RL).

Architecture du Système

Contrôleur de base : Un contrôleur Pure Pursuit standard qui calcule l'angle de braquage $\gamma$ selon la formule : $\gamma = g \cdot \frac{2y'}{L_d^2}$ , où $y'$ est l'erreur latérale.
Apprentissage par Renforcement (PPO) : Une politique d'apprentissage par renforcement (Proximal Policy Optimization - PPO) est entraînée pour déterminer en ligne et de manière conjointe les valeurs optimales de $L_d$ et $g$ à chaque pas de contrôle.
État d'observation ( $s_t$ ) : Le réseau de neurones observe un vecteur d'état compact comprenant :
- La vitesse actuelle du véhicule ( $v_t$ ).
- Des « taps » de courbure ( $\kappa$ ) à trois horizons (proche, moyen, loin) le long de la trajectoire de référence.
- La variation de courbure ( $\Delta\kappa$ ).
Action ( $a_t$ ) : Le réseau sort un vecteur continu 2D : $(L_d, g)$ . Ces actions sont ensuite lissées par un filtre passe-bas du premier ordre avant d'être appliquées au contrôleur pour éviter les changements brusques.
Environnement et Entraînement :
- Entraînement effectué dans le simulateur F1TENTH Gym sur la piste de Hockenheim.
- Utilisation d'une trajectoire de référence à courbure minimale (générée par optimisation globale).
- Le profil de vitesse est augmenté de +30% durant l'entraînement pour forcer l'agent à apprendre des stratégies robustes face à des dynamiques plus agressives.
- Récompense : Une fonction de récompense complexe équilibre la vitesse, la proximité avec des cibles « enseignant » (teacher targets), la régularité des commandes, la progression sur la piste et la sécurité (évitement de collisions).

Déploiement

Le système est intégré dans une pile logicielle ROS 2. La politique RL publie les paramètres $L_d$ et $g$ via des topics ROS. Un mécanisme de sécurité (« teacher » linéaire) prend le relais si les commandes RL deviennent obsolètes, garantissant la stabilité.

3. Contributions Clés

Cadre RL-Pure Pursuit : Un système qui adapte dynamiquement et conjointement la distance de regard et le gain de braquage, préservant la structure géométrique interprétable du PP.
Recette d'entraînement pratique : Une méthodologie éprouvée (design de récompense, normalisation, réglage des hyperparamètres) permettant d'apprendre une politique sensible à la courbure et à la vitesse.
Validation Sim-to-Real : Évaluation réussie sur un véhicule physique F1TENTH (1/10ème d'échelle) sans réajustement spécifique pour la piste réelle, démontrant une bonne généralisation « zero-shot » vers des pistes non vues (Montréal, Yas Marina).
Analyse d'interprétabilité : Visualisation montrant comment la politique apprend à réduire $L_d$ dans les virages serrés et à ajuster $g$ selon le contexte, validant la logique physique de l'apprentissage.

4. Résultats Expérimentaux

Les performances ont été comparées à plusieurs baselines : PP à $L_d$ fixe, PP adaptatif (règle linéaire vitesse $\to L_d$ ), une variante RL ne modifiant que $L_d$ , et un contrôleur MPC cinématique.

Simulation (Pistes Montréal et Yas Marina) :
- La politique RL-Pure Pursuit (jointe $L_d, g$ ) a obtenu les meilleurs temps au tour, surpassant toutes les autres méthodes.
- Sur la piste de Montréal, elle a réalisé un temps moyen de 32,85 s (avec un profil de vitesse accéléré de +16%), contre 34,25 s pour le PP adaptatif linéaire et 48,06 s pour le MPC.
- L'ajout du gain $g$ à l'apprentissage a apporté un gain mesurable par rapport à l'apprentissage de $L_d$ seul.
Véhicule Réel (F1TENTH) :
- Avec une vitesse maximale limitée à 6 m/s pour des raisons de sécurité, la méthode RL conjointe a de nouveau obtenu le meilleur temps moyen (9,46 s), surpassant le PP adaptatif linéaire (9,72 s) et le MPC (15,42 s).
- Le suivi de trajectoire était plus lisse et précis, avec moins de déviation latérale dans les virages.
- Le taux d'activation du mécanisme de sécurité (fallback) était de 0 %, prouvant que la politique RL était fiable et n'avait pas besoin de l'aide de la règle linéaire.

5. Signification et Conclusion

Ce travail démontre que l'apprentissage par renforcement peut compléter efficacement les contrôleurs géométriques classiques sans sacrifier leur interprétabilité ou leur faible coût de calcul.

Robustesse : La méthode réduit le besoin de réglage manuel pour chaque nouvelle piste ou profil de vitesse.
Efficacité : Elle offre des performances supérieures à un contrôleur MPC complexe dans ce contexte spécifique, tout en étant plus légère en termes de calcul.
Transférabilité : La capacité à transférer une politique entraînée en simulation vers un véhicule réel sans réajustement (zero-shot) est une avancée significative pour l'automatisation en course.

En résumé, l'article propose une solution pragmatique où l'IA ne remplace pas le contrôleur, mais optimise intelligemment ses paramètres critiques, combinant ainsi le meilleur des deux mondes : la stabilité des méthodes géométriques et l'adaptabilité de l'apprentissage profond.