Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

1. Problématique

Le Pure Pursuit (PP) est un algorithme de suivi de trajectoire largement utilisé en robotique mobile et en course autonome en raison de sa simplicité conceptuelle et de sa faible charge computationnelle. Cependant, son efficacité dépend fortement du choix d'un paramètre critique : la distance de regard (lookahead distance, notée $L_d$).

• Une distance courte améliore la réactivité dans les virages mais provoque souvent des oscillations et une instabilité sur les lignes droites.
• Une distance longue assure une trajectoire plus lisse et stable sur les lignes droites, mais entraîne un sous-virage (coupe de virages) et une perte de précision dans les courbes serrées.

Les approches classiques utilisent une distance fixe ou des règles heuristiques manuelles (basées sur la vitesse ou la courbure) qui nécessitent un réglage (tuning) spécifique pour chaque circuit et chaque profil de vitesse. Cela limite la robustesse et la capacité d'adaptation aux conditions changeantes ou aux nouveaux circuits (zero-shot).

2. Méthodologie Proposée

Les auteurs proposent un cadre de contrôle hybride qui intègre l'Apprentissage par Renforcement (RL) pour ajuster dynamiquement la distance de regard du contrôleur Pure Pursuit, sans remplacer le contrôleur géométrique sous-jacent.

Architecture du Système

• Approche Hybride : Au lieu d'apprendre une politique de contrôle de bout en bout (qui serait peu interprétable), le système utilise un agent RL pour optimiser uniquement le paramètre $L_d$ du contrôleur Pure Pursuit. Cela préserve la stabilité et l'interprétabilité du contrôle géométrique classique.
• Algorithme d'Apprentissage : Utilisation de PPO (Proximal Policy Optimization) via la bibliothèque Stable-Baselines3.
• Environnement d'Entraînement : Simulation dans l'environnement F1TENTH Gym (Roboracer), avec une boucle de rétroaction fermée via ROS2.

Composants Clés

1. Observation (État) : L'agent observe un vecteur d'état de 5 dimensions :
   • La vitesse du véhicule ($v_t$).
   • Trois valeurs de courbure de la trajectoire de référence à différents horizons ($\kappa_0, \kappa_1, \kappa_2$).
   • La variation de courbure ($\Delta\kappa$).
2. Action : L'agent prédit une distance de regard continue $L_d$ dans la plage $[0.35, 4.0]$ mètres. Une filtration par lissage exponentiel est appliquée pour réduire le bruit (jitter).
3. Fonction de Récompense : Conçue pour équilibrer la vitesse, la douceur, la minimisation de la courbure, l'évitement de collisions (via LiDAR) et le progrès sur la trajectoire. Elle inclut une pénalité pour les écarts par rapport à une distance de regard heuristique idéale (pour stabiliser l'entraînement) et des pénalités pour les collisions ou les arrêts.
4. Génération de Trajectoire : Une trajectoire de référence globale est générée offline en minimisant la courbure intégrée (méthode minimum-curvature) et en calculant un profil de vitesse maximal basé sur les contraintes d'adhérence.
5. Stabilisation de l'Entraînement : Utilisation de pénalités de divergence KL, d'un déclin du taux d'apprentissage (learning-rate decay) et d'optimisation des hyperparamètres via Optuna.

3. Contributions Principales

• Contrôleur Augmenté par RL : Introduction d'une politique de réglage dynamique de la distance de regard pour le Pure Pursuit, apprise via PPO.
• Adaptabilité Contextuelle : La politique apprend à mapper la vitesse et les caractéristiques de courbure multi-horizons vers une distance de regard optimale, dépassant les règles heuristiques fixes.
• Interprétabilité et Modularité : En ne modifiant qu'un seul paramètre interprétable ($L_d$), la méthode reste compatible avec les piles logicielles ROS2 modulaires et conserve la structure du contrôleur géométrique.
• Validation Sim-to-Real : Démonstration du transfert de la politique apprise en simulation vers un véhicule réel (échelle 1:10) sans réajustement (zero-shot).

4. Résultats Expérimentaux

Les expériences comparent trois contrôleurs :

1. Pure Pursuit à distance fixe (Fixed-L PP).
2. Pure Pursuit adaptatif heuristique (basé sur des règles de vitesse).
3. Pure Pursuit Dynamique (RL) (Proposé).

Performance sur Circuits Inconnus (Zero-Shot)

Le modèle a été entraîné sur le circuit Austin et testé sans réajustement sur les circuits Montreal et Yas Marina, avec des profils de vitesse accélérés.

• Circuit Montreal :
  • RL PP : Temps moyen de 33,16 s (sur 10 tours) avec un profil de vitesse +13% par rapport à la base.
  • Adaptive PP : 34,15 s (profil +10%).
  • Fixed-L PP : 41,36 s (nécessite un profil réduit de -10% pour être stable).
• Circuit Yas Marina :
  • RL PP : Temps moyen de 46,05 s (profil +15%).
  • Adaptive PP : 46,79 s (profil +14%).
  • Fixed-L PP : 52,81 s (profil d'origine, échec sur le profil accéléré).

Analyse : La méthode RL tolère des profils de vitesse plus agressifs et réalise les meilleurs temps de tour, démontrant une meilleure robustesse aux changements de géométrie du circuit.

Validation sur Véhicule Réel (Sim-to-Real)

• Sur un véhicule Roboracer 1:10 réel, le contrôleur RL a complété 10/10 tours avec un temps moyen de 11,13 s (profil de vitesse limité à 5 m/s).
• Le contrôleur à distance fixe a échoué à compléter des tours répétés de manière fiable dans les mêmes conditions.
• Cela confirme la capacité de la politique apprise à se transférer efficacement de la simulation au matériel réel.

5. Signification et Conclusion

Ce travail démontre qu'il est possible de combiner la flexibilité de l'apprentissage par renforcement profond avec la fiabilité et la transparence du contrôle géométrique classique.

• Impact : La méthode réduit considérablement le besoin de réglage manuel (retuning) pour chaque nouveau circuit ou changement de conditions, tout en améliorant les performances (temps de tour) et la sécurité (stabilité).
• Perspective : L'approche ouvre la voie à des stratégies de contrôle plus intelligentes et adaptatives en robotique, où l'IA gère les paramètres d'adaptation de haut niveau, laissant au contrôleur classique la tâche de l'exécution précise et sûre.

En résumé, cette étude valide que l'ajustement dynamique d'un seul paramètre interprétable via le RL peut transformer un contrôleur géométrique simple en un système de course autonome performant et robuste.