Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment

Ce projet présente la mise en œuvre et l'évaluation d'un réseau d'apprentissage par renforcement profond (DQN) amélioré pour une voiture autonome en 2D sur un circuit personnalisé, démontrant que l'ajout d'un mécanisme de sélection d'actions prioritaire augmente le rendement moyen de l'agent d'environ 60 % par rapport au DQN standard.

L'essentiel

🚗 Le Grand Défi : Apprendre à une voiture à conduire seule (sans chauffeur !)

Imaginez que vous voulez apprendre à un robot à conduire une voiture dans une ville imaginaire, mais sans jamais lui donner de règles précises comme « tourne à gauche au feu rouge ». Au lieu de cela, vous le laissez essayer, se tromper, et apprendre de ses erreurs. C'est exactement ce que Sagar et Bidhya ont fait dans leur article.

Ils ont créé un jeu vidéo (un simulateur) où une petite voiture doit rouler sur une piste dessinée autour de l'Université de Memphis. Le but ? Faire le tour complet sans jamais sortir de la route.

🧠 Comment la voiture apprend-elle ? (La méthode du « Goûter et Recracher »)

Pour apprendre, la voiture utilise une technique intelligente appelée Apprentissage par Renforcement. Voici l'analogie :

• Le Robot (l'Agent) : C'est la voiture. Elle a 7 « yeux » (des capteurs) devant elle qui mesurent la distance jusqu'aux murs ou aux obstacles.
• Le Maître (l'Environnement) : C'est la piste du jeu.
• La Récompense (Le Bonbon) : Si la voiture reste sur la route, elle reçoit un petit bonbon (+5 points).
• La Punition (Le Pincement) : Si elle percute un mur, elle reçoit une grosse pichenette (-20 points) et la partie recommence.

Au début, la voiture conduit comme un bébé qui tient son premier vélo : elle tourne au hasard, percute tout et s'arrête. Mais à force d'essais et d'erreurs, elle commence à comprendre : « Ah, quand je vois un mur à gauche, je dois tourner à droite pour avoir des bonbons ! »

🤖 Les Trois Équipes de Course

Les chercheurs ont testé trois méthodes différentes pour voir laquelle apprenait le mieux :

1. Le Débutant (Réseau de Neurones Classique) : C'est comme un élève qui apprend par cœur. Il essaie de retenir les bons coups, mais c'est lent et un peu brouillon. Il finit par réussir, mais il met beaucoup de temps.
2. L'Expert (DQN - Deep Q-Learning) : C'est un élève très intelligent qui utilise un cerveau artificiel complexe. Il est capable de prédire l'avenir. Cependant, dans cette expérience, il a eu du mal. Il était parfois trop « gourmand » et prenait des risques inutiles, comme un joueur de poker qui mise tout sur un coup douteux. Il n'arrivait pas toujours à finir la course.
3. Le Super-Héros (DQN Modifié) : C'est ici que la magie opère ! Les chercheurs ont donné un petit coup de pouce à l'expert. Ils ont ajouté une règle de priorité.
   • L'analogie : Imaginez que le robot a un assistant qui lui chuchote à l'oreille : « Hé, ton capteur de gauche voit un mur tout près ! Tourne à droite tout de suite ! »
   • Cette petite aide a transformé le robot. Il est devenu beaucoup plus prudent et efficace.

🏆 Les Résultats : Qui a gagné ?

Après avoir laissé les robots s'entraîner pendant 1000 courses (épisodes) :

• Le DQN Modifié (Le Super-Héros) : Il a gagné le championnat ! Il a obtenu une moyenne de 40 points par course. C'est environ 60% de mieux que le DQN normal et 50% de mieux que le débutant. Il a réussi à faire le tour complet de la piste sans se crasher.
• Le DQN Normal : Il a obtenu environ 25 points. Il a eu du mal à finir le parcours.
• Le Débutant : Il a obtenu 23 points.

⚡ Le Secret de la Vitesse : L'Ordinateur de Jeu

Il y a aussi un détail amusant sur la vitesse d'apprentissage.

• Sur un ordinateur normal (le CPU), il fallait 12 heures pour entraîner le robot. C'est comme attendre que votre pain lève toute la nuit.
• Sur un ordinateur puissant avec une carte graphique de jeu (le GPU), cela ne prenait que 4 heures. C'est comme si on avait un four à micro-ondes magique pour cuire le pain !

🔮 Et pour la suite ?

Les chercheurs sont satisfaits, mais ils ont encore des rêves :

• Ils veulent affiner les réglages de leur robot pour qu'il soit encore plus rapide.
• Ils aimeraient utiliser un simulateur de trafic réel (SUMO) pour voir comment leur voiture réagirait dans une vraie ville avec d'autres voitures, des piétons et des feux de circulation.
• L'objectif final ? Passer du jeu vidéo à la vraie route (un jour !).

En résumé : Cette étude montre que pour apprendre à une voiture autonome à conduire, il ne suffit pas de lui donner un cerveau puissant. Il faut aussi lui donner de bons conseils (la priorité des capteurs) pour l'aider à ne pas faire de bêtises. C'est une victoire pour l'intelligence artificielle ! 🚗💨

Résumé technique

1. Problématique et Contexte

La recherche aborde le défi de la formation d'agents d'intelligence artificielle pour la conduite autonome dans des environnements dynamiques. Bien que l'apprentissage par renforcement (RL) soit prometteur, les méthodes traditionnelles comme l'apprentissage Q standard (Q-learning) échouent face aux grands espaces d'états inhérents à la conduite réelle, car elles nécessitent une mémoire excessive et ne peuvent pas généraliser à des états inconnus.

De plus, l'entraînement de véhicules autonomes dans le monde réel est coûteux en temps et dangereux en raison des risques de collision. Les auteurs soulignent la nécessité d'un simulateur robuste pour entraîner des agents capables de naviguer sans intervention humaine, en se concentrant sur les principes fondamentaux de la conduite autonome plutôt que sur des systèmes basés sur des règles préprogrammées.

2. Méthodologie

Environnement de Simulation

• Plateforme : Les auteurs ont développé un environnement personnalisé en Pygame.
• Carte : Une piste 2D a été conçue manuellement pour imiter la carte de l'Université du Memphis (extraite d'OpenStreetMap).
• Agent (Voiture) : Le véhicule est représenté par un sprite. Pour simplifier l'espace d'action, la vitesse est constante (pas d'accélération ni de freinage).
• Capteurs : La voiture est équipée de 7 capteurs (représentés par des lignes) placés à l'avant, espacés de 20 degrés les uns des autres. Ces capteurs mesurent la distance entre la voiture et les obstacles (bords de la piste). Les valeurs sont normalisées (divisées par 1000) pour servir d'état d'observation.
• Espace d'actions : Trois actions discrètes sont disponibles :
  1. Tourner à gauche.
  2. Tourner à droite.
  3. Ne rien faire (continuer tout droit).

Architecture et Algorithmes

L'étude compare trois approches :

1. Réseau de Neurones Classique (Vanilla NN) : Une approche de base sans mécanisme d'apprentissage par renforcement avancé.
2. Deep Q-Learning (DQN) Standard :
   • Utilise un réseau de neurones profond (TensorFlow) pour approximer la fonction Q.
   • Comprend un Replay Buffer (mémoire de expérience), un Target Network (réseau cible) et un réseau principal.
   • Stratégie d'exploration : Epsilon-greedy (décroissance progressive de l'epsilon).
   • Fonction de récompense : +5 si aucune collision, -20 en cas de collision.
3. DQN Modifié (Proposition des auteurs) :
   • Intègre un mécanisme de sélection d'actions prioritaire basé sur les données des capteurs.
   • Logique de priorité : Si le capteur gauche détecte une distance plus grande (plus d'espace), l'action "tourner à gauche" est priorisée. Inversement pour la droite. Si les deux côtés sont égaux, la voiture va tout droit.
   • Cette modification vise à guider l'agent vers des trajectoires plus sûres en exploitant les informations sensorielles brutes en plus de la prédiction du réseau.

Hyperparamètres

• Réseau : 3 couches denses (Entrée: 7, Couches cachées: 64/64, Sortie: 3).
• Facteur d'actualisation (Gamma) : 0.99.
• Taille du Replay Memory : 3000.
• Taille du Mini-batch : 128.
• Durée d'entraînement : 1000 épisodes.

3. Contributions Clés

• Développement d'un simulateur personnalisé : Création d'un environnement de conduite 2D basé sur une carte réelle (Université du Memphis) utilisant Pygame, avec une détection de collision basée sur les sprites.
• Amélioration du DQN : Introduction d'un mécanisme hybride combinant la prédiction du DQN avec une sélection d'actions basée sur la priorité des capteurs. Cette approche permet de corriger les décisions potentiellement erronées du réseau neuronal en favorisant les directions où l'espace est plus grand.
• Évaluation comparative : Analyse rigoureuse comparant le DQN standard, un réseau de neurones simple et le DQN modifié sur des métriques de récompense et de temps d'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur des machines équipées de CPU (Lenovo Thinkpad) et de GPU (Macbook Pro M1).

• Performance du DQN Standard : L'agent DQN original a eu du mal à apprendre efficacement, échouant souvent à compléter le parcours. Le temps d'entraînement sur CPU était long (environ 12 heures pour 1000 épisodes).
• Performance du Réseau de Neurones Classique : A réussi à compléter le tour, mais avec un temps d'apprentissage plus long et une récompense moyenne plus faible.
• Performance du DQN Modifié :
  • Récompense Moyenne : Environ 40, ce qui représente une augmentation d'environ 60 % par rapport au DQN original (25) et 50 % par rapport au réseau de neurones classique (23).
  • Temps d'entraînement : Avec l'utilisation d'un GPU, le temps d'entraînement a été réduit à 4 heures pour 1000 épisodes (contre 12 heures sur CPU).
  • Stabilité : L'agent modifié a réussi à effectuer des tours complets de la piste de manière cohérente, évitant efficacement les collisions.

5. Signification et Conclusion

Cette étude démontre que l'intégration de mécanismes de priorisation basés sur les capteurs physiques peut considérablement améliorer la performance des algorithmes d'apprentissage par renforcement profond dans des tâches de contrôle de véhicules.

• Efficacité : La méthode proposée surpasse les approches standard (DQN pur) et les réseaux de neurones simples, prouvant que l'hybridation de règles heuristiques simples (priorité des capteurs) avec l'apprentissage profond accélère la convergence et améliore la sécurité de l'agent.
• Faisabilité : L'utilisation de simulateurs légers (Pygame) couplée à des GPU permet un entraînement rapide et peu coûteux, rendant la recherche sur la conduite autonome plus accessible.
• Perspectives Futures : Les auteurs suggèrent d'optimiser davantage les hyperparamètres, d'intégrer le framework SUMO pour simuler le trafic multi-véhicules (actuellement limité par la complexité et le temps), et d'étendre l'approche à des environnements 3D ou à des scénarios avec plusieurs véhicules.

En résumé, ce travail valide l'efficacité d'une approche DQN améliorée pour la navigation autonome en 2D, offrant une base solide pour des recherches futures sur la complexité accrue du trafic urbain.