Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment

Dit onderzoek presenteert de implementatie en evaluatie van een verbeterde Deep Q-Learning-architectuur voor een zelfrijdende auto op een 2D-spoor, waarbij een aangepast model met prioriteitsgebaseerde actiekeuze een gemiddelde beloning van ongeveer 40 bereikte, wat 60% hoger is dan het originele DQN.

De kern

De Slimme Auto die Leerde Rijden: Een Verhaal over AI en een Virtuele Campus

Stel je voor dat je een peuter bent die voor het eerst op een fiets zit. Je hebt geen rijbewijs, geen instructieboekje en je weet niet hoe je moet sturen. Je probeert gewoon: links, rechts, rechtuit. Soms val je, soms rijd je een stukje. Na veel vallen en opstaan leer je uiteindelijk hoe je de weg kunt houden zonder te crashen.

Dit is precies wat de onderzoekers Sagar Pathak en Bidhya Shrestha van de Universiteit van Memphis hebben gedaan, maar dan met een kunstmatige intelligentie (AI) in plaats van een peuter. Ze hebben een virtuele zelfrijdende auto getraind om een rondje te rijden op een virtuele versie van hun eigen campus.

Hier is hoe ze dat deden, vertaald in begrijpelijke taal:

1. De Speelplaats: Een Virtuele Campus

In plaats van echte auto's op de echte wegen van Memphis te laten rijden (wat gevaarlijk en duur zou zijn), bouwden ze een videospelletje.

• Het Speelveld: Ze tekenden een kaart die eruitzag als de Universiteit van Memphis.
• De Auto: Een digitaal voertuigje dat alleen maar vooruit kan rijden. Het kan niet remmen of gas geven; het rijdt constant door. De enige keuze die het heeft, is: naar links sturen, naar rechts sturen, of gewoon rechtdoor gaan.
• De Zintuigen: De auto heeft 7 sensoren aan de voorkant, net als de ogen van een insect. Deze sensoren kijken uit naar obstakels. Als een sensor iets te dichtbij voelt, weet de auto: "Oeps, hier moet ik niet naartoe!"

2. De Leraar: Reinforcement Learning (Belonen en Straffen)

Hoe leer je die auto? Je schrijft geen ingewikkelde regels op (zoals "draai links bij de boom"). In plaats daarvan gebruiken ze een methode die Reinforcement Learning heet.

Stel je voor dat je een hond traint:

• Als de hond een trucje doet, krijg je een beloning (een snoepje).
• Als de hond iets verkeerd doet, krijg je een straf (geen snoepje, of een "nee").

In dit spelletje werkt het zo:

• Beloning (+5 punten): De auto rijdt veilig en raakt niets.
• Straf (-20 punten): De auto botst tegen de muur of de weg.
• Doel: De auto moet zoveel mogelijk punten verzamelen door zo lang mogelijk te rijden zonder te crashen.

3. De Brein-Techniek: DQN (Deep Q-Learning Network)

De auto heeft een "brein" nodig om te leren. Dit brein heet een Deep Q-Learning Network (DQN).

• Hoe het werkt: Het brein is een soort super-rekenmachine (een neurale netwerk). Het kijkt naar de 7 sensoren (de zintuigen) en denkt: "Als ik nu links draai, krijg ik waarschijnlijk punten. Als ik rechts draai, krijg ik een straf."
• Probeer en Fout: Aan het begin rijdt de auto volledig willekeurig, alsof hij blind is. Hij crasht vaak. Maar elke keer dat hij crasht of een stukje rijdt, onthoudt hij die ervaring. Na duizenden pogingen (episodes) begint hij patronen te zien: "Ah, als de linker sensor dichtbij is, moet ik rechts sturen!"

4. De Verbetering: De "Slimme" Versie

De onderzoekers merkten dat de standaard DQN soms vastliep of niet snel genoeg leerde. Dus bedachten ze een verbeterde versie (de "Modified DQN").

Stel je voor dat de standaard auto soms twijfelt: "Moet ik links of rechts?" en dan de verkeerde keuze maakt.
De verbeterde auto heeft een extra regel:

• Als de sensor aan de linkerkant dichtbij is, moet hij naar rechts sturen.
• Als de sensor aan de rechterkant dichtbij is, moet hij naar links sturen.

Dit is als het geven van een extra hint aan de leerling tijdens het examen. Hierdoor leerde de auto veel sneller en werd hij veel beter in het rijden.

5. De Resultaten: Wie won het?

Ze lieten drie verschillende "auto's" tegen elkaar racen:

1. De Originele DQN: Leerde langzaam en kreeg gemiddeld 25 punten.
2. De Simpele Neural Network: Een iets eenvoudiger brein, kreeg ongeveer 23 punten.
3. De Verbeterde DQN (Met de extra hint): Deze won met overmacht! Hij kreeg gemiddeld 40 punten.

Dat betekent dat de verbeterde auto 60% beter presteerde dan de originele versie. Hij kon het hele rondje op de virtuele campus rijden zonder te crashen, terwijl de andere versies vaak vastliepen of botsten.

Conclusie

Kortom: De onderzoekers hebben bewezen dat je een computer kunt leren rijden door het duizenden keren te laten oefenen in een veilige, virtuele wereld. Door een kleine slimme aanpassing te maken in hoe de auto keuzes maakt, werd hij veel beter.

Wat betekent dit voor de toekomst?
Hoewel dit nu nog maar een spelletje is op een computer, is het een stap in de richting van echte zelfrijdende auto's. In de toekomst hopen ze dit te koppelen aan echte verkeerssimulaties (zoals SUMO) en misschien zelfs meerdere auto's tegelijk te laten rijden. Het is een bewijs dat AI, net als een kind, kan leren door te proberen, te vallen en uiteindelijk te slagen.

Technische samenvatting

Titel: Verbeterde Deep Q-Learning voor 2D Zelfrijdende Auto's: Implementatie en Evaluatie op een Aangepast Track-milieu

1. Probleemstelling

Het trainen van autonome voertuigen in de echte wereld is kostbaar, tijdrovend en gevaarlijk vanwege het risico op crashes. Bovendien vereist toezichtleren (supervised learning) enorme hoeveelheden real-world data, wat vaak niet haalbaar is in dynamische omgevingen. De uitdaging ligt in het ontwikkelen van een agent die effectief kan navigeren in een onvoorspelbare omgeving zonder menselijke tussenkomst, waarbij de agent moet leren om obstakels te vermijden, op koers te blijven en een bestemming te bereiken. Traditionele Q-learning faalt vaak bij grote state-ruimtes omdat het de Q-waarden voor elke mogelijke staat en actie moet opslaan, wat onpraktisch is voor complexe scenario's zoals zelfrijden.

2. Methodologie

De auteurs hebben een simulatieomgeving ontwikkeld en een Deep Q-Learning Network (DQN) geïmplementeerd met een aangepast mechanisme voor actiekeuze.

• Simulatieomgeving (PyGame):

  • Een aangepaste 2D-raceomgeving is gebouwd met Python en PyGame, gebaseerd op een kaart van de Universiteit van Memphis.
  • Voertuig: De auto beweegt met een constante snelheid. De besturing is beperkt tot drie discrete acties: links sturen, rechts sturen, of rechtdoor gaan ("do nothing"). Versnelling en remmen zijn verwijderd om de actie-ruimte te vereenvoudigen en het leren te stabiliseren.
  • Sensoren: De auto is uitgerust met 7 sensoren die vooruit wijzen, met een onderlinge hoek van 20 graden. Deze sensoren meten de afstand tot de obstakels (de rand van het circuit). De waarden worden genormaliseerd (0 tot 1) en vormen de input voor het model.
  • Beloningssysteem (Reward Function):
    • +5 punten als er geen botsing plaatsvindt.
    • -20 punten bij een botsing met een obstakel.
    • Het doel is het maximaliseren van de cumulatieve beloning.

• Model Architectuur (DQN):

  • Het model gebruikt een Deep Neural Network (DNN) om de Q-waarden te benaderen.
  • Architectuur: 3 dense lagen met respectievelijk 64, 64 en 3 neuronen (voor de 3 mogelijke acties). De input is een vector van 7 sensormetingen.
  • Technieken: Gebruik van een Replay Buffer (om ervaringen op te slaan), een Target Network (voor stabiliteit), en een Epsilon-greedy strategie voor exploratie vs. exploitatie.
  • Hyperparameters: Discount factor (γ) = 0.99, Epsilon start = 0.99, Min Epsilon = 0.001, Batch size = 128.

• Verbetering: Prioriteitsgebaseerde Actiekeuze:

  • De kerninnovatie is een "Modified DQN". Naast de standaard Q-waarden uit het netwerk, wordt een prioriteitsfactor toegepast tijdens de exploitatiefase.
  • Als de linker-sensordata groter is (meer ruimte links), wordt de kans op links sturen geprioriteerd. Als de rechter-sensordata groter is, wordt rechts sturen geprioriteerd. Als beide gelijk zijn, gaat de auto rechtdoor. Dit helpt de agent om sneller en preciezer te navigeren in scherpe bochten.

3. Belangrijkste Bijdragen

1. Aangepaste Simulatie: Ontwikkeling van een lichtgewicht simulatieomgeving met PyGame die specifiek is ontworpen voor het trainen van RL-agenten op een kaart van de Universiteit van Memphis.
2. Hybride Actiestrategie: Implementatie van een "Modified DQN" die de standaard Q-learning combineert met een regelgebaseerde prioriteitslogica op basis van sensordata. Dit lost het probleem op dat standaard DQN-agenten soms vastlopen in scherpe bochten of te willekeurig handelen.
3. Vergelijkende Analyse: Een uitgebreide vergelijking tussen drie benaderingen:
   • Originele DQN.
   • Vanille Neuraal Netwerk (supervised learning zonder RL-context).
   • De voorgestelde Modified DQN.

4. Resultaten

De experimenten werden uitgevoerd op zowel CPU als GPU hardware. De resultaten tonen een duidelijke superioriteit van de aangepaste methode:

• Gemiddelde Beloning (per episode):

  • Modified DQN: ~40 punten (hoogste prestatie).
  • Vanille Neuraal Netwerk: ~23 punten.
  • Originele DQN: ~25 punten.
  • Conclusie: De Modified DQN presteert ongeveer 60% beter dan de originele DQN en 50% beter dan het vanille neuraal netwerk.

• Trainingstijd:

  • De training van 1000 episodes duurde ongeveer 4 uur op een GPU (MacBook Pro M1), terwijl dit op een CPU ongeveer 12 uur duurde.
  • De originele DQN had moeite om de volledige track te voltooien zonder vast te lopen, terwijl de Modified DQN succesvol een volledige ronde kon rijden.

5. Betekenis en Toekomstperspectief

Het onderzoek demonstreert dat Deep Q-Learning effectief kan worden ingezet voor autonoom rijden in 2D-simulaties, mits de actiekeuze-strategie wordt geoptimaliseerd. De toevoeging van sensor-gebaseerde prioriteit aan de Q-learning logica blijkt cruciaal voor het overwinnen van de beperkingen van pure exploratie in complexe bochten.

Toekomstig werk omvat:

• Het fijnafstemmen van hyperparameters (leerfactor, buffer-grootte).
• Integratie van de SUMO-simulatieomgeving (Simulation of Urban Mobility) voor realistischere verkeersscenario's met meerdere voertuigen.
• Uitbreiding naar 3D-omgevingen en het testen in real-time met GPU-acceleratie.
• Onderzoek naar het hanteren van meerdere auto's tegelijkertijd in de simulatie.

Kortom, dit artikel biedt een solide bewijs dat een combinatie van diep versterkend leren en heuristische prioriteitsregels de prestaties van autonome agents aanzienlijk kan verbeteren in vergelijking met standaard methoden.