Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment

Diese Forschungsarbeit stellt die Implementierung und Evaluierung eines Deep Q-Learning-Netzwerks (DQN) für ein selbstfahrendes Auto auf einer benutzerdefinierten 2D-Strecke vor, wobei eine modifizierte Version mit priorisierter Aktionsauswahl eine durchschnittliche Belohnung von etwa 40 erreicht, was einer Steigerung von rund 60 % gegenüber dem ursprünglichen DQN entspricht.

Das Wesentliche

🚗 Der fliegende Teppich und der lernende Chauffeur

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, ein Auto zu fahren. Aber nicht auf einer echten Straße (das wäre zu gefährlich und teuer), sondern in einem Videospiegel, der wie ein Videospiel aussieht. Genau das haben die Forscher Sagar Pathak und Bidhya Shrestha von der University of Memphis gemacht.

Ihr Ziel war es, einen künstlichen Intelligenz-Agenten (den "Chauffeur") zu trainieren, der eine Strecke auf einer 2D-Karte (ähnlich wie die Umgebung der Universität) perfekt abfährt, ohne gegen die Bordsteine zu krachen.

1. Die "Augen" des Autos: Die 7 Sensoren

Das Auto hat keine Kamera, die ganze Bilder sieht. Stattdessen hat es 7 Laser-Sensoren, die wie die Strahlen einer Taschenlampe nach vorne leuchten.

• Die Analogie: Stellen Sie sich vor, Sie fahren mit geschlossenen Augen, aber Sie strecken 7 lange Stöcke nach vorne. Jeder Stock misst, wie weit er kommen muss, bevor er gegen eine Wand stößt.
• Diese 7 Messwerte sagen dem Computer: "Links ist weit weg, rechts ist ganz nah!" Das ist die einzige Information, die das Auto hat.

2. Der Lehrer und der Schüler: Wie lernt das Auto?

Das Herzstück der Forschung ist eine Technik namens Deep Q-Learning (DQN).

• Die Analogie: Stellen Sie sich einen kleinen Schüler vor, der zum ersten Mal Auto fährt. Er probiert alles aus: Lenkt er links, passiert nichts? Super! (+5 Punkte). Lenkt er zu scharf und kracht gegen die Wand? Ohje! (-20 Punkte).
• Das System ist wie ein Gehirn, das aus Fehlern lernt. Es versucht millionenfach, die beste Kombination aus Lenkbewegungen zu finden, um die meisten Punkte zu sammeln und die Strecke zu überleben.

3. Das Problem: Der "Original"-Schüler war zu stur

Die Forscher haben zuerst einen Standard-Algorithmus (den "Original-DQN") verwendet.

• Das Ergebnis: Der Schüler war etwas verwirrt. Er lernte zwar, aber er war nicht schnell genug und kam oft nicht durch die Kurven. Es war, als würde jemand versuchen, ein Fahrrad zu fahren, indem er ständig die Pedale hin und her bewegt, ohne das Gleichgewicht zu halten.
• Ein einfaches neuronales Netz (ein "Vanilla-Netzwerk") funktionierte besser, aber es brauchte ewig zum Lernen.

4. Die geniale Lösung: Der "Prioritäts-Schalter"

Hier kommt der Clou der Forschung: Die Forscher haben dem Standard-Algorithmus einen intelligenten Assistenten an die Seite gestellt. Sie nannten es "Modified DQN" (Modifiziertes DQN).

• Die Analogie: Stellen Sie sich vor, der Schüler (das KI-Modell) denkt: "Ich sollte links lenken." Aber sein Assistent (der Prioritäts-Schalter) schaut auf die Sensoren und sagt: "Warte! Der linke Sensor zeigt, dass links eine Wand ganz nah ist! Ignoriere deine Idee und lenke stattdessen sofort nach rechts!"
• Dieser Assistent gibt dem Modell einen Bonus, wenn es eine Entscheidung trifft, die die Sensoren als "sicher" bestätigen. Es ist wie ein erfahrener Co-Pilot, der dem Fahranfänger zuruft: "Achtung, hier ist es eng!"

5. Das Ergebnis: Der Gewinner

Am Ende haben sie drei Dinge verglichen:

1. Der Original-DQN: Hatte Mühe, die ganze Strecke zu schaffen.
2. Das einfache Netz: Hatte Erfolg, aber brauchte sehr lange (wie ein Schüler, der sehr langsam lernt).
3. Der Modifizierte DQN (mit dem Co-Piloten): Der große Gewinner!

Die Zahlen:

• Der modifizierte Algorithmus sammelte im Durchschnitt 40 Punkte pro Runde.
• Das war 60 % besser als der Original-DQN und 50 % besser als das einfache Netz.
• Zudem lernte er auf einem starken Computer (GPU) in nur 4 Stunden, was auf einem normalen Laptop 12 Stunden gedauert hätte.

🏁 Fazit in einem Satz

Die Forscher haben bewiesen, dass man einem KI-Auto nicht nur "blindes Lernen" beibringen muss, sondern ihm helfen kann, indem man seine Entscheidungen mit einfachen Regeln (den Sensordaten) kombiniert. Das Ergebnis ist ein autonomes Fahrzeug, das schneller lernt, sicherer fährt und die Strecke wie ein Profi meistert – alles in einer virtuellen Welt, die der echten Universität nachempfunden ist.

Zukunftsvision: In Zukunft wollen sie das System noch weiter verbessern, mehr Autos auf die Straße schicken und echte Verkehrsdaten nutzen, um den "Co-Piloten" noch schlauer zu machen.

Technische Zusammenfassung

Technische Zusammenfassung: Verbessertes Deep Q-Learning für 2D-Selbstfahrende Autos

Titel: Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment
Autoren: Sagar Pathak und Bidhya Shrestha (University of Memphis)
Veröffentlicht in: International Journal of Science and Technology (IJST), April–Juni 2026

---

1. Problemstellung

Das Ziel der Forschung ist die Entwicklung eines autonomen Fahrzeugs, das in einer dynamischen Umgebung navigieren kann, ohne menschliches Eingreifen. Traditionelle regelbasierte Systeme stoßen in komplexen, unvorhersehbaren Szenarien an ihre Grenzen. Reinforcement Learning (RL) bietet einen vielversprechenden Ansatz, doch das Training von Agenten in der realen Welt ist teuer, zeitaufwendig und gefährlich (Unfallrisiko).
Das spezifische Problem dieser Studie besteht darin, einen effizienten Lernalgorithmus zu entwickeln, der ein Fahrzeug auf einer 2D-Spur (basierend auf dem Campus der University of Memphis) navigieren lässt, Kollisionen vermeidet und die Strecke erfolgreich abschließt. Herausforderungen hierbei sind die große Zustandsraumkomplexität und die Notwendigkeit, aus begrenzten Sensordaten optimale Steuerungsentscheidungen zu treffen.

2. Methodik

A. Simulationsumgebung (PyGame)
Die Autoren entwickelten eine benutzerdefinierte 2D-Simulationsumgebung unter Verwendung der Python-Bibliothek PyGame.

• Umgebung: Eine Karte, die den Campus der University of Memphis nachbildet, wobei transparente Bereiche als Fahrbahn und undurchsichtige Bereiche als Hindernisse definiert sind.
• Fahrzeugsteuerung: Das Fahrzeug bewegt sich mit konstanter Geschwindigkeit vorwärts. Die Aktionen sind auf drei diskrete Optionen reduziert: Links lenken, Rechts lenken oder Geradeaus fahren (keine Lenkung). Beschleunigung und Bremsen wurden entfernt, um den Aktionsraum zu vereinfachen und das Training zu stabilisieren.
• Sensorik: Das Fahrzeug ist mit 7 Sensoren ausgestattet, die in einem Winkel von jeweils 20 Grad zueinander nach vorne gerichtet sind. Diese Sensoren messen die Distanz zu Hindernissen (bis zu einer Maximaldistanz von 1000 Einheiten). Die gemessenen Werte werden normalisiert (0 bis 1) und bilden den Eingabevektor (Zustand) für das neuronale Netzwerk.
• Kollisionserkennung: Kollisionen werden durch das Überlappen von Sprite-Objekten (Auto vs. Karte) erkannt.

B. Reward-Funktion (Belohnungsfunktion)
Das Belohnungssystem ist einfach gehalten:

• +5 Punkte: Wenn keine Kollision in einem Schritt auftritt.
• -20 Punkte: Bei einer Kollision mit einem Hindernis.
• Das Ziel ist die Maximierung der kumulativen Belohnung über eine Episode.

C. Algorithmus: Deep Q-Learning (DQN)
Der Kern der Implementierung ist ein Deep Q-Network (DQN), das mit TensorFlow (Sequential Model) realisiert wurde.

• Architektur: Ein neuronales Netzwerk mit 3 dichten (dense) Schichten.
  • Eingabe: 7 Werte (Sensordaten).
  • Versteckte Schichten: 64 Neuronen (Layer 1), 64 Neuronen (Layer 2).
  • Ausgabe: 3 Werte (Q-Werte für die 3 Aktionen).
• Komponenten:
  • Replay Buffer: Speichert Erfahrungen (State, Action, Reward, Next State) für das Training.
  • Target Network: Eine Kopie des Hauptnetzwerks, die periodisch aktualisiert wird, um die Stabilität des Trainings zu erhöhen.
  • Exploration vs. Exploitation: Epsilon-Greedy-Strategie, wobei Epsilon über die Zeit abnimmt.

D. Die modifizierte Variante (Priority-Based Action Selection)
Ein zentraler Beitrag der Arbeit ist die Einführung einer prioritätsbasierten Aktionsauswahl für den "Modified DQN".

• Während der Exploitation-Phase wird der Q-Wert des Modells nicht direkt als einzige Entscheidungsgrundlage genutzt.
• Stattdessen wird eine Heuristik angewendet: Wenn der linke Sensor einen größeren Abstand (bessere Sicht) anzeigt als der rechte, wird die Wahrscheinlichkeit für eine Links-Lenkung priorisiert (und umgekehrt).
• Dies dient dazu, das Fahrzeug intuitiver auf die Spur zu lenken und die Lernkurve zu beschleunigen.

3. Ergebnisse

Die Experimente wurden auf zwei Hardware-Plattformen durchgeführt (Lenovo Thinkpad E14 mit CPU und MacBook Pro M1 mit GPU). Das Training umfasste 1000 Episoden.

• Original DQN: Das Standard-DQN konnte die Strecke nicht erfolgreich abschließen. Das Fahrzeug lernte nicht effizient genug, um komplexe Kurven zu meistern, und blieb oft stecken oder kollidierte.
• Vanilla Neural Network (NN): Ein einfaches neuronales Netzwerk ohne DQN-Mechanismen (Replay Buffer, Target Network) zeigte bessere Ergebnisse als das Original-DQN, benötigte jedoch mehr Zeit zum Lernen.
• Modified DQN (mit Priority-Algorithmus): Dies war das erfolgreichste Modell.
  • Durchschnittliche Belohnung: Ca. 40 Punkte pro Episode.
  • Vergleich: Dies entspricht einer Steigerung von ca. 60 % gegenüber dem Original-DQN (ca. 25 Punkte) und ca. 50 % gegenüber dem Vanilla NN (ca. 23 Punkte).
  • Das Fahrzeug konnte die gesamte Strecke erfolgreich und stabil zurücklegen.
• Trainingszeit: Die Nutzung einer GPU (MacBook M1) reduzierte die Trainingszeit für 1000 Episoden von ca. 12 Stunden (CPU) auf ca. 4 Stunden.

4. Hauptbeiträge

1. Entwicklung einer maßgeschneiderten 2D-Simulationsumgebung: Erstellung einer realistischen Spur basierend auf der University of Memphis mit integrierter Sensorik und Kollisionslogik in PyGame.
2. Implementierung und Evaluation von DQN: Erfolgreiche Anwendung von Deep Q-Learning auf ein autonomes Fahrproblem mit diskreten Aktionen.
3. Innovation durch Prioritäts-Algorithmus: Die Einführung eines hybriden Ansatzes, der die Q-Learning-Ausgaben mit einer sensorbasierten Heuristik (Priorisierung der Lenkung basierend auf Sensordistanzen) kombiniert. Dies überwand die Schwächen des reinen DQN in diesem spezifischen Szenario.
4. Hardware-Vergleich: Demonstration des signifikanten Geschwindigkeitsvorteils von GPU-basiertem Training gegenüber CPU-only-Systemen für RL-Aufgaben.

5. Bedeutung und Ausblick

Die Studie belegt, dass Deep Reinforcement Learning effektiv für die Steuerung von Fahrzeugen in simulierten Umgebungen eingesetzt werden kann, jedoch stark von der Wahl des Aktionsmechanismus abhängt. Die Kombination aus DQN und einer sensorbasierten Prioritätslogik erwies sich als entscheidend für die Stabilität und den Erfolg des Agenten.

Zukünftige Arbeiten:

• Feinabstimmung der Hyperparameter (Lernrate, Batch-Größe, Netzwerkarchitektur).
• Integration des SUMO-Frameworks (Simulation of Urban Mobility) für realistischere Verkehrsszenarien mit mehreren Fahrzeugen.
• Erweiterung auf 3D-Umgebungen und komplexere Zustandsräume.
• Übertragung des Ansatzes auf reale Fahrzeugdaten oder fortschrittlichere Sensoren (z. B. Lidar/Kamera).

Fazit: Die Forschung liefert einen erfolgreichen Proof-of-Concept, dass modifizierte DQN-Ansätze in Kombination mit einfacher Sensorik robuste autonome Fahrstrategien in 2D-Umgebungen erlernen können, wobei die vorgeschlagene "Priority-Based"-Methode eine signifikante Leistungssteigerung gegenüber Standardimplementierungen darstellt.