⚡ electrical engineering

Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

Dieses Paper schlägt ein integriertes Steuerungsframework für vernetzte und automatisierte Fahrzeuge vor, das ein parametrisiertes Deep Q-Network mit einem hybriden Aktionsraum nutzt, um gleichzeitig diskrete Fahrspurwechselentscheidungen und kontinuierliche Beschleunigung zu optimieren und dadurch herkömmliche getrennte Steuerungsmethoden in Bezug auf Sicherheit und Komfort zu übertreffen.

Ursprüngliche Autoren: Hao Zhang, Zihao Li, Yang Zhou

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Zhang, Zihao Li, Yang Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren ein Auto, das nicht nur die Verkehrsregeln befolgt, sondern auch darüber nachdenkt, wie es besser, sicherer und geschmeidiger fahren kann. Diese Arbeit präsentiert ein neues „Gehirn“ für selbstfahrende Autos, das ein spezifisches Problem löst: wie man entscheidet, wann man die Spur wechselt und wie man gleichzeitig beschleunigt oder abbremst.

Hier ist die Aufschlüsselung der Ideen der Arbeit unter Verwendung einfacher Analogien:

Das Problem: Der „Zwei-Köpfige“ Fahrer

Traditionell wurden selbstfahrende Autos darauf trainiert, zwei Aufgaben separat zu bewältigen, wie ein Fahrer mit zwei verschiedenen Gehirnen:

Gehirn A (Spurwechsel): Entscheidet, wann man die Spur wechselt. Es betrachtet den Verkehr und sagt: „Okay, ich wechsle nach links.“
Gehirn B (Fahren hinter einem Fahrzeug): Entscheidet, wie schnell man fährt. Es sagt: „Ich muss beschleunigen, um diese Lücke zu nutzen“ oder „Ich muss bremsen, um sicher zu bleiben.“

Der Fehler: Diese beiden Gehirne kommunizieren oft nicht miteinander.

Das Beispiel aus der Arbeit: Stellen Sie sich vor, Sie möchten auf die linke Spur wechseln. Es gibt eine Lücke zwischen zwei Autos, aber sie ist etwas eng.
- Der alte Weg: Gehirn A sieht, dass die Lücke gerade zu klein ist, und sagt: „Nein, nicht bewegen.“ Gehirn B fährt einfach mit der aktuellen Geschwindigkeit weiter. Sie verpassen die Gelegenheit zum Spurwechsel, weil Sie nicht beschleunigt haben, um in die Lücke zu passen.
- Die reale Welt: Ein menschlicher Fahrer würde denken: „Ich werde für einen Moment Gas geben, um mich in diese Lücke zu quetschen, und dann rüberziehen.“

Die Arbeit argumentiert, dass diese beiden Entscheidungen (Spurwechsel und Geschwindigkeitsanpassung) miteinander verknüpft sind. Man kann keine gute Entscheidung für einen Spurwechsel treffen, ohne zu wissen, wie man seine Geschwindigkeit anpasst, um dies zu ermöglichen.

Die Lösung: Das „Parametrisierte Deep Q-Network“ (P-DQN)

Die Autoren haben ein neues KI-System namens P-DQN entwickelt. Betrachten Sie dies als einen Meisterkoch, der eine Küche mit zwei Arten von Zutaten verwaltet:

Diskrete Zutaten (Die „Ja/Nein“-Entscheidungen): Wie die Entscheidung, in welche Spur man wechseln möchte (Links, Bleiben oder Rechts). Dies ist eine klare, eindeutige Wahl.
Kontinuierliche Zutaten (Die „Wie viel viel“-Entscheidungen): Wie die Entscheidung, genau wie viel man das Gas- oder Bremspedal drückt. Dies ist eine sanfte, gleitende Skala, nicht nur „an“ oder „aus“.

Die meisten alten KI-Systeme hatten Schwierigkeiten, diese beiden zu mischen. Sie versuchten, das sanfte „Gaspedal“ in eine Liste fester Tasten umzuwandeln (z. B. „10 % drücken“, „20 % drücken“), was klobig und ineffizient ist.

Wie P-DQN funktioniert:

Der Manager auf hoher Ebene (Der diskrete Teil): Dieser Teil der KI betrachtet den Verkehr und entscheidet: „Wir werden auf die linke Spur wechseln.“
Der Arbeiter auf niedriger Ebene (Der kontinuierliche Teil): Sobald die Entscheidung getroffen wurde, berechnet dieser Teil sofort, wie viel Beschleunigung nötig ist, um diesen Wechsel sicher und reibungslos durchzuführen.
Die Magie: Der Manager und der Arbeiter sprechen sofort miteinander. Wenn der Manager sagt „Links wechseln“, berechnet der Arbeiter sofort: „Okay, ich muss mich um 2 Meter pro Sekunde beschleunigen, um in diese Lücke zu passen.“

Wie es gelernt hat (Das „Belohnungssystem“)

Die KI lernte durch Versuch und Irrtum, ähnlich wie man einen Hund mit Leckerlis trainiert. Die Forscher gaben der KI eine „Bewertungskarte“ (Belohnungsfunktion) mit vier Hauptzielen:

Sicherheit (Die große Strafe): Wenn man ein Auto oder eine Wand rammt, erhält man einen sehr hohen negativen Wert.
Dem Anführer folgen: Wenn man in einem komfortablen Abstand hinter dem Auto vor einem bleibt, erhält man Punkte.
In der Spur bleiben: Wenn man in der Mitte seiner Spur fährt, ohne zu schwanken, erhält man Punkte.
Auf die richtige Spur gelangen: Wenn man erfolgreich auf eine schnellere Spur wechselt, um schneller zu fahren, erhält man Punkte.

Die KI absolvierte tausende virtuelle Fahrsimulationen und versuchte, die höchste Gesamtpunktzahl zu erreichen. Mit der Zeit lernte sie, dass es manchmal die beste Methode ist, die „Spurwechsel“-Punkte zu erhalten, indem man zuerst beschleunigt (die „Fahren hinter einem Fahrzeug“-Aktion), um eine sichere Lücke zu schaffen.

Die Ergebnisse: Die neue KI vs. die alten Regeln

Die Forscher testeten ihre neue KI gegen ein Standard-Regelsystem (genannt MOBIL + IDM), was wie ein Auto ist, das einer strengen Bedienungsanleitung folgt.

Komfort: Die neue KI fuhr viel geschmeidiger. Sie bewegte das Auto nicht so ruckartig, da sie die Geschwindigkeitsänderungen vor dem Spurwechsel plante.
Sicherheit: Die neue KI war viel sicherer. Sie hielt einen besseren Abstand zu anderen Autos. Das alte System kam manchmal zu nah an andere Fahrzeuge heran, weil es seine Geschwindigkeit nicht mit dem Spurwechsel koordinierte.
Effizienz: Die neue KI konnte Spurwechsel in Situationen erfolgreich durchführen, in denen das alte System einfach aufgegeben hätte und auf der langsamen Spur steckengeblieben wäre.

Zusammenfassend

Diese Arbeit führt einen intelligenteren Weg ein, um selbstfahrende Autos zu lehren. Anstatt „Spurwechsel“ und „Geschwindigkeitsanpassung“ als zwei separate Aufgaben zu behandeln, behandelt das neue System sie als einen koordinierten Tanz. Durch die Verwendung einer speziellen Art von KI (P-DQN), die sowohl „Ja/Nein“-Entscheidungen als auch „Wie viel viel“-Anpassungen gleichzeitig bewältigen kann, lernt das Auto, wie ein erfahrener Mensch zu fahren: beschleunigen, um eine Lücke zu finden, und dann sanft hineinzugleiten – und dabei stets alle sicher und komfortabel zu halten.

Technisches Resümee: Integrierte automatisierte Spurwechsel- und Folgensteuerung basierend auf einem parametrisierten Deep Q-Network

Problemstellung
Aktuelle Ansätze zur Steuerung automatisierter Fahrzeuge behandeln den Spurwechsel und das Folgen von Fahrzeugen oft als unabhängige Aufgaben. Traditionelle regelbasierte Modelle, wie das Modell zur Minimierung der durch Spurwechsel induzierten Gesamtsbremsverzögerung (MOBIL) in Kombination mit dem Intelligent Driver Model (IDM), stützen sich auf vordefinierte Regeln und explizite Trajektorienapproximationen. Diese Methoden haben Schwierigkeiten, die dynamische und stochastische Natur des Verkehrs zu bewältigen, insbesondere wenn Spurwechselentscheidungen von komplexen Interaktionen mit umliegenden Fahrzeugen abhängen (z. B. die Anpassung der Geschwindigkeit, um eine akzeptable Lücke zu nutzen). Darüber hinaus adressieren bestehende Reinforcement-Learning-Ansätze (RL) diese Teilaufgaben oft separat oder versuchen, sie durch die Diskretisierung kontinuierlicher Aktionen (wie Beschleunigung) zu integrieren, was zu einem Verlust der natürlichen Struktur des Aktionsraums und verringerter Effizienz führen kann. Die Kernherausforderung liegt in der Verwaltung eines hybriden Aktionsraums, in dem Spurwechselentscheidungen diskret sind, während Beschleunigung und Trajektorienausführung kontinuierlich erfolgen.

Methodik
Die Studie schlägt ein integriertes Steuerungsframework für vernetzte und automatisierte Fahrzeuge (CAVs) vor, das ein parametrisiertes Deep Q-Network (P-DQN) nutzt. Dieser Algorithmus ist darauf ausgelegt, direkt auf einem hybriden diskret-kontinuierlichen Aktionsraum zu operieren, ohne kontinuierliche Variablen zu diskretisieren.

Zustandsraum: Der Systemzustand ( $S_t$ $S_{t}$ ) besteht aus zwei Komponenten:
1. Fahrzeuginteraktionen ( $S^1_t$ ): Beinhaltet relative laterale/longitudinale Positionen und Geschwindigkeiten von vier umliegenden Fahrzeugen (vorangehend/folgend in der aktuellen und der benachbarten Spur).
2. Straßenkontext ( $S^2_t$ ): Beinhaltet den Abstand des Ego-Fahrzeugs zu den Fahrbahnrändern, die ideale Fahrbahnmitte und die Differenz des Spurindex zwischen der aktuellen und der idealen Spur.
Aktionsraum: Das Framework verwendet einen hybriden Aktionsraum $A_t = [A^h_t, A^l_t]^T$ $A_{t} = [A_{t}^{h}, A_{t}^{l}]^{T}$ :
- Hochgradige diskrete Aktion ( $k_t$ ): Bestimmt die Spurwechselentscheidung (0: links, 1: bleiben, 2: rechts).
- Niedriggradige kontinuierliche Aktionen ( $A^l_t$ ): Steuert die laterale ( $a_{x,0}$ ) und longitudinale ( $a_{y,0}$ ) Beschleunigung. Der Bereich der kontinuierlichen Aktionen wird durch die diskrete Entscheidung parametrisiert (z. B. ist die laterale Beschleunigung für einen Spurwechsel nach links auf negative Werte beschränkt).
Belohnungsfunktion: Die Gesamtbelohnung ( $R_{total}$ $R_{t o t a l}$ ) ist eine gewichtete Summe aus fünf Komponenten, die darauf ausgelegt sind, Sicherheit, Effizienz und Komfort auszubalancieren:
1. Sicherheit: Bestraft die Nähe zu umliegenden Fahrzeugen und Fahrbahnrändern mittels logarithmischer Straffunktionen.
2. Fahrzeugfolgen: Fördert das Einhalten eines gewünschten Zeitabstands zum vorausfahrenden Fahrzeug.
3. Spurhalten: Bestraft die Abweichung von der Fahrbahnmitte, wenn kein Spurwechsel stattfindet.
4. Spurwechsel: Belohnt die Ausrichtung an der „idealen Spur“ (bestimmt durch die Geschwindigkeit der vorausfahrenden Fahrzeuge in benachbarten Spuren).
Algorithmus: Das P-DQN nutzt ein Critic-Netzwerk, um die Aktionswertfunktion $Q(S, k, A_l)$ zu schätzen, und ein Actor-Netzwerk, um die optimalen kontinuierlichen Parameter $A_l$ für eine gegebene diskrete Aktion $k$ auszugeben. Das Netzwerk wird trainiert, um kumulative Belohnungen unter Verwendung einer Least-Squares-Loss-Funktion und des stochastischen Gradientenabstiegs zu maximieren.

Wesentliche Beiträge

Integriertes Steuerungsframework: Die Studie präsentiert eine einheitliche Steuerungsstrategie, die den Spurwechsel und das Fahrzeugfolgen gleichzeitig verwaltet und diese als interdependenten Prozess statt als isolierte Teilaufgaben behandelt.
Implementierung eines hybriden Aktionsraums: Die Arbeit implementiert P-DQN, um die spezifische Herausforderung hybrider Aktionsräume in der CAV-Steuerung zu bewältigen und so die Einschränkungen der Diskretisierung kontinuierlicher Aktionen zu vermeiden.
Multi-Objective-Optimierung: Das Framework integriert erfolgreich vier Teilziele – Kollisionsvermeidung, Fahrzeugfolgen, Spurhalten und Spurwechsel-Effizienz – in eine einzige Lernpolitik.

Ergebnisse
Numerische Experimente wurden in vier Szenarien mit unterschiedlicher Komplexität durchgeführt, einschließlich konstanter und dynamischer Geschwindigkeiten der umliegenden Fahrzeuge.

Konvergenz: Der P-DQN-Algorithmus erreichte die Konvergenz innerhalb von 2.000 bis 3.000 Trainings-Episoden.
Verhaltensleistung: Im Gegensatz zu traditionellen Methoden (z. B. MOBIL), die einen Spurwechsel aufgrund unmittelbarer Lückenbeschränkungen ablehnen könnten, lernte das P-DQN, die longitudinale Geschwindigkeit anzupassen (beschleunigen oder verzögern), um Lücken zu schaffen oder zu nutzen, was einen erfolgreichen Spurwechsel ermöglicht. Der Agent hielt sich während der Manöver an sichere Abstände zu sowohl vorausfahrenden als auch nachfolgenden Fahrzeugen und hielt die Fahrbahnmitte ein.
Vergleichende Analyse: Im Vergleich zu einem Baseline-MOBIL+IDM-Modell:
- Sicherheit: P-DQN zeigte signifikant niedrigere Werte der Inversen Zeit-bis-Kollision (Inverse-TTC) (z. B. 0,075 gegenüber 0,214 in Szenario 1), was auf ein geringeres Kollisionsrisiko hindeutet.
- Komfort: P-DQN erreichte wesentlich geringere Metriken für den Fahrkomfort (basierend auf der Beschleunigungsmagnitüde), mit Werten zwischen 0,599 und 1,260 im Vergleich zu 1,596 bis 3,712 beim MOBIL+IDM-Baseline-Modell.

Bedeutung und Ansprüche
Das Paper behauptet, dass das vorgeschlagene P-DQN-Framework die Einschränkungen separater Steuerungsstrategien und regelbasierter Modelle löst, indem es Spurwechsel- und Fahrzeugfolgeverhalten effektiv integriert. Durch die Nutzung eines hybriden Aktionsraums ermöglicht das Modell CAVs, koordinierte Entscheidungen zu treffen, bei denen Geschwindigkeitsanpassungen sichere Spurwechsel begünstigen, was ein realistisches menschliches Fahrverhalten nachahmt. Die Studie kommt zu dem Schluss, dass dieser integrierte Ansatz im Vergleich zur etablierten Kombination aus MOBIL und IDM eine überlegene Leistung in Bezug auf Fahrsicherheit und Komfort erzielt und somit eine anpassungsfähigere Lösung für komplexe Verkehrsszenarien bietet, ohne auf starre, vordefinierte Regeln angewiesen zu sein.

Das Problem: Der „Zwei-Köpfige“ Fahrer

Die Lösung: Das „Parametrisierte Deep Q-Network“ (P-DQN)

Wie es gelernt hat (Das „Belohnungssystem“)

Die Ergebnisse: Die neue KI vs. die alten Regeln

Zusammenfassend

Mehr davon