Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

Technische Samenvatting: Geïntegreerde geautomatiseerde car-following en lane-changing controle gebaseerd op een geparametriseerde Deep Q-network

Probleemstelling
Huidige benaderingen voor geautomatiseerde voertuigbesturing behandelen het wisselen van rijstrook (lane-changing) en het volgen van het voorgaande voertuig (car-following) vaak als onafhankelijke taken. Traditionele regelgebaseerde modellen, zoals het Minimizing Overall Braking Decelerations Induced by Lane Changes (MOBIL) in combinatie met het Intelligent Driver Model (IDM), vertrouwen op vooraf gedefinieerde regels en expliciete trajectbenaderingen. Deze methoden hebben moeite met het omgaan met de dynamische en stochastische aard van het verkeer, met name wanneer beslissingen over het wisselen van rijstrook afhankelijk zijn van complexe interacties met omliggende voertuigen (bijv. het aanpassen van de snelheid om een acceptabele opening te benutten). Bovendien richten bestaande Reinforcement Learning (RL) benaderingen zich vaak apart op deze subtaken of proberen ze deze te integreren door continue acties (zoals versnelling) te discretiseren, wat kan leiden tot een verlies van de natuurlijke structuur van de actieruimte en verminderde efficiëntie. De kernuitdaging ligt in het beheren van een hybride actieruimte waarbij beslissingen over het wisselen van rijstrook discreet zijn, terwijl versnelling en trajectuitvoering continu zijn.

Methodologie
De studie stelt een geïntegreerd controleframework voor voor Connected and Automated Vehicles (CAVs) gebruikmakend van een Parametrized Deep Q-Network (P-DQN). Dit algoritme is ontworpen om direct te opereren op een hybride discrete-continue actieruimte zonder continue variabelen te discretiseren.

• Toestandsruimte (State Space): De systeemtoestand ($S_t$) bestaat uit twee componenten:
  1. Voertuiginteracties ($S^1_t$): Bevat relatieve laterale/longitudinale posities en snelheden van vier omliggende voertuigen (voorligger/volger in de huidige en aangrenzende rijstroken).
  2. Wegcontext ($S^2_t$): Bevat de afstand van het ego-voertuig tot de wegranden, de ideale rijstrook centerline en het verschil in rijstrookindex tussen de huidige en de ideale rijstrook.
• Actieruimte (Action Space): Het framework maakt gebruik van een hybride actieruimte $A_t = [A^h_t, A^l_t]^T$:
  • High-level discrete actie ($k_t$): Bepaalt de beslissing voor het wisselen van rijstrook (0: links, 1: blijven, 2: rechts).
  • Low-level continue acties ($A^l_t$): Regelt de laterale ($a_{x,0}$) en longitudinale ($a_{y,0}$) versnellingen. Het bereik van de continue acties wordt geparametriseerd door de discrete beslissing (bijv. de laterale versnelling is beperkt tot negatieve waarden voor een linker rijstrookwissel).
• Beloningsfunctie (Reward Function): De totale beloning ($R_{total}$) is een gewogen som van vijf componenten die zijn ontworpen om veiligheid, efficiëntie en comfort in balans te brengen:
  1. Veiligheid: Bestraft nabijheid tot omliggende voertuigen en wegranden met behulp van logaritmische straffuncties.
  2. Car-following: Moedigt het aanhouden van een gewenste tijdsafstand tot het voorliggende voertuig aan.
  3. Lane-keeping: Bestraft afwijking van de centerline van de rijstrook wanneer er niet van rijstrook wordt gewisseld.
  4. Lane-changing: Beloont de uitlijning met de "ideale rijstrook" (bepaald door de snelheid van voorliggende voertuigen in aangrenzende rijstroken).
• Algoritme: De P-DQN gebruikt een critic-netwerk om de actiewaarde-functie $Q(S, k, A_l)$ te schatten en een actor-netwerk om de optimale continue parameters $A_l$ voor een gegeven discrete actie $k$ te produceren. Het netwerk wordt getraind om cumulatieve beloningen te maximaliseren met behulp van een least-squares loss functie en stochastic gradient descent.

Belangrijkste Bijdragen

1. Geïntegreerd Controleframework: De studie presenteert een verenigde controlestrategie die tegelijkertijd het wisselen van rijstrook en het volgen van voertuigen beheert, waarbij deze als onderling afhankelijke processen worden behanden in plaats van geïsoleerde subtaken.
2. Implementatie van Hybride Actieruimte: Het paper implementeert P-DQN om de specifieke uitdaging van hybride actieruimtes in CAV-besturing aan te pakken, waarbij de beperkingen van het discretiseren van continue acties worden vermeden.
3. Multi-objective Optimalisatie: Het framework integreert succesvol vier subdoelen — botsingsvermijding, car-following, lane-keeping en lane-changing efficiëntie — in één enkel leerbeleid.

Resultaten
Numerieke experimenten werden uitgevoerd over vier scenario's met variërende complexiteit, inclusen constante en dynamische snelheden van omliggende voertuigen.

• Convergentie: Het P-DQN algoritme bereikte convergentie binnen 2.000 tot 3.000 trainingsepisoden.
• Gedragsprestaties: In tegen tegenstelling tot traditionele methoden (zoals MOBIL) die een rijstrookwissel kunnen weigeren vanwege onmiddellijke gat-restricties, leerde de P-DQN de longitudinale snelheid aan te passen (versnellen of vertragen) om gaten te creëren of te benutten, wat succesvolle rijstrookwissels mogelijk maakt. De agent handhaafde veilige afstanden van zowel voorliggende als achterliggende voertuigen tijdens manoeuvres en hield zich aan de centerline van de rijstrook.
• Vergelijkende Analyse: Wanneer vergeleken met een baseline MOBIL+IDM model:
  • Veiligheid: P-DGN vertoonde significant lagere Inverse Time-to-Collision (Inverse-TTC) waarden (bijv. 0,075 vs. 0,214 in Scenario 1), wat wijst op een lager botsingsrisico.
  • Comfort: P-DQN behaalde aanzienlijk lagere rijcomfort metrieken (gebaseerd op versnellingsmagnitude), met waarden variërend van 0,599 tot 1,260 vergeleken met 1,596 tot 3,712 voor de MOBIL+IDM baseline.

Betekenis en Claims
Het paper claimt dat het voorgestelde P-DQN framework de beperkingen van gescheiden controlestrategieën en regelgebaseerde modellen oplost door het effectief integreren van lane-changing en car-following gedrag. Door gebruik te maken van een hybride actieruimte, stelt het model CAV's in staat om gecoördineerde beslissingen te nemen waarbij snelheidsaanpassingen veilige rijstrookwissels faciliteren, wat het realistische menselijke rijgedrag nabootst. De studie concludeert dat deze geïntegreerde aanpak superieure prestaties levert in termen van zowel rijveiligheid als comfort vergeleken met de gevestigde combinatie van MOBIL en IDM, wat een meer adaptieve oplossing biedt voor complexe verkeersscenario's zonder afhankelijk te zijn van rigide vooraf gedefinieerde regels.