Technische Samenvatting: Platooning van Verbonden, Autonome en Mensgestuurde Voertuigen via Deep Reinforcement Learning

1. Probleemstelling

Bestaande strategieën voor voertuigplatooning zijn voornamelijk ontworpen voor homogene omgevingen die uitsluitend bestaan uit Connected Autonomous Vehicles (CAVs) of Connected Human-driven Vehicles (CHVs). Deze benaderingen sluiten doorgaans niet-verbonden voertuigen uit, zoals Autonomous Vehicles (AVs) of Human-driven Vehicles (HVs), waardoor ze niet accuraat reflecteren aan de huidige en nabije toekomstige gemengde verkeersomstandigheden.

Hoewel recente "hybride" strategieën proberen om niet-verbonden voertuigen in platoons te integreren door CAVs als informatie-relais te gebruiken, lijden ze vaak aan een kritieke beperking: de ongecontroleerde integratie van HVs/AVs kan leiden tot een snelle expansie van de platoon. Deze ongecontroleerde groei vergroot het risico op de propagatie van verstoringen binnen de verkeersstroom, wat het inherente conflict tussen het maximaliseren van de verkeersdoorstroming en het handhaven van de flow-stabiliteit verergert. Bovendien zijn conventionele beperkingen op de maximale platoonlengte, ontworpen voor homogene vloten, ontoereikend voor deze opkomende heterogene scenario's. De kernuitdaging is het ontwikkelen van een besturingsstrategie die de flexibele inclusie van niet-verbonden voertuigen mogelijk maakt terwijl de verkeerscapaciteit dynamisch wordt afgewogen tegen flow-stabiliteit en veiligheid.

2. Methodologie

De studie stelt een Deep Reinforcement Learning (DRL)-gebaseerde hybride platooning-besturingsstrategie voor, ontworpen om te opereren binnen een Partially Observable Markov Decision Process (POMDP) raamwerk.

2.1. Hybride Platooning Patroon

De auteurs introduceren een "hybrid platooning pattern" (Schema PS2) dat niet-verbonden voertuigen (HVs/AVs) onder voorwaarden toestaat om deel te nemen aan platoons.

• Mechanisme: CAVs maken gebruik van onboard multi-sensor perceptie (LiDAR, radar, camera's) om de toestanden van aangrenzende niet-verbonden voertuigen waar te nemen. Deze informatie wordt vervolgens via Vehicle-to-Everything (V2X) communicatie naar andere verbonden leden verzonden, waardoor de toestanden van niet-verbonden voertuigen observeerbaar worden binnen de platoon.
• Beperkingen: Om de integriteit van de platoon te waarborgen, is het HVs/AVs verboden om de leider of het achterste voertuig van een platoon te zijn. Een platoon kan alleen vormen als de toestand van elk voertuig observeerbaar is voor de verbonden leden. Dit beperkt het maximaal aantal opeenvolgende niet-verbonden voertuigen binnen een platoon tot twee (bijv. CAV–HV–HV–CAV).
• Vergelijking: Dit staat in contrast met Schema PS1, waarbij alleen CHVs/CAVs platoons vormen en niet-verbonden voertuigen worden uitgesloten.

2.2. DRL Raamwerk

De besturingsstrategie maakt gebruik van een Centralized Training with Decentralized Execution (CTDE) architectuur met behulp van het Proximal Policy Optimization (PPO) algoritme.

• Toestandsruimte (State Space): De toestandsrepresentatie integreert multi-modale data, waaronder de eigen voertuigdynamiek (type, positie in de platoon, tijd-headway) en de toestand van de omgeving (typen en posities van de twee direct voorafgaande en volgende voertuigen). Dit ontwerp legt de lokale topologie vast zonder te bezwijken onder de vloek van dimensionaliteit.
• Actieruimte (Action Space): Discrete acties omvatten het deelnemen aan een platoon, het verlaten van een platoon, of het onafhankelijk rijden.
• Beloningsfunctie (Reward Function): Een multi-objectieve beloningsfunctie is geformuleerd om drie componenten in balans te brengen:
  1. Verkeersefficiëntie ($r_{capacity}$): Gebaseerd op het percentage toename in rijstrookcapaciteit ten opzichte van een baseline.
  2. Verkeersstabiliteit ($r_{stability}$): Gebaseerd op de verbetering van een hybride verkeersflow-stabiliteitsdiscriminant ($G_h$), afgeleid van car-following model derivaten.
  3. Penalty ($r_{penalty}$): Een beperkingsstraf die wordt toegepast als de rijstrookcapaciteit significant onder de baseline daalt, om te voorkomen dat de agent efficiëntie opoffert voor excessieve stabiliteit.
• Training: Het beleidsnetwerk leert om platoonstructuren (grootte en distributie) dynamisch aan te passen om de afweging tussen capaciteit en stabiliteit te optimalen.

3. Belangrijkste Bijdragen

• Hybride Platooning Patroon: Het artikel definieert een haalbaar mechanisme voor het integreren van niet-verbonden voertuigen in platoons via CAV-gemedieerde informatiepropagatie, wat de schaalbaarheidsbeperkingen van strikt verbonden vloten aanpakt.
• DRL-gebaseerde Besturingsstrategie: Het ontwikkelt een nieuwe DRL-strategie die verder gaat dan vaste formatie-regels. In plaats van een statische platoon-compositie aan te nemen, leert de strategie om platoonstructuren in realtime te optimaliseren om de afweging tussen doorstroming en stabiliteit te beheren.
• Multi-niveau Toestandsrepresentatie: De studie integreert voertuigdynamiek, platoon-topologie en verkeersflow-toestanden in een verenigde toestandsrepresentatie, waardoor agents gedecentraliseerde beslissingen kunnen nemen op basis van lokale observaties terwijl zij globale stabiliteitsdoelen in overweging nemen.
• Uitgebreide Evaluatie: De aanpak wordt rigoureus geëvalueerd tegenover traditionele verbonden platooning (PS1) en ongecontroleerde hybride platooning (PS2) over vier dimensies: generalisatievermogen, verkeersflow-stabiliteit, veiligheid en milieu-impact.

4. Experimentele Resultaten

Numerieke simulaties werden uitgevoerd op een enkelbaans weg met 1.000 voertuigen onder variërende CAV-penetratiegraad ($P_{CAV}$).

• Trainingsprestaties: De DRL-strategie convergeerde succesvol en bereikte een verbetering van 27,9% in de verkeersstabiliteitsdiscriminant ($G_h$) vergeleken met de baseline hybride strategie (PS2). Dit werd bereikt door de maximale platoonlengte met 28,3% te verminderen (naar ~24 voertuigen) en het totaal aantal platoons met 19,3% te verhogen, waardoor de verkeersdichtheid effectief werd verdeeld.
• Generalisatie: De strategie toonde een robuuste generalisatie over $P_{CAV}$-waarden van 0,1 tot 0,5. Wanneer $P_{CAV} > 0,1$, verbeterde de DRL-strategie de stabiliteitsdiscriminant met 51,08% vergeleken met zowel PS1 als PS2. In tegen tegenstelling tot vaste strategieën, die lijden onder exponentiële groei van de platoongrootte bij hogere penetratiegraad, hield de DRL-strategie de gemiddelde platoonlengtes op ongeveer 35 voertuigen.
• Verstoringen: In scenario's met een vertragingsverstoring van het leidende voertuig, onderdrukte de DRL-strategie de snelheidsschommelingen aanzienlijk. Het verminderde de piek van de gemiddelde Time-to-Collision Inverse (TTCI) met 52,95% vergeleken met conventionele platooning (PS1) bij een lage CAV-penetratiegraad ($P_{CAV}=0,1$).
• Veiligheid en Efficiëntie: De strategie verminderde de piek van de standaarddeviatie van de snelheid met maximaal 38,60% vergeleken met PS1. Wat betreft de milieu-impact, reduceerde de DRL-strategie bij lage CAV-penetratie het piekgemiddelde brandstofverbruik met 1,90%, CO2-emissies met meer dan 1,2%, en NOx-emissies met tot wel 7,1% vergeleken met conventionele strategieën.

5. Betekenis en Claims

De auteurs beweren dat de voorgestelde DRL-gebaseerde aanpak effectief het conflict tussen verkeersdoorstroming en stabiliteit in gemengde verkeersomgevingen oplost. Door platoonstructuren dynamisch te optimaliseren in plaats van vast te houden aan rigide formatie-regels, onderdrukt de strategie de propagatie van snelheidsverstoringen en verhoogt zij de veiligheid van gemengde verkeersstromen.

De studie benadrukt dat terwijl traditionele hybride strategieën (PS2) de capaciteit maximaliseren door grote, ongecontroleerde platoons toe te staan, zij de stabiliteit in gevaar brengen. Daartegenover de DRL-strategie een "niet-lineair evenwicht" bereikt, waarbij een marginale reductie in de piekcapaciteit wordt geaccepteerd (ca. 4,6% vergeleken met PS2 tijdens training) om substantiële winsten in stabiliteit en veiligheid te boeken. Het artikel concludeert dat deze aanpak een robuuste oplossing biedt voor de transitieperiode van gemengd verkeer, waarin niet-verbonden voertuigen nog steeds talrijk aanwezig zijn, en suggereert dat toekomstig werk zich moet richten op interacties tussen meerdere rijstroken, communicatiefouten en dynamisch splitsen van platoons.