PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

1. Probleemstelling

Wisselen van rijbaan op stedelijke snelwegen, met name die met frequente op- en afritten, is een complexe beslissingsopdracht die coördinatie vereist van laterale en longitudinale voertuigbesturing. Bestaande benaderingen staan voor verschillende uitdagingen:

• Veiligheid en Efficiëntie: Onjuiste rijbaanwissels dragen bij aan meer dan 10% van de snelwegongevallen en 10% van het verkeersinfarct. Menselijke bestuurders maken vaak geen kritieke beslissingen door waarnemingsfouten.
• Beperkingen van Bestaande AI:
  • Single-Agent Systemen: Richt zich vaak op de efficiëntie van het eigen voertuig, en verwaarloost de globale verkeerscoördinatie.
  • Gecentraliseerde Multi-Agent Systemen (MARL): Hoewel ze de coördinatie verbeteren, lijden ze onder risico's voor gegevensprivacy, hoge rekenkundige overhead en gebrek aan schaalbaarheid in grote, heterogene netwerken.
  • Federated Learning (FL) Gaten: Bestaande FL-toepassingen in autonoom rijden richten zich voornamelijk op laaggeplaatste bewegingscontrole (bijv. botsingsvermijding) in plaats van geïntegreerde, hooggeplaatste multi-agent rijbaanwisselbeslissingen die verplichte en optionele manoeuvres in evenwicht brengen.

2. Methodologie: PALCAS Framework

De auteurs stellen PALCAS voor, een Priority-Aware Lane-Change Advisory System gebouwd op een Federated Multi-Agent Reinforcement Learning (Fed-MARL) framework.

Systeemarchitectuur

• Infrastructuur: De snelweg is opgedeeld in clusters, elk beheerd door een Roadside Unit (RSU). RSU's fungeren als agenten die Connected and Automated Vehicles (CAV's) binnen hun bereik coördineren.
• Communicatie:
  • V2X (Vehicle-to-Everything): CAV's communiceren met hun lokale RSU.
  • I2I (Infrastructure-to-Infrastructure): RSU's communiceren met elkaar om globale verkeersstatistieken te delen.
  • Federated Learning: RSU's trainen lokale modellen met lokale data en uploaden periodiek parameters naar een centrale server voor aggregatie (FedAvg), waarna ze het bijgewerkte globale model downloaden. Dit behoudt gegevensprivacy terwijl kennisdeling mogelijk wordt gemaakt.

Wiskundige Formulering

• Probleemtype: Het systeem wordt geformuleerd als een Decentralized Partially Observable Markov Decision Process (Dec-POMDP).
• Algoritme: Het systeem maakt gebruik van Parameterized Deep Q-Networks (PDQN) om een hybride actieruimte te hanteren:
  • Discrete Acties: Rijbaan links, rijbaan rechts, of rijbaan behouden.
  • Continue Acties: Versnellings- of vertragingcommando's.
• Toestandruimte: Een hiërarchische representatie die fuseert:
  • Microscopisch: Eigen voertuigtoestand (positie, snelheid, versnelling) en toestanden van omringende voertuigen.
  • Macroscopisch: Verkeersdichtheid op clusterniveau en gemiddelde snelheid.
  • Globaal: Geaggregeerde verkeersstatistieken gedeeld via I2I-communicatie.

Ontwerp van de Beloningsfunctie

De kerninnovatie is een prioriteitsgeleide beloningsfunctie ($R_k$) die is ontworpen om veiligheid, efficiëntie, comfort en bestemmingsurgentie in evenwicht te brengen:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. Efficiëntiebeloning ($r_e$): Moedigt het handhaven van snelheden dicht bij de maximumlimiet aan en optimaliseert de stroom op clusterniveau.
2. Veiligheidsbeloning ($r_s$): Gebaseerd op het Responsibility-Sensitive Safety (RSS) model, waarbij minimale veilige longitudinale en laterale afstanden worden berekend om botsingen te voorkomen.
3. Comfortbeloning ($r_c$): Straft versnelling/vertraging die comfortabele drempels ($1.47 m/s^2$) overschrijdt.
4. Prioriteitsgeleide Rijbaanwisselbeloning ($r_{lc}$): Het nieuwe onderdeel. Het weegt rijbaanwisselbeslissingen dynamisch op basis van:
   • Urgentie ($u_t$): Voertuigen die hun afrit naderen ontvangen negatieve beloningen als ze niet in de juiste rijbaan zitten, berekend aan de hand van tijd tot afrit versus tijd nodig om van rijbaan te wisselen.
   • Staging Penalty ($p_{stage}$): Moedigt voertuigen af om te vroeg de afritbaan in te nemen, waardoor snellere rijbanen open blijven voor doorgaand verkeer.
5. Deadlock Penalty ($r_d$): Voorkomt dat voertuigen op de oprit vast komen te zitten aan het einde van de versnellingsbaan.

3. Belangrijkste Bijdragen

1. Framework van het Eerste Soort: PALCAS is het eerste werk dat verplichte en optionele rijbaanwissels gezamenlijk aanpakt met behulp van een federatief leerparadigma voor grootschalige coöperatieve besluitvorming.
2. Hiërarchische Toestandsrepresentatie: Integreert microscopische voertuigdata met macroscopische clusterniveau- en globale verkeersinformatie, wat de situational awareness verbetert.
3. Prioriteitsgeleide Beloningsmechanisme: Unificeert de uitvoerbaarheid van manoeuvres en bestemmingsurgentie, waardoor het systeem voertuigen dynamisch kan prioriteren op basis van hun afstand tot afritten en huidige verkeersomstandigheden.
4. Schaalbare Privacybehoudende Architectuur: Demonstreert een federatieve aanpak die agenten in staat stelt te generaliseren vanuit ongezette scenario's zonder ruwe data te delen, geschikt voor heterogene verkeersomgevingen.

4. Simulatie-resultaten

Het systeem werd geëvalueerd met SUMO (verkeerssimulatie) en Eclipse MOSAIC (V2X-communicatie) met een scenario van een 2,4 km lange snelweg met 5 rijbanen. Het werd vergeleken met:

• Baseline-1: Gecentraliseerd MARL (één agent die alles controleert).
• Baseline-2: Decentraliseerd MARL zonder federated learning (geen kennisdeling).

Belangrijkste Prestatiemetrics (bij 60% CAV-penetratie):

• Verkeersefficiëntie: PALCAS behaalde de hoogste gemiddelde snelheid (30,03 m/s), wat 3,12% beter is dan Baseline-1 en 6,86% beter dan Baseline-2.
• Veiligheid (Botsingsratio): PALCAS verlaagde de botsingsratio met 19,67% ten opzichte van Baseline-1 en 75,5% ten opzichte van Baseline-2.
• Rijcomfort: Versnellingstrajecten waren aanzienlijk soepeler en bleven binnen het bereik van $[-1, 1] m/s^2$, terwijl baselines varieerden tussen $[-4.5, 2.6] m/s^2$.
• Succesratio Bestemming (DSR): PALCAS verbeterde de DSR met 132,94% ten opzichte van Baseline-1 en 113,9% ten opzichte van Baseline-2 bij 60% penetratie, waardoor gemiste afritten effectief werden voorkomen.
• Succesratio Aansluiten (MSR): PALCAS behaalde een succespercentage van >93%, vergelijkbaar met de baselines, hoewel Baseline-2 licht beter scoorde in MSR vanwege zijn myopische (kortetermijn) lokale optimalisatie.

Ablatiestudie:
Het verwijderen van de prioriteitsgeleide beloningscomponent resulteerde in een drastische daling van de prestaties, wat de kritieke rol bevestigt in het coördineren van complexe multi-voertuigmanoeuvres en het voorkomen van verkeersinfarcten.

5. Betekenis

• Toepasbaarheid in de Wereld: Het systeem adresseert de specifieke uitdagingen van stedelijke snelwegen met frequente afritten, een scenario waar bestaande gecentraliseerde of single-agent systemen moeite mee hebben.
• Privacy en Schaalbaarheid: Door het gebruik van Federated Learning biedt PALCAS een haalbaar pad voor de implementatie van coöperatieve systemen voor autonoom rijden zonder gegevensprivacy te compromitteren of enorme gecentraliseerde rekenkracht te vereisen.
• Balans tussen Veiligheid en Efficiëntie: De prioriteitsgeleide beloningsfunctie lost de afweging succesvol op tussen het laten doorstromen van het verkeer (blijven in snelle rijbanen) en het garanderen dat voertuigen hun bestemming bereiken (naar afritbanen bewegen), wat verkeersinfarcten en ongevallen aanzienlijk vermindert.
• Real-time Haalbaarheid: Inferentietijden werden gemeten op minder dan 100ms voor 90% van de beslissingen, wat aangeeft dat het systeem geschikt is voor real-time implementatie.

Concluderend toont PALCAS aan dat het combineren van Federated Learning met Priority-Aware Reinforcement Learning een robuust, schaalbaar en veilig framework creëert voor rijbaanwisselbeheer van de volgende generatie autonoom rijden.