💻 computer science

Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

Dit artikel stelt een multi-agent parameter-sharing Proximal Policy Optimization (PPO) raamwerk voor voor dynamische modusselectie en vermogensallocatie in geclusterde voertuignetwerken, wat traditionele baselines aanzienlijk overtreft door de betrouwbaarheid te verbeteren, latentie te verminderen en het transmissievermogen te verlagen door adaptief leren van lokale netwerkomstandigheden.

Oorspronkelijke auteurs: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je auto niet alleen zelf rijdt, maar ook praat met elke andere auto, verkeerslicht en verkeersbord om zich heen. Dit is de toekomst van "Vehicular Networks", een hoogwaardig digitaal gesprek dat plaatsvindt op onze wegen om crashes te voorkomen en het verkeer te beheren. Maar hier komt het lastige deel bij: deze auto's bewegen snel, de wegen zijn druk en de "luchtgolven" die ze gebruiken om te communiceren zijn als een drukke snelweg met slechts een paar rijstroken. Als iedereen tegelijk schreeuwt, kan niemand elkaar horen. Om dit op te lossen, gebruiken ingenieurs "clustering", wat lijkt op het groeperen van auto's in kleine teams onder leiding van een "teamkapitein" (de Cluster Head) om het gesprek te organiseren. De grote vraag die onderzoekers proberen te beantwoorden is: hoe beslist deze kapitein de beste manier om te communiceren? Moet het team direct naar elkaar schreeuwen (een korte afstand "sidelink" of D2D-modus), of moeten ze een centraal station bellen (een cellulaire of C-V2X-modus) om de boodschap door te geven? En hoe hard moeten ze schreeuwen? Schreeuw te hard, en je overstemt je buren; schreeuw te zacht, en je boodschap gaat verloren.

Dit artikel duikt in exact dat probleem en vraagt hoe deze auto-kapiteins slimme, razendsnelle beslissingen kunnen nemen om het netwerk betrouwbaar te houden zonder energie te verspillen. De auteurs stellen een oplossing voor met behulp van "Deep Reinforcement Learning", wat in essentie een computerprogramma is dat leert door middel van vallen en opstaan, vergelijkbaar met een videogame-personage dat beter wordt in een level door het duizenden keren te spelen. In plaats van een rigide regelboek te volgen, leert deze AI zich aan te passen aan de chaos van het verkeer, interferentie en veranderende afstanden. De studie suggereelt dat door deze AI-kapiteins te laten leren van hun omgeving, ze betere keuzes kunnen maken dan traditionele, op regels gebaseerde methoden, waardoor veiligheidsberichten snel en betrouwbaar worden verzonden terwijl het batterijverbruik wordt bespaard.

De Slimme Teamkapiteins van de Weg

In de studie stelden de onderzoekers een virtuele snelweg-simulatie op om hun idee te testen. Ze stelden zich een wegsegment van 2 kilometer lang voor met auto's die met snelheden tot wel 31 meter per seconde (ongeveer 70 mph) raasden. In deze digitale wereld rijden de auto's niet alleen; ze vormen en breken voortdurend groepen, of "clusters", op basis van wie er dicht bij elkaar is. Elk cluster heeft een leider, de "Cluster Head", wiens taak het is om te beslissen hoe de groep communiceert.

De onderzoekers leerden deze leiders een nieuwe manier van denken met behulp van een specifiek type AI genaamd Proximal Policy Optimization (PPO). Denk aan PPO als een zeer gedisciplineerde student die leert door verschillende strategieën uit te proberen en feedback te krijgen. In dit geval is de "student" de Cluster Head. Elke keer dat het een beslissing neemt, krijgt het een score (een "beloning"). Als het de juiste communicatiemodus en het juiste vermogensniveau kiest om een bericht snel en betrouwbaar door te krijgen, krijgt het een hoge score. Als het een vertraging veroorzaakt of energie verspilt, krijgt het een lage score. Na verloop van tijd leert de AI de perfecte balans te vinden, waarbij het zich aanpast aan het feit dat auto's constant in beweging zijn en de "ruis" van andere voertuigen voortdurend verandert.

De Grote Communicatie-showdown

Om te zien of deze AI-leermethode daadwerkelijk werkt, lieten de onderzoekers hun PPO "student" strijden tegen vijf andere strategieën, of "baselines", die vertegenwoordigen hoe we het probleem zouden oplossen zonder een lerend brein:

De Afstandsgissers: Deze strategieën kijken alleen naar hoe ver de auto's van elkaar verwijderd zijn. Als de gemiddelde afstand minder dan 400 meter is, schreeuwen ze rechtstreeks naar elkaar; anders bellen ze de toren. Ze geven niet om de werkelijke kwaliteit van de verbinding of interferentie.
De Vermogensplanners: Deze zijn vergelijkbaar met de afstandsgissers, maar proberen iets slimmer te zijn over hoe hard ze roepen op basis van de afstand.
Het "Altijd de Toren Bellen"-team: Deze strategie negeert directe communicatie volledig en stuurt alle berichten via het cellulaire netwerk.
De Willekeurige Kletser: Deze strategie kiest een communicatiemodus en vermogensniveau volkomen willekeurig, gewoon om te zien wat er gebeurt.

De resultaten van deze digitale race waren zeer onthullend. De PPO AI won niet alleen; het toonde een compleet andere manier van spelen.

Betrouwbaarheid: Het Veiligheidsnet
De belangrijkste taak van deze netwerken is veiligheid. De paper mat de "betrouwbaarheid", oftewel het percentage berichten dat succesvol aankomt. De PPO AI was hier een kampioen. In simulaties met 25 auto's behaalde het een betrouwbaarheid van 100,0%. Zelfs met 100 auto's op de weg bleef het ongelooflijk hoog op 99,750%.
In contrast hiermee worstelden de "Afstandsgissers" (de niet-lerende methoden). Met 50 auto's daalde hun betrouwbaarheid naar 87,297%, en met 100 auto's was het rond de 94,971%. De "Altijd de Toren Bellen"-strategie deed het nog slechter, met een daling naar 67,469% bij 100 auto's. De willekeurige strategie was de slechtste van allemaal, omdat deze niet consistent berichten kon leveren. De paper suggereert dat de AI leerde om de "dead zones" te vermijden waar direct schreeuwen faalt en de "congestie" waar het bellen van de toren te traag is, waardoor het een "sweet spot" vond die de eenvoudige regels misten.

Vermogen: De Batterijbespaarder
Hier wordt het verhaal echt interessant. Meestal moet je harder schreeuwen (meer vermogen gebruiken) om een betere betrouwbaarheid te krijgen. De "Afstandsgissers" en de "Altijd de Toren Bellen"-strategieën schreeuwden met een vast, hoog volume van 18 dBm (een specifieke eenheid voor vermogen) om hun berichten erdoorheen te dwingen.
De PPO AI leerde echter te fluisteren. Het bereikte zijn bijna perfecte betrouwbaarheid terwijl het aanzienlijk minder vermogen gebruikte. Voor 25 auto's gebruikte het een gemiddeld vermogen van 10,013 dBm. Voor 100 auto's daalde dit naar 9,612 dBm. Dat is een enorme besparing—tot wel 8,39 dB minder vermogen dan de vaste-vermogens-baselines. De paper laat zien dat de AI niet alleen geluk had; het leerde dat harder schreeuwen niet altijd het antwoord is. Door de juiste modus op het juiste moment te kiezen, bespaarde het energie zonder de veiligheid op te offeren.

Snelheid en Efficiëntie: De Trade-off
De paper keek ook naar "latency" (hoe lang het duurt voordat een bericht aankomt) en "spectrale efficiëntie" (hoeveel data er in de luchtgolven gepropt kan worden). Hier hadden de eenvoudige regels een lichte voorsprong. De afstand-gebaseerde strategieën waren soms een klein beetje sneller (rond de 7,45 ms versus de 8,702 ms van de AI bij 100 auto's) en propten iets meer data door de luchtgolven.
De auteurs wijzen er echter op dat deze snelheid een verschrikkelijke prijs had: veel lagere betrouwbaarheid en veel hoger vermogensgebruik. De eenvoudige regels waren als een sprinter die snel rent maar over zijn eigen voeten struikelt, terwijl de AI een marathonloper was die een gestaag, betrouwbaar tempo aanhield. De paper concludeert dat voor veiligheidskritische toepassingen het vermogen van de AI om de boodschap te garanderen dat deze aankomt (betrouwbaarheid) terwijl het vermogen bespaart, veel waardevoller is dan het winnen van een fractie van een milliseconde aan snelheid.

Wat dit betekent voor de weg voor ons

De studie suggereert dat de toekomst van slim verkeer niet draait om het volgen van rigide regels zoals "als je dichtbij bent, schreeuw je; als je ver weg bent, bel je de toren". In plaats daarvan gaat het om het geven van een brein aan het netwerk dat de omgeving kan voelen. De PPO AI leerde de rommelige, echte chaos van bewegende auto's en interferentie te hanteren op een manier die eenvoudige wiskundige formules niet konden.

Hoewel de resultaten gebaseerd zijn op computersimulaties en nog geen echte rijtests in de echte wereld zijn, zijn de bevindingen sterk. De paper demonstreert dat leer-gebaseerde adaptieve beleidslijnen traditionele, op afstand gebaseerde methoden kunnen overtreffen. Het bewijst dat door het netwerk te leren balanceren tussen betrouwbaarheid, snelheid en vermogen, we een veiligere en efficiëntere toekomst voor onze wegen kunnen bouwen. De auteurs merken op dat hoewel hun methode een grote stap voorwaarts is, toekomstig werk deze ideeën in nog complexere scenario's moet testen, zoals netwerken met meerdere steden en met imperfecte informatie, om te garanderen dat ze klaar zijn voor de echte wereld. Maar voor nu ziet de aanpak van de "slimme teamkapitein" eruit als een winnende strategie om onze verbonden auto's veilig en efficiënt te laten communiceren.

Probleemstelling

Voertuignetwerken worden geconfronteerd met aanzienlijke uitdagingen bij het voldoen aan strikte betrouwbaarheids- en latentie-eisen als gevolg van hoge mobiliteit, snel variërende kanaalcondities en heterogene communicatieopties. In dichte stedelijke omgevingen en op snelwegen belemmert interferentie van andere voertuigen en infrastructuur, gecombineerd met schaarse radiobronnen, de efficiënte informatieoverdracht. Bovendien leidt de dynamische aard van voertuigbewegingen tot frequente veranderingen in de topologie, wat de voorspelling van de kanaalstatusinformatie (Channel State Information, CSI) bemoeilijkt.

Hoewel technieken voor radiogeresourcebeheer (Radio Resource Management, RRM), zoals vermogensallocatie, spectrumallocatie en modusselectie, bestaan, worden deze vaak afzonderlijk behandeld of vertrouwen ze op statische, heuristische regels. Bestaande benaderingen missen vaak het vermogen om communicatiemodi (Direct Sidelink/D2D versus Cellular-assisted C-V2X) en vermogensniveaus gezamenlijk te optimaliseren in een geclusterde, tijdvariërende omgeving. Er is een specifiek gat in uniforme, op leren gebaseerde frameworks die geïntegreerde, adaptieve besluitvorming kunnen uitvoeren voor geclusterde voertuignetwerken terwijl zij aan diverse Quality of Service (QoS)-beperkingen voldoen.

Methodologie

De auteurs stellen een oplossing voor die dynamische modusselectie in geclusterde voertuignetwerken formuleert als een multi-agent sequentieel besluitvormingsprobleem. Het systeem werkt in een scenario op de snelweg waarbij voertuigen Cooperative Awareness Messages (CAMs) uitwisselen en communiceren met Roadside Units (RSUs).

Systeemmodel:

Clustering: Een voertuigclustering-algoritme op basis van DBSCAN wordt toegepast. Voertuigen worden gegroepeerd in clusters, en een Cluster Head (CH) wordt geselecteerd op basis van nabijheid en relatieve snelheid om de communicatie te coördineren.
Communicatiemodi: Elk voertuigpaar binnen een cluster kan kiezen tussen Vehicle-to-Vehicle (V2V) directe communicatie ( $\sigma=0$ ) of Cellular Vehicle-to-Everything (C-V2X) communicatie ( $\sigma=1$ ).
Resource Allocatie: Het systeem ondersteunt network slicing voor Ultra-Reliable Low Latency Communication (URLLC) en enhanced Mobile Broadband (eMBB). Subkanalen (Resource Blocks) worden toegewezen op basis van slice-vereisten.
Optimalisatiedoel: Het doel is om de datasnelheden voor C-V2X te maximaliseren, het transmissievermogen te minimaliseren en de kans op succesvolle CAM-transmissie te maximaliseren, onderworpen aan beperkingen op minimale datasnelheden, uitvalkans (outage probability) en vermogenslimieten.

Voorgesteld Algoritme:
De studie introduceert een Multi-Agent Parameter-Sharing Proximal Policy Optimization (PPO) framework.

Agents: De Cluster Heads fungeren als agents.
Toestandsruimte (State Space, $S$ ): Omvat fysieke positionering (rijstrook, snelheid, positie), kanaalstatus (large-scale gains tussen CH-RSU en CH-Cluster Members), vorige interferentiekracht, huidige belasting en resterende tijd om latentiedrempels te halen.
Actieruimte (Action Space, $A$ ): Omvat fysieke updates (snelheidsaanpassing, inhalen, rijstrookwissel) en kanaalupdates (slice-selectie, modusselectie en transmissievermogensselectie).
Beloningsontwerp (Reward Design): Een QoS-gestuurde beloningsfunctie is ontworpen die gezamenlijk rekening houdt met latentie, betrouwbaarheid, spectrale efficiëntie en transmissievermogen. Cruciaal is dat de beloning expliciet hoog-vermogen oplossingen bestraft om energie-efficiëntie te stimuleren. De beloning bevat termen voor het handhaven van snelheidsstabiliteit, het halen van latentiebudgetten, het voldoen aan capaciteitsdrempels en het waarborgen dat de SINR boven effectieve uitvaldrempels blijft.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Probleemformulering: Dynamische modusselectie in geclusterde voertuignetwerken met heterogene V2X-opties wordt geformuleerd als een multi-agent sequentieel besluitvormingsprobleem onder mobiliteit, interferentie en QoS-beperkingen.
Algoritmeontwikkeling: Een parameter-sharing PPO-framework wordt ontwikkeld, waardoor cluster-head agents adaptieve communicatiebeleid kunnen leren voor omgevingen met tijdvariërende topologieën.
Beloningsontwerp: Een nieuw QoS-gestuurd beloningsontwerp wordt geïntroduceerd dat latentie, betrouwbaarheid, spectrale efficiëntie en vermogen balanceert, waarbij hoog-vermogen oplossingen die inefficiënt betrouwbaarheid bereiken expliciet worden ontmoedigd.
Prestatie-evaluatie: De voorgestelde methode wordt geëvalueerd tegen mobiliteitsbewuste heuristieken en vaste baselines, waarbij een superieure betrouwbaarheid-vermogen afweging wordt aangetoond over verschillende verkeersdensiteiten.

Resultaten

De voorgestelde PPO-aanpak werd geëvalueerd in een snelwegsimulatie met realistische kanaal- en interferentiemodellering, waarbij het werd vergeleken met vijf baselines:

Afstandsdrempel (gemiddelde afstand).
Afstandsdrempel (maximale afstand).
Afstandsdrempel met vermogensplanning.
Altijd V2I (vaste modus).
Willekeurige selectie.

Belangrijkste bevindingen:

Algoritmekeuze: Onder de Deep Reinforcement Learning-algoritmen (DDPG, MADDPG, PPO) vertoonde PPO de snelste en meest stabiele leerconvergentie over variërende verkeersdensiteiten (25 tot 100 voertuigen).
Betrouwbaarheid: Het PPO-beleid bereikte een bijna perfecte betrouwbaarheid (99,3% tot 100%) over alle verkeersdensiteiten. Dit vertegenwoordigt een verbetering van ongeveer 4 tot 12 procentpunten ten opzichte van de sterkste niet-lerende baseline (afstandsdrempel-methoden).
Latentie: Vergeleken met het willekeurige beleid verminderde PPO de latentie met ten minste 69,4%.
Vermogensefficiëntie: Het PPO-beleid verlaagde het transmissievermogen aanzienlijk en bereikte reducties tot wel 8,39 dB ten opzichte van vaste-vermogen baselines (die werkten op 18 dBm). PPO opereerde op gemiddelde vermogensniveaus tussen 9,6 en 11,2 dBm.
Afwegingen (Trade-offs): Hoewel sommige heuristische baselines bij hoge dichtheden (bijv. N=100) een iets lagere latentie en hogere spectrale efficiëntie bereikten, deden zij dit ten koste van een aanzienlijk hoger vermogensverbruik en merkbaar lagere betrouwbaarheid. Het PPO-beleid gaf prioriteit aan een betrouwbaarheidsgeoriënteerd werkpunt, waarbij een deel van de spectrale efficiënt werd opgeofferd om consistente prestaties te garanderen bij veel lager vermogen.

Betekenis en Claims

Het artikel beweert dat de voorgestelde leerbare adaptieve modusselectie een superieure betrouwbaarheid-vermogen afweging biedt vergeleken met traditionele geometrie-gebaseerde of vaste-modus strategieën. De betekenis ligt in het aantonen dat agents kunnen leren zich aan te passen aan tijdvariërende interferentie en mobiliteit zonder te vertroueren op precieze kanaalmodellen.

De auteurs concluderen dat hoewel heuristische baselines agressiever V2V-gebruik en volledige vermogensoverdracht kunnen bevoordelen om instantane doorvoersnelheid-metrieken te maximaliseren, zij er niet in slagen dezelfde betrouwbaarheidsgaranties te bieden. In tegen plaats leert de PPO-agent om rijkere contextuele informatie (interferentiecondities en clusterdynamiek) te exploiteren om effectieve communiciebeslissingen te nemen. De studie suggereert dat dergelijke leerbare beleid essentieel zijn voor het verbeteren van de veerkracht in snel veranderende verkeers- en netwerkcondities, hoewel toekomstig werk nodig is om imperfecte kanaalstatusinformatie en multi-cel scenario's aan te pakken voor real-world implementatie.