📊 statistics

Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning

Dit paper introduceert CR-DRL, een adaptief routingprotocol voor voertuignetwerken dat Deep Reinforcement Learning en dynamische clustering combineert om de energiedoeltreffendheid te maximaliseren en de levertijd, doorvoer en betrouwbaarheid van communicatie aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

Gepubliceerd 2026-02-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een drukke stad rijdt met honderden auto's die allemaal met elkaar willen praten. Maar er is een groot probleem: er zijn geen vaste telefoonmasten of wifi-torens. De auto's kunnen alleen met elkaar praten als ze toevallig dichtbij elkaar komen. Zodra ze uit elkaars bereik rijden, is het contact verbroken. Dit noemen wetenschappers een "Opportunistisch Netwerk" (OppNet).

In zo'n netwerk is het heel lastig om een bericht van A naar B te krijgen. De auto's moeten hun berichten opslaan, wachten tot ze weer iemand tegenkomen, en die dan het bericht doorgeven. Dit heet "Opslaan-Dragen-Doorsturen". Het probleem is dat dit vaak chaotisch is, veel energie kost en dat berichten verloren gaan of te lang onderweg zijn.

De oplossing uit dit artikel: CR-DRL

De auteurs van dit paper hebben een slimme nieuwe manier bedacht om deze auto's te organiseren. Ze noemen hun methode CR-DRL. Laten we dit uitleggen met een paar simpele analogieën.

1. De "Klassieke" aanpak vs. De "Slimme" aanpak

De oude manier: Stel je voor dat elke auto in de stad roept: "Ik heb een bericht!" en iedereen die het hoort, roept het weer door. Dit is als een luidruchtige markt waar iedereen schreeuwt. Het werkt, maar het is een chaos, het kost veel energie (schreeuwen) en je krijgt veel ruis.
De CR-DRL manier: In plaats van dat iedereen schreeuwt, organiseren we de auto's in groepen (clusters). Binnen elke groep is er één auto die de "Groepsleider" is. Alle andere auto's in de groep praten alleen met die leider. De leider zorgt ervoor dat het bericht naar de volgende groep wordt gestuurd.

2. Wie wordt de Groepsleider? (De AI-magie)

In het verleden werd de leider vaak willekeurig gekozen of op basis van wie het dichtstbij was. Maar wat als die leider net een lege batterij heeft of een volle postbus? Dan faalt het hele systeem.

Hier komt Deep Reinforcement Learning (DRL) om de hoek kijken. Denk aan DRL als een super-slimme coach die elke seconde meekijkt en leert van zijn fouten.

Deze coach kijkt naar drie dingen bij elke auto:
1. Hoe vaak komt hij mensen tegen? (Is hij populair en mobiel?)
2. Hoeveel batterij heeft hij nog? (Is hij fit genoeg om te werken?)
3. Is zijn postbus nog leeg? (Heeft hij ruimte voor nieuwe berichten?)

De coach kiest dan de auto die het beste aan al deze eisen voldoet als Groepsleider. Als de leider moe wordt (batterij laag), kiest de coach direct een nieuwe, gezonde leider. Dit zorgt ervoor dat het netwerk nooit stilvalt.

3. De "Dynamische Groepsgrootte" (De ADT-methode)

Stel je voor dat je in een dorpje bent met weinig mensen. Als je groepen maakt, moet je een grote groep maken zodat je contact hebt. Maar in een drukke stad met duizenden mensen, wil je juist kleine groepen om de chaos te vermijden.

De CR-DRL methode gebruikt een slimme "rekenformule" (een heuristiek) die de grootte van de groepen automatisch aanpast aan de drukte:

Weinig auto's? De groepen worden groter en overlappen meer, zodat niemand geïsoleerd raakt.
Veel auto's? De groepen worden kleiner en strakker, zodat er geen overbelasting ontstaat.

Dit is alsof je een elastische net gebruikt dat zich uitrekt in de leegte en krimpt in de drukte, zodat er altijd een goed verbinding is.

4. Waarom is dit zo goed? (De resultaten)

De auteurs hebben dit getest in een simulatie van Helsinki, Finland. De resultaten waren indrukwekkend:

Batterijduur: De auto's gaan 21% langer mee omdat ze niet onnodig schreeuwen of berichten naar de verkeerde mensen sturen.
Snelheid: Berichten komen 28% sneller aan omdat de route beter is gepland.
Betrouwbaarheid: Er gaan 10% minder berichten verloren.
Stabiliteit: Het netwerk voelt aan als een stabiele telefoonlijn (TCP/IP), zelfs al bewegen de auto's continu.

Samenvatting in één zin

CR-DRL is als het hebben van een slimme, lerende verkeersregelaar die continu de beste "hoofden" kiest voor groepen auto's en de grootte van die groepen aanpast aan de drukte, zodat berichten snel, goedkoop en betrouwbaar hun bestemming bereiken zonder dat de auto's hun batterij opgebruiken.

Het is een stap in de richting van een echt slimme stad waar auto's niet alleen met elkaar praten, maar dat ook op een slimme en energiezuinige manier doen.

1. Probleemstelling

Opportunistische Netwerken (OppNets), en specifiek in voertuignetwerken (VANETs), maken gebruik van het "Store-Carry-Forward" (SCF) paradigma om communicatie te handhaven bij onderbroken connectiviteit. Echter, deze netwerken kampen met ernstige uitdagingen:

Dynamische topologie: Door de hoge mobiliteit van voertuigen veranderen netwerkconnectiviteit en contactpatronen voortdurend en onvoorspelbaar.
Resource-beperkingen: Knopen hebben beperkte energie (batterij) en buffercapaciteit.
Routing-inefficiëntie: Bestaande protocollen lijden onder inefficiënte clusterhoofdselectie, hoge overhead, en gebrek aan aanpassing aan veranderende omstandigheden. Dit leidt tot lage leveringsratio's, hoge latentie, en snelle uitputting van knopen.
Infrastructuurafhankelijkheid: Veel bestaande methoden zijn afhankelijk van vaste infrastructuur (zoals RSU's) of gebruiken statische drempelwaarden die niet werken in dynamische omgevingen.

Het doel is een routingprotocol te ontwikkelen dat energie-efficiënt is, de levertijd minimaliseert, en compatibel is met standaard TCP/IP-protocollen zonder fysieke infrastructuur.

2. Methodologie: CR-DRL

De auteurs stellen CR-DRL (Cluster-based Routing using Deep Reinforcement Learning) voor. Dit is een adaptieve routingbenadering die een Actor-Critic (AC) Deep Reinforcement Learning-framework combineert met een heuristische functie voor dynamische cluster-overlapping.

A. Actor-Critic Framework (DRL)

Het routingprobleem wordt gemodelleerd als een Markov Decision Process (MDP):

State (S): Gebaseerd op drie real-time metrieken per knoop:
1. Encounter Rate ( $\phi$ ): Geschatte frequentie van contact met andere knopen (gebaseerd op een gewogen voortschrijdend gemiddelde).
2. Residuele Energie ( $\Psi$ ): Beschikbare batterijcapaciteit (alleen knopen met >25% van de initiële energie komen in aanmerking).
3. Buffergrootte ( $\eta$ ): Beschikbare opslagruimte voor pakketten.
Action (A): Selectie van het optimale clusterhoofd en de volgende relay-knoop.
Reward (R): Een genormaliseerde functie die de leveringsratio, doorvoer (throughput) en end-to-end (E2E) latentie in balans brengt.
Stabilisatie: Om convergentieproblemen in DRL te voorkomen, worden entropieregulatie, een experience replay buffer en adaptieve leersnelheden gebruikt.

B. Dynamische Clustering en ADT

Om de instabiliteit van clusters in dynamische netwerken op te lossen, introduceert CR-DRL de Adaptive Distance Threshold (ADT):

Een heuristische functie die de maximale afstand tussen knopen binnen een cluster dynamisch aanpast op basis van de knooppuntdichtheid ( $H$ ).
In dichtbevolkte gebieden worden clusters kleiner om overhead te verminderen; in dunbevolkte gebieden worden clusters groter om connectiviteit te waarborgen.
Dit voorkomt zowel overmatige overlapping als fragmentatie van het netwerk.

C. Middleware voor TCP/IP-compatibiliteit

CR-DRL introduceert een middleware-laag die dynamische clusters omzet in virtuele netwerkgewesten.

Clusterhoofden fungeren als gateways.
Gedeelde leden (common members) fungeren als relais tussen clusters.
Hierdoor kunnen standaard TCP/IP-protocollen werken in een OppNet-omgeving zonder fysieke infrastructuur, door logische, stabiele paden te creëren die de onderbroken aard van het netwerk maskeren.

3. Belangrijkste Bijdragen

Nieuw Routingprotocol: CR-DRL is het eerste protocol dat een Deep Learning-model (Actor-Critic) gebruikt voor clustergebaseerde routing in OppNets.
Adaptieve Clusterhoofdselectie: In tegenstelling tot statische methoden, selecteert CR-DRL clusterhoofden dynamisch op basis van energie, buffer en contactfrequentie, wat workload-balans en stabiliteit garandeert.
Dynamische Cluster-overlapping: De introductie van de ADT-functie lost het probleem van statische afstands-drempels op, waardoor schaalbaarheid en connectiviteit in wisselende dichtheden worden verbeterd.
TCP/IP Integratie: Het creëren van een virtuele netwerktopologie maakt het mogelijk om bestaande internetprotocollen te gebruiken in volledig ad-hoc voertuignetwerken.

4. Resultaten en Evaluatie

De prestaties van CR-DRL zijn gesimuleerd in de ONE-simulator (Helsinki-kaart) en vergeleken met state-of-the-art protocollen zoals EEHCHR, ECRDP, Mobility Adaptive, RLProph en Latency-Aware Routing.

Kernresultaten:

Energie-efficiëntie:
- De levensduur van knopen wordt met maximaal 21% verlengd.
- Totale energieverbruik wordt met 17% gereduceerd.
- Knopen blijven 15% langer actief.
Communicatieprestaties:
- Leveringsratio: Tot 10% hoger dan bestaande methoden.
- Latentie (E2E Delay): Tot 28,5% lager.
- Doorvoer (Throughput): 7% hoger.
- Hop-count: Data vereist 30% minder transmissiestappen (hops) door het netwerk.
Netwerkstabiliteit:
- CR-DRL reduceert netwerk-partities met 85% vergeleken met standaard SCF-architectuur.
- Het bereikt binnen 35 seconden een volledig verbonden netwerk (1 partitie), terwijl SCF-architecturen gefragmenteerd blijven.
- De stabiliteit van clusterhoofden is aanzienlijk hoger (lagere wisselingsfrequentie) dan bij vergelijkbare methoden zoals ECRDP.

5. Betekenis en Conclusie

CR-DRL vertegenwoordigt een significante doorbraak in het beheer van dynamische voertuignetwerken. Door Deep Reinforcement Learning te combineren met een slimme clustering-mechanisme, lost het de fundamentele spanning op tussen energie-efficiëntie en hoge prestaties in onderbroken netwerken.

De belangrijkste implicaties zijn:

Duurzaamheid: Het verlengt de levensduur van batterijen in voertuigen, wat essentieel is voor grootschalige implementatie van ITS (Intelligent Transport Systems).
Robuustheid: Het protocol is bestand tegen extreme mobiliteit en veranderende knoopdichtheden zonder afhankelijkheid van vaste infrastructuur.
Interoperabiliteit: Door TCP/IP-compatibiliteit te bieden, opent het de deur voor het gebruik van standaard internettoepassingen in volledig mobiele, ad-hoc voertuignetwerken.

De auteurs suggereren voor toekomstig werk het gebruik van generatieve AI voor synthetische mobiliteitspatronen en Federated Learning voor 6G-enabled edge computing omgevingen.