💻 computer science

WDQAR:A Weighted Double Q-Learning Based Adaptive Routing Protocol for Flying Ad Hoc Networks

Dit artikel stelt WDQAR voor, een adaptief routeringsprotocol voor Flying Ad Hoc Networks dat een gewogen dubbel Q-learning framework combineert met dynamische buurontdekking en sectorgebaseerde filtering om de bias in Q-waarde schattingen te verminderen en de routeringsprestaties in hoogmobiele UAV-omgevingen te optimaliseren.

Oorspronkelijke auteurs: Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

Gepubliceerd 2026-09-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de lucht boven rampgebieden, slagvelden of afgelegen wildernis werken kleine vliegende robots, ook wel unmanned aerial vehicles (UAV's) genoemd, steeds vaker samen in zwermen. Deze machines vertrouwen niet op zendmasten of vaste internetkabels; in plaats daarvan communiceren ze rechtstreeks met elkaar, waardoor ze een tijdelijk, zelforganiserend netwerk vormen dat in de lucht zweeft. Dit type netwerk wordt een Flying Ad Hoc Network genoemd. De uitdaging voor deze zwermen is dat de lucht een chaotische plek is. De drones bewegen snel, hun posities veranderen elke seconde en de onzichtbare radiolinks die hen verbinden kunnen net zo gemakkelijk verbreken als ze worden gevormd. Om een bericht van de ene drone naar de volgende te laten bewegen totdat het een grondstation bereikt, heeft het netwerk een routingsysteem nodig dat in een fractie van een seconde beslissingen kan nemen over welke buurman het volgende sprongetje mag vertrouwen. Traditionele methoden hebben hier vaak moeite mee, omdat ze ofwel te traag reageren op veranderingen, ofwel kostbare batterijkracht verspillen door constant updates naar elke buurman te schreeuwen.

Een team onderzoekers van de People's Liberation Army Information Engineering University heeft een nieuwe manier voorgesteld om dit probleem op te lossen, genaamd WDQAR. Hun aanpak behandelt het padvinden niet als een statische kaart die getekend moet worden, maar als een leerproces. Stel je een drone voor die nog nooit op dit specifieke traject heeft gevlogen; het moet leren welke buren betrouwbaar zijn, welke verbindingen waarschijnlijk zullen verbreken en welke richting het meest efficiënt naar het doel leidt. De onderzoekers gebruikten een techniek uit het vakgebied van kunstmatige intelligentie bekend als reinforcement learning (versterkend leren), waarbij een agent leert door middel van trial-and-error, waarbij beloningen worden ontvangen voor goede keuzes en straffen voor slechte keuzes. Echter, standaard leermethoden kunnen soms te optimistisch zijn en ervan uitgaan dat een pad beter is dan het in werkelijkheid is. Om dit op te lossen, introduceerde het team een "weighted double" leermethode. Dit systeem houdt twee aparte interne registers bij van wat het heeft geleerd. Door deze twee registers met elkaar te vergelijken en hun voorspellingen te mengen, vermijdt het systeem de valstrik van overmoedigheid, wat leidt tot stabielere en nauwkeurigere beslissingen in de snel bewegende lucht.

Het protocol werkt in twee hoofdfases. Eerst moeten de drones weten wie er om hen heen is. In een snel bewegend netwerk is het te veel energie verspillen om te vaak een "hello"-bericht te sturen om de eigen aanwezigheid aan te kondigen, maar het te weinig vaak doen betekent dat de drone mogelijk niet merkt dat een buurman buiten het bereik is gedreven. Het WDQar-systeem lost dit op door de timing van deze berichten adaptief te maken. Als een drone een stabiel patroon vliegt met buren die in dezelfde richting bewegen, vertraagt het de frequentie van zijn hello-berichten. Als de wind of manoeuvres ervoor zorgen dat de verbindingen wankel worden, versnelt het de berichten om up-to-date te blijven. Deze dynamische aanpassing zorgt ervoor dat het netwerk zich bewust blijft van zijn veranderende vorm zonder de ether te overstromen met onnodige ruis.

Zodra een drone weet wie zijn buren zijn, moet hij beslissen waar hij het datapakket vervolgens naartoe stuurt. In plaats van elke enkele buurman te vragen, filtert het systeem de lijst eerst op basis van geografie. Het creëert een kegelvormige zone die in de richting van de bestemming wijst en overweegt alleen buren binnen die kegel. Dit verkleint het veld van keuzes, waardoor het leeralgoritme zich kan concentreren op de meest veelbelovende paden. De beslissing over welke buurman gekozen wordt, wordt vervolgens gestuurd door een beloningssysteem dat vier specifieke factoren weegt: hoeveel batterijcapaciteit de buurman nog over heeft, hoe lang de verbinding naar verwachting zal duren, hoe veel dichter de buurman bij de uiteindelijke bestemming is, en hoeveel andere betrouwbare buren die buurman heeft. Door deze factoren in balans te brengen, voorkomt het systeem dat data wordt verzonden naar een drone die bijna zonder stroom zit of naar een drone die een doodlopende weg in gaat.

Om dit leerproces te versnellen, gaven de onderzoekers de drones een voorsprong. In plaats van te beginnen met nul kennis, wijst het systeem een initiële waarde toe aan elke buurman op basis van diens positie ten opzichte van de bestemming. Een buurman die fysiek dichter bij het doel is, krijgt een betere startscore. Dit voorkomt dat de drones in het begin van het proces tijd verspillen aan het verkennen van nutteloze paden. Bovendien past het systeem zijn eigen leersnelheid aan op basis van hoe stabiel het netwerk is. Als een verbinding traag of onbetrouwbaar is, leert het systeem snel van die fout. Als de verbinding stabiel is, leert het langzamer en vertrouwt het meer op zijn eerdere ervaringen. Deze flexibiliteit stelt het netwerk in staat om direct te reageren op plotselinge veranderingen in snelheid of richting.

De onderzoekers testten hun idee met behulp van een computersimulatie die een scenario voor rampenmonitoring modelleerde met maximaal honderd drones die in een driedimensionale ruimte vlogen. Ze vergeleken hun nieuwe protocol met andere bestaande methoden die ook leeralgoritmen gebruiken. De resultaten lieten zien dat het WDQAR-systeem aanzienlijk effectiever was. Het leverde een hoger percentage datapakketten af bij het grondstation, waarbij een gemiddelde succesratio van meer dan tweeënnegentig procent werd bereikt, zelfs naarmate het aantal drones toenam. Het slaagde er ook in om de data sneller daar te krijgen, met een gemiddelde vertraging die bijna veertig procent lager was dan die van de beste concurrent. Misschien wel het belangrijkste voor de levensduur van de zwerm: het nieuwe protocol verbruikte minder energie en genereerde minder verkeer voor de besturing. Door minder hello-berichten te sturen en efficiëntere paden te kiezen, behielden de drones hun batterijduur en hielden ze het netwerk soepel draaien.

De studie bevestigt dat door een slimme manier om buren te filteren te combineren met een zorgzamere methode om te leren van ervaring, het mogelijk is om een routingsysteem te creëren dat robuust genoeg is voor de onvoorspelbare aard van de vlucht. Hoewel de bevindingen voortkomen uit simulaties en niet uit fysieke vluchttests, suggereren de gegevens dat deze aanpak toekomstige dronezwermen betrouwbaarder kan maken in real-world situaties waar de communicatie-infrastructuur afwezig of beschadigd is. Het werk benadrukt dat in een wereld van bewegende delen, de beste strategie niet alleen is om te reageren, maar om te leren, opties zorgvuldig af te wegen en continu aan te passen aan de omgeving.

Technische Samenvatting: WDQAR - Een op gewogen Double Q-learning gebaseerd adaptief routingprotocol voor FANETs

1. Probleemstelling

Flying Ad Hoc Networks (FANETs), bestaande uit Unmanned Aerial Vehicles (UAVs), worden geconfronteerd met aanzienlijke uitdagingen bij het handhaven van betrouwbare routing vanwege de snelle mobiliteit van knooppunten, frequente topologieveranderingen en instabiele communicatielinks. Hoewel er bestaande routingprotocollen voor Mobile Ad Hoc Networks (MANETs) en Vehicular Ad Hoc Networks (VANETs) zijn, voldoen deze vaak niet aan de FANET-vereisten vanwege hoge controle-overhead, gevoeligheid voor onnauwkeurigheden in locatie en een onvermogen om te leren van dynamische omstandigheden.

Specifiek lijden Q-learning-gebaseerde routingprotocollen, hoewel ze adaptief zijn, onder drie primaire beperkingen in deze context:

Vertekende Q-waarde schatting: Conventionele Q-learning heeft de neiging om toekomstige waarden te overschatten omdat het dezelfde Q-tabel gebruikt voor zowel de actiekeuze als de waardevaluatie.
Trage convergentie: Willekeurige of nul-initialisatie van Q-waarden leidt tot inefficiënte vroege exploratie en een trage aanpassing aan de huidige netwerkomgeving.
Hoge controle-overhead: Statische HELLO-berichtintervallen resulteren vaak in ofwel verouderde topologie-informatie (als ze te lang zijn) of excessieve controleverkeer (als ze te kort zijn), waardoor ze niet kunnen adapteren aan variërende linkduur en nodesnelheden.

2. Methodologie: WDQAR

Het artikel stelt WDQAR voor (Weighted Double Q-Learning based Adaptive Routing), een tweefasig protocol ontworpen om de bovengenoemde problemen aan te pakken. Het protocol opereert binnen een 3D disaster monitoring scenario waarbij UAV's communiceren met een Ground Control Station (GCS).

2.1 Adaptieve Neighbor Discovery

Om topologieveranderingen efficiënt te beheren, introduceert WDQAR een mechanisme voor de dynamische aanpassing van het HELLO-bericht broadcast-interval.

Mechanisme: In plaats van een vast interval wordt de broadcastperiode ( $HP_i^t$ ) berekend op basis van de voorspelde Link Duration ( $LD_{ij}$ ) en de Cosine Similarity ( $CS_i^t$ ) van de snelheidvectoren tussen een knooppunt en zijn buren.
Logica: Als knooppunten snel uit elkaar bewegen (lage linkduur) of divergente snelheden hebben, verkort het interval om de buurtabellen sneller bij te werken. Als de topologie stabiel is, verlengt het interval om de controle-overhead te verminderen.
Grenzen: Het interval wordt begrensd binnen $[HP_{min}, HP_{max}]$ om extreme waarden te voorkomen.

2.2 Routing Decision Module

De routingfase maakt gebruik van een reinforcement learning-framework met verschillende specifieke optimalisaties:

A. Candidate Neighbor Filtering

Om de actieruimte te verkleinen en convergentie te versnellen, filtert het protocol potentiële volgende hops met behulp van een sector-gebaseerd mechanisme.

Een sferische sector wordt gedefinieerd met het huidige knooppunt als centrum, de GCS als centrale as, en een halve kegelhoek ( $\phi \approx 60^\circ$ ).
Alleen buren binnen deze sector worden beschouwd als primaire kandidaten. Als er geen buren in de sector aanwezig zijn, valt het protocol terug op een greedy kandidaatenset (knooppunten die dichter bij de GCS liggen).

B. Q-Waarde Initialisatie

Om inefficiënte vroege exploratie te voorkomen, gebruikt WDQAR een positie-gebaseerde initialisatiestrategie in plaats van willekeurige of nul-initialisatie.

De initiële Q-waarde ( $Q_{init}$ ) wordt toegewezen op basis van de ratio van de afstand van de kandidaat-buur tot de bestemming versus de afstand van het huidige knooppunt tot de bestemming.
Buren die dichter bij de bestemming liggen, ontvangen hogere initiële Q-waarden, wat de agent voorziet van voorkennis over de doorvoercapaciteiten.

C. Ontwerp van de Reward Function

De reward functie ( $r_i^t$ ) is een gewogen som van vier genormaliseerde metrieken, waarvan de gewichten dynamisch worden bepaald met behulp van Informatie-entropie:

Residual Energy ( $E_j$ ): Voorkomt energie-uitputting op specifieke knooppunten.
Link Duration ( $LD_{ij}$ ): Geeft prioriteit aan stabiele links.
Geografische Progressie ( $F_{ij}$ ): Stimuleert voorwaartse beweging naar de bestemming terwijl afwijkingshoeken worden geminimaliseerd.
Valid Neighbor Ratio ( $VNR_{ij}$ ): Weerspiegelt de dichtheid van betrouwbare buren die beschikbaar zijn voor opeenvolgende hops, wat het risico op routing holes vermindert.

D. Weighted Double Q-Learning Update

Om de overschattingsbias van standaard Q-learning en de potentiële onderschatting van Double Q-learning te mitigeren, maakt WDQAR gebruik van een Weighted Double Q-Learning benadering.

Dubbele Tabellen: Elk UAV onderhoudt twee onafhankelijke Q-tabellen ( $Q_1$ en $Q_2$ ).
Updateproces: Eén tabel wordt willekeurig geselecteerd voor de update, terwijl de andere wordt gebruikt om de actiewaarde te evalueren.
Adaptieve Weging: Een adaptief gewicht ( $\beta$ ) wordt berekend op basis van de spreiding van waarden tussen de twee estimators voor de beste en slechtste acties. Dit gewicht balanceert de enkelvoudige en dubbele estimators, wat resulteert in een nauwkeurigere toekomstige waardeschatting ( $Q_W$ ) en de stabiliteit verhoogt.

E. Dynamische Learning Parameters

De leersnelheid ( $\alpha$ ) en de discount factor ( $\gamma$ ) worden adaptief aangepast:

Leersnelheid: Neemt toe wanneer de delay van de volgende hop hoger is dan het gemiddelde (wat duidt op instabiliteit) om waarden sneller bij te werken; neemt af voor stabiele links om te vertrouwen op historische ervaring.
Discount Factor: Wordt aangepast op basis van de stabiliteit van de naburige sets tussen opeenvolgende tijdstappen, waardoor de afhankelijkheid van toekomstige beloningen wordt verminderd wanneer de topologievariatie drastisch is.

3. Belangrijkste Bijdragen

Het artikel schetst vier belangrijke bijdragen:

Adaptief HELLO Mechanisme: Een dynamische aanpassing van de broadcast-intervallen op basis van linkduur en snelheidssimilariteit om de balans te vinden tussen tijdige topologie-updates en reductie van de controle-overhead.
Weighted Double Q-Learning Framework: Een gedistribueerd routingprotocol dat twee Q-tabellen onderhoudt met een adaptief wegingsmechanisme om schattingsbias te verminderen en de stabiliteit te verbeteren in zeer dynamische omgevingen.
Omvattende Reward Function: Een multi-metrieken reward functie die residuele energie, linkduur, geografische progressie en de valid neighbor ratio incorporeert, waarbij de gewichten dynamisch worden bepaald via informatie-entropie.
Optimalisatiestrategieën: De integratie van positie-gebaseerde Q-waarde initialisatie en adaptieve leerparameters om convergentie te versnellen en de aanpasbaarheid te verbeteren.

4. Simulatie Resultaten

Het protocol werd geëvalueerd met behulp van NS-3 in een 3D disaster monitoring scenario met 40–100 UAV's die bewegen met 10–30 m/s. WDQAR werd vergeleken met QFANET en QGEO.

Q-waarde Stabiliteit: Weighted double Q-learning verminderde de volatiliteit van de Q-waarden met ongeveer 45,62% en de totale variatie met 33,03% vergeleken met single Q-learning.
Packet Delivery Ratio (PDR): WDQAR behaalde de hoogste PDR, met een gemiddelde van 92,62% (ongeveer 3,42% hoger dan QFANET en 6,50% hoger dan QGEO). Het behield een superieure prestatie over variërende node-densiteiten en UAV-snelheden.
End-to-End Delay: WDQAR vertoonde de laagste gemiddelde delay (16,80 ms), wat een reductie betekent van 40,93% vergeleken met QFANET en 44,30% vergeleken met QGEO.
Energieverbruik: Het protocol verminderde het gemiddelde energieverbruik met 12,34% (vs. QFANET) en 6,86% (vs. QGEO) door de belasting te balanceren en onnodige retransmissies te verminderen.
Routing Overhead: WDQAR bereikte de laagste overhead (9,94%), een reductie van 29,43% en 34,80% vergeleken met de vergelijkbare protocollen, primair dankzij het adaptieve HELLO-interval.

5. Betekenis en Claims

De auteurs beweren dat WDQAR de betrouwbaarheid van de routing en de leerstabiliteit in zeer dynamische FANET-omgevingen aanzienlijk verbetert. Door de specifieke beperkingen van bestaande Q-learning benaderingen aan te pakken — namelijk schattingsbias, trage convergentie en statische controle-overhead — biedt het protocol een robuuste oplossing voor UAV-zwermen die opereren in hulpbron-beperkte, mobiele scenario's met hoge snelheid.

Het artikel concludeert dat de combinatie van adaptieve neighbor discovery, sector-gebaseerde filtering en weighted double Q-learning het netwerk in staat stelt om optimale routes nauwkeuriger te identificeren en beter aan te passen aan topologieveranderingen dan de huidige state-of-the-art protocollen. Toekomstig werk omvat het uitbreiden van het protocol naar grotere, complexere scenario's en het valideren van de aanpak via hardware-in-the-loop en real-world UAV experimenten.