Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks

Stel je een wereld voor waarin het internet niet bestaat, of althans niet het soort dat je telefoon elke seconde met een server verbindt. Op plaatsen zoals rampgebieden, afgelegen bossen, of zelfs drukke steden met verstoorde signalen, kunnen berichten niet zomaar direct van verzender naar ontvanger "vliegen". In plaats daarvan moeten ze een spelletje "warme aardappel" spelen. Dit is de wereld van Delay-Tolerant Networks (DTN's). Denk eraan als een spelletje tikkertje waarbij de spelers bewegende auto's en drones zijn. Een bericht is het "it"-label. Als je het label vangt, houd je het vast totdat je iemand anders tegenkomt die het verder kan dragen. Je slaat het op, draagt het, en stuurt het pas door wanneer je dicht genoeg bij een ander persoon bent. Dit wordt "store-carry-forward" genoemd.

Het lastige deel is dat deze netwerken vaak ijl en chaotisch zijn. De "spelers" (auto's en mensen) bewegen op vaste wegen, en het "label" (het bericht) heeft een tijdslimiet voordat het verloopt. Als de spelers elkaar niet vaak genoeg ontmoeten, of als ze te vol raken en geen zakken meer hebben om de labels in te bewaren, gaat het bericht verloren. Om dit op te lossen, zijn wetenschappers begonnen met het inzetten van Unmanned Aerial Vehicles (UAV's), oftewel drones, om als vliegende boodschappers te fungeren. Drones kunnen over het verkeer vliegen, verder reiken en precies kiezen waar ze heen gaan. Maar hier komt de grote vraag: hoe vertel je de drones waar ze naartoe moeten vliegen én vertel je de auto's op de grond wanneer ze een bericht moeten doorgeven, en dat alles tegelijkertijd, zonder een centrale baas die iedereen vertelt wat te doen? Als de drones de verkeerde kant op vliegen, komen de auto's elkaar misschien nooit tegen. Als de auto's berichten aan de verkeerde mensen doorgeven, vliegen de drones naar lege plekken.

Dit is precies de puzzel waar onderzoekers Xiao Wang en Shun-Ren Yang zich mee bezighielden in hun artikel over JUROR (Joint UAV flight and Opportunistic Routing). Ze gokten niet alleen; ze bouwden een slim systeem met behulp van een type kunstmatige intelligentie genaamd Reinforcement Learning. Stel je voor dat een team van drones en auto's samen een videogame speelt. Ze hebben geen kaart van de toekomst, maar ze leren door dingen uit te proberen. Als ze een bericht succesvol doorgeven, krijgen ze een "punt". Als een bericht verloopt of als een drone tegen een menigte andere drones botst, verliezen ze punten. Het artikel simuleert dit scenario duizenden keren om de drones en auto's te leren hoe ze moeten samenwerken.

De belangrijkste bevinding is dat wanneer de drones en auto's leren om als één team samen te werken, in plaats van alleen vaste regels te volgen, ze veel meer berichten bezorgen. De onderzoekers ontdekten dat de drones "bestuurbaar" moeten zijn — wat betekent dat het systeem beslist waar ze heen vliegen op basis van waar het verkeer vaststaat. Ze ontdekten ook dat hoewel de drones een "referentiegids" (globale informatie) kunnen gebruiken terwijl ze leren in de simulator, ze in de echte wereld hun eigen beslissingen moeten nemen op basis van wat ze lokaal kunnen zien. Deze aanpak, genaamd Centralized Training and Decentralized Execution (CTDE), bleek het geheime ingrediënt te zijn.

In hun simulaties presteerde het JUROR-systeem aanzienlijk beter dan oudere, traditionele methoden. In één testscenario waarbij 69 berichten werden verzonden, slaagden de oude methoden er bijvoorbeeld in om ongeveer de helft ervan te bezorgen, terwijl het JUROR-systeem meer dan 57 van de 69 berichten bezorgde (ongeveer 83%). Het artikel suggereert dat het toevoegen van drones alleen niet genoeg is; de drones moeten actief worden gestuurd om nieuwe ontmoetingsplaatsen voor de voertuigen op de grond te creëren, en de voertuigen moeten beslissen wanneer ze berichten doorgeven op basis van wat de drones aan het doen zijn. Het is een delicate dans waarbij de vliegers en de wandelaars in sync moeten bewegen om de informatiestroom op gang te houden, zelfs wanneer het netwerk onderbroken of ijl is.

Het Verhaal van de Vliegende Boodschappers

Hoe werkt JUROR dan precies? Stel je een drukke stadsstraat voor. Je hebt een heleboel auto's (de grondnodes) die vaststaan in het verkeer, en een paar drones (de UAV's) die erboven zoemen. De auto's hebben berichten die ze naar specifieke bestemmingen moeten krijgen, maar ze kunnen alleen met andere auto's of drones praten als ze dichtbij zijn. Als de auto's vaststaan in een file, kunnen ze niemand anders bereiken. Als de drones zomaar in willekeurige cirkels vliegen, missen ze de file misschien volledig.

De onderzoekers realiseerden zich dat het probleem een "kip-en-ei"-situatie is. De auto's hebben de drones nodig om naar hen toe te vliegen om berichten te verspreiden, maar de drones moeten weten waar de auto's zich ophopen om te weten waar ze heen moeten vliegen. Om dit op te lossen, behandelt JUROR het hele netwerk als een team van teamgenoten. Elke auto en elke drone is een "agent" met een eigen brein.

Het Leerproces: Trial and Error
Het systeem gebruikt een methode genaamd Proximal Policy Optimization (PPO). Stel je voor dat je een puppy leert om een bal te halen. Je vertelt de puppy niet precies hoe hij moet rennen; je gooit gewoon de bal en zegt "Goede hond!" wanneer hij hem terugbrengt. Na verloop van tijd leert de puppy welke bewegingen leiden tot een beloning. JUROR doet hetzelfde, maar dan met wiskunde.

1. De Simulatie: De onderzoekers creëerden een virtuele wereld (een simulator) met 70 nodes: 65 auto's en 5 drones. Ze stelden verschillende verkeersscenario's op, zoals een plotselinge piek in het aantal berichten of een constante stroom verkeer.
2. De Team Beloning: In plaats van alleen één drone of één auto te belonen, geeft het systeem een "teamscore". Als een bericht wordt bezorgd, krijgt iedereen een punt. Als een bericht verloopt (tijd tekort komt) of als een buffer (geheugen) vol raakt en een bericht laat vallen, verliest iedereen punten. Dit dwingt de drones en auto's om samen te werken. Als een drone naar een plek vliegt waar geen auto's zijn, helpt dat de teamscore niet. Als een auto een bericht te lang vasthoudt, verliest het team punten.
3. De "Referentiegids" versus het Echte Leven: Hier zit de slimme zet. Wanneer het systeem traint (leert), kan de "leraar" (de criticus) het hele bord zien. De leraar weet precies waar elke auto en elke drone is, hoeveel geheugen ze hebben en waar de files zitten. Het gebruikt dit "globale overzicht" om de agents te vertreden: "Hé, je hebt een goede zet gedaan!" of "Dat was een slechte zet!". Maar wanneer het systeem wordt ingezet (gebruikt in de echte wereld), kunnen de drones en auto's alleen zien wat er recht voor hen staat. Ze kunnen niet het hele stadsoverzicht zien. Ze weten alleen wie ze op dit moment raken of met wie ze contact hebben. Het artikel laat zien dat de agents, zelfs met dit beperkte zicht, nog steeds ongelooflijk goed presteren omdat ze getraind zijn met de hulp van de "referentiegids".

De Nieuwe Taak van de Drones
In oudere systemen vlogen drones misschien in een vooraf ingesteld patroon, zoals een grasmaaier die heen en weer gaat. Maar JUROR leert de drones om slim te zijn. Ze kijken naar "stressvelden". Stel je voor dat de stad onzichtbare hittekaarten heeft die laten zien waar berichten zich opstapelen. Als een groep auto's vaststaat in een gebied met veel berichten, gloeit dat gebied rood. De drones leren om naar de rode zones te vliegen om berichten op te pikken en weg te dragen.
Het artikel testte ook of drones zouden moeten proberen te voorspellen waar het verkeer in de toekomst zal zijn (met behulp van een tool genaamd LSTM, wat een soort kortetermijngeheugen voor patronen is). Ze ontdekten dat hoewel dit in sommige situaties kan helpen, het niet altijd noodzakelijk is. Soms is het simpelweg reageren op de huidige verkeersopstopping voldoende. Sterker nog, in sommige scenario's met zwaar verkeer maakte het voorspellen van de toekomst het systeem zelfs iets slechter, omdat de voorspellingen ruis bevatten en de drones in verwarring brachten.

Wat ze vonden
De resultaten waren duidelijk. In de simulatieses was JUROR een gamechanger.

• Zonder Drones: Als je alleen auto's hebt en geen bestuurbare drones, heeft het systeem het moeilijk. In één test werden slechts ongeveer 13 van de 69 berichten bezorgd.
• Met Drones (Leren): Het toevoegen van slechts één bestuurbare drone maakte een groot verschil en bezorgde meer dan 45 berichten. Wanneer de drones en auto's leerden om als een volledig team samen te werken, schoot het bezorgingspercentage omhoog naar meer dan 57 berichten.
• Vergelijking met Oude Methoden: JUROR bezorgde aanzienlijk meer berichten dan de oude methoden in de meeste scenario's, vooral wanneer het verkeer zwaar was. Echter, het artikel merkt op dat in scenario's met regelmatig, voorspelbaar verkeer, sommige traditionele methoden zoals PRoPHET nog steeds vrij goed presteerden, wat aantoont dat het voordeel van JUROR het meest uitgesproken is in complexe, overvolle of chaotische omgevingen.

Het artikel sloot ook een aantal ideeën uit. Ze ontdekten dat je drones niet simpelweg als iets aparts van de auto's kunt behandelen. Je moet ze samen optimaliseren. Als je probeert het vliegpad van de drone apart van de berichtroutering te optimaliseren, haalt het systeem zijn volledige potentieel niet. Ze ontdekten ook dat hoewel "hotspot"-voorspelling (raden waar het verkeer zal zijn) goed klinkt, het geen wondermiddel is. Het hangt sterk af van het type verkeer. Soms helpt het, soms schaadt het. De meest betrouwbare opstelling was die waarbij de drones en auto's simpelweg reageerden op de huidige situatie met behulp van hun lokale waarnemingen, getraind met de hulp van een globale leraar.

Waarom het ertoe doet
Dit gaat niet alleen over het sneller versturen van e-mails. Dit gaat over wat er gebeurt als het internet uitvalt. Denk aan een natuurramp waarbij zendmasten zijn uitgevallen. Je moet een bericht van een overlevende naar een reddingsteam krijgen. De overlevende bevindt zich misschien in een auto, en het reddingsteam bevindt zich in een drone. Als de drone niet weet waar hij naartoe moet vliegen, of als de auto niet weet wanneer hij het bericht moet doorgeven, gaat het bericht verloren. JUROR laat zien hoe we deze netwerken robuust kunnen maken. Het bewijst dat door de vliegende en de gronddelen van het netwerk samen te laten leren, we de communicatielijnen open kunnen houden, zelfs wanneer de wereld in chaos verkeert.

De onderzoekers hebben niet alleen een theorie gebouwd; ze hebben de cijfers gecontroleerd. Ze hebben het getest tegen vijf andere bekende methoden (zoals PRoPHET en MaxProp) en JUROR won over het algemeen, vooral wanneer het verkeer zwaar werd. Het artikel concludeert dat deze "gecombineerde" aanpak — waarbij het vliegpad en het berichtpad samen worden beslist — de sleutel is tot het ontsluiten van het volledige potentieel van delay-tolerant netwerken. Het is een herinnering dat in een chaotische wereld de beste manier om verbonden te blijven, is door als een team samen te werken, of je nu op de grond bent of in de lucht.