Geometry-Aware DRL for Multi-Subband Scheduling in Satellite-Assisted UAM Networks

Stel je de lucht boven een bruisende stad niet alleen voor als lege ruimte, maar als een drukke snelweg voor de toekomst. Hier zoeven elektrische lucht taxi's en bezorgdrones tussen daken door, waarbij ze passagiers en pakketjes vervoeren in een nieuw tijdperk van stedelijk reizen, bekend als urban air mobility. Voor deze machines is het essentieel om veilig te kunnen vliegen, en daarvoor hebben ze een constante, ononderbroken conversatie met de grond nodig. Ze vereisen draadloze signalen die zo betrouwbaar zijn als een hartslag om navigatiecommando's te ontvangen en gegevens terug te sturen. De lucht is echter een chaotische plek voor radiogolven. In tegenstelling tot een auto op een weg, beweegt een vliegtuig in drie dimensies en verandert voortdurend van hoek en afstand tot de grondstations die het signaal uitzenden. Terwijl deze voertuigen langs elkaar heen zoeven, kunnen hun signalen met elkaar botsen, wat een rommelig beeld van statische ruis creëert dat de communicatie in gevaar brengt. De uitdaging voor ingenieurs is om deze conversatie helder te houden, zelfs wanneer de verkeerspatronen elke seconde verschuiven.

Om dit op te lossen, hebben onderzoekers een nieuwe manier ontwikkeld om het draadloze netwerk dat deze vliegende voertuigen ondersteunt, te beheren. Ze creëerden een systeem dat werkt als een superintelligente verkeersregelaar, maar in plaats van auto's te dirigeren, dirigeert het radiosignalen. Dit systeem beheert een netwerk waarbij grondstations en een satelliet samenwerken om de luchtvaartuigen te bedienen. De grondstations gebruiken gefocuste radiogolven, zoals zoeklichten, om met specifieke voertuigen te communiceren. De satelliet biedt een reservekanaal op een andere frequentie, klaar om het over te nemen als de grondsignalen te druk worden of geblokkeerd raken. De kern van de moeilijkheid ligt in de snelheid en complexiteit van de vereiste beslissingen. Het systeem moet onmiddellijk beslissen welke mast met welk luchtvaartuig communiceert, welk deel van het radiospectrum gebruikt moet worden en hoeveel vermogen er verzonden wordt, terwijl de luchtvaartuigen met hoge snelheid bewegen. Als het systeem aarzelt of een slechte keuze maakt, kan de verbinding wegvallen of kunnen de signalen met elkaar interfereren, wat leidt tot gegevensverlies.

De onderzoekers pakten dit probleem aan door een computer te leren de beste manier te vinden om deze beslissingen te nemen, in plaats van het te programmeren met rigide regels. Ze gebruikten een methode genaamd deep reinforcement learning, waarbij een kunstmatige intelligentie-agent oefent met het maken van keuzes in een gesimuleerde wereld, waarbij het leert van zijn successen en fouten. De belangrijkste innovatie in hun werk is dat de AI werd geleerd om aandacht te besteden aan de geometrie van de situatie. Het kijkt niet alleen naar waar de luchtvaartuigen zich bevinden; het begrijpt hoe hun posities en snelheden ten opzichte van de masten interferentie veroorzaken. Het systeem leert te voorspellen hoe de beweging van een specifiek luchtvaartuig de signaalkwaliteit voor zijn buren zal beïnvloeden, waardoor het proactieve aanpassingen kan doen. Deze aanpak is verschillend van oudere methoden die simpelweg een luchtvaartuig met de dichtstbijzijnde mast verbinden of van verbinding wisselen op basis van een eenvoudige momentopname van het huidige moment. Door het toekomstige pad van het luchtvaartuig en het complexe web van interferentie te overwegen, kan de AI een reeks verbindingen plannen die stabiel blijft over een langere periode.

In hun simulaties testten de onderzoekers dit nieuwe systeem in verschillende scenario's, variërend van een klein netwerk van vier masten die twintig luchtvaartuigen bedienen tot een grotere opstelling met zeven masten en vijftig luchtvaartuigen. Ze vergeleken hun geometrie-bewuste AI met verschillende andere methoden, waaronder traditionele algoritmen en andere soorten leermodellen die geen rekening hielden met de specifieke ruimtelijke relaties tussen de luchtvaartuigen. De resultaten toonden aan dat hun systeem, dat ze GeoSetPPO noemden, consequent beter presteerde dan de anderen. Het behaalde hogere algemene datasnelheden, wat betekent dat de luchtvaartuigen sneller meer informatie kunnen ontvangen. Belangrijker nog, het produceerde minder "outages", oftewel momenten waarop de verbinding te zwak werd om nuttig te zijn. Het systeem was bijzonder effectief in het beheren van de complexe interferentie die optreedt wanneer meerdere luchtvaartuigen dicht bij elkaar vliegen, een scenario waarin andere methoden vaak moeite hadden.

De studie benadrukte ook de efficiëntie van de nieuwe aanpak. In de simulatie van het grotere netwerk daalde de tijd die het systeem nodig had om een planningsbeslissing te nemen drastisch. Waar een eerder algoritme-gebaseerd systeem meer dan veertig milliseconden nodig had om te beslissen hoe de signalen gerouteerd moesten worden, maakte het nieuwe AI-systeem dezelfde beslissing in minder dan drie milliseconden. Deze snelheid is cruciaal voor real-world toepassingen waarbij vertragingen kunnen oplopen en problemen kunnen veroorzaken. Bovendien bleek het systeem robuust; zelfs toen de onderzoekers kleine fouten introduceerden in de gegevens over de positie en snelheid van de luchtvaartuigen, wat de imperfecties van echte sensoren nabootst, bleef de prestaties van de AI stabiel. Het had geen perfecte kennis van de omgeving nodig om effectief te functioneren, wat suggereert dat het de chaotische realiteit van een drukke stadslucht aan kan.

De onderzoekers verkenden ook hoe het systeem omgaat met de overgang tussen de grondstations en de satelliet. Door de AI te laten beslissen wanneer een luchtvaartuig naar de satellietverbinding moet overschakelen, kon het systeem de congestie op het grondnetwerk verlichten. De simulaties toonden aan dat de AI leerde de satellietlaag strategisch te gebruiken, door luchtvaartuigen daarheen te verplaatsen alleen wanneer dit de algehele netwerkprestaties zou verbeteren, in plaats van ze onnodig heen en weer te schakelen. Dit vermogen om de belasting tussen de grond- en de ruimte-lagen in evenwicht te houden, terwijl de verstorende "handovers" die optreden bij het wisselen van een verbinding worden geminimaliseerd, was een belangrijke bevinding. Het systeem leerde de verbindingen stabiel te houden en de schokkerige wisselingen te vermijden die de servicekwaliteit kunnen verslechteren.

Uiteindelijk demonstreert dit werk dat kunstmatige intelligentie getraind kan worden om de complexe, driedimensionale draadloze netwerken te beheren die nodig zijn voor de toekomstige stedelijke vlucht. Door het systeem te leren de fysieke lay-out van de lucht en het gedrag van de luchtvaartuigen daarin te begrijpen, hebben de onderzoekers een scheduler gecreëerd die sneller, betrouwbaarder en efficiënter is dan huidige methoden. De bevindingen suggereren dat, naarmate urban air mobility groeit, dergelijke intelligente beheersystemen essentieel zullen zijn om de luchten verbonden te houden, en om te garanderen dat de belofte van vliegende taxi's en drones gerealiseerd kan worden zonder de vitale verbinding met de grond te verliezen. De simulaties bieden een sterke basis voor het geloof dat deze netwerken soepel kunnen functioneren, zelfs wanneer het aantal luchtvaartuigen toeneemt en de bewegingspatronen complexer worden.