💻 computer science

ER-Curriculum-DDQN for Critical Task Offloading in UAV-MEC via Transparent LEO Relays

Dit artikel stelt ER-Curriculum-DDQN voor, een deep reinforcement learning-framework dat haalbaarheidsmaskering, kritieke taakdrukken en reservatiegestuurd curriculumleren integreert om online taakoffloading in UAV-MEC-systemen via transparante LEO-relais te optimaliseren, waardoor de tijdige voltooiingsratio van kritieke taken onder strikte servicevensterbeperkingen wordt gemaximaliseerd.

Oorspronkelijke auteurs: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Gepubliceerd 2026-09-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte, stille stroken van de lucht waar de infrastructuur van de grond vervaagt, krijgt een nieuw soort netwerk vorm. Stel je een vloot drones voor, of onbemande luchtvaartuigen, die boven een rampgebied of een afgelegen bergketen zweven en het gewicht dragen van urgente data van sensoren en camera's. Deze drones fungeren als vliegende computers, maar ze hebben beperkingen. Om complexe problemen op te lossen, moeten ze hun zware data naar krachtige servers op de grond of in de cloud sturen. Wanneer de grond te ver weg is of de wegen geblokkeerd zijn, kijken deze drones omhoog naar de sterren voor hulp. Ze maken verbinding met lage baan-satellieten die fungeren als transparante spiegels, die signalen simpelweg tussen de drone en een verre gateway reflecteren zonder de informatie zelf te verwerken. Dit creëert een vluchtige brug, een smal tijdvenster waarin de drone, de satelliet en het grondstation allemaal op één lijn liggen. De uitdaging is dat dit venster kort en onvergeeflijk is. Als een drone probeert een massief, niet-urgent bestand via deze brug te sturen, kan het de gehele verbinding voor de duur van de transactie blokkeren. Als er een kritiek noodbericht arriveert terwijl die brug bezet is, kan dit niet worden verzonden totdat de eerste taak is voltooid, wat potentieel een levensreddende deadline kan missen. De kernvraag voor wetenschappers is hoe ze deze schaarse, tijdgebonden verbinding kunnen beheren zodat de belangrijkste taken altijd doorkomen, zelfs wanneer het systeem overvol is.

Onderzoekers aan de Beijing Jiaotong University en de Army Arms University van de PLA hebben dit probleem aangepakt door een slim beslissingssysteem voor deze vliegende netwerken te ontwerpen. Ze concentreerden zich op een scenario waarin twintig drones samenwerken en twee grondgebaseerde computercentra en twee satellietpaden delen. Het systeem moet op het moment dat een nieuwe taak arriveert beslissen of hij deze lokaal op de drone verwerkt, naar een nabijgelegen grondserver stuurt, of door de satelliet doorstuurt. De crux is dat het satellietpad werkt volgens een strikte "first-come, first-served"-regel die niet onderbroken kan worden zodra deze is gestart. Als een routinetaken wordt toegelaten tot het satellietpad, reserveert deze de gehele verbinding voor zijn reis, waardoor elke andere taak, ongeacht de urgentie, wordt geblokkeerd totdat de retourvlucht is voltooid. De onderzoekers hadden een manier nodig om te voorspellen wanneer ze "nee" moesten zeggen tegen een routetaak om het satellietpad vrij te houden voor een toekomstige noodsituatie, en dat alles zonder te weten welke taken er als volgende zouden arriveren.

Om dit op te lossen, ontwikkelde het team een nieuwe methode genaamd ER-Curriculum-DDQN. Dit is een type kunstmatige intelligentie die leert door vallen en opstaan, maar met een specifieke set regels om het geworteld te houden in de realiteit. Het systeem gebruikt een "feasibility mask" (haalbaarheidsmasker), dat fungeert als een filter dat direct onmogelijke keuzes verwijdert. Bijvoorbeeld, als het satellietvenster gesloten is of het lokale geheugen van de drone vol is, kan het systeem deze opties simpelweg niet overwegen. Dit voorkomt dat de AI tijd verspilt aan het nadenken over acties die door fysieke beperkingen zouden falen. Naast het weten wat mogelijk is, houdt het systeem een "druk"-kenmerk bij. Dit is een maatstaf voor hoeveel vraag er in de recente geschiedenis naar het satellietpad is geweest vanuit kritieke taken. Als het systeem merkt dat kritieke taken regelmatig arriveren, wordt het voorzichtiger met het toelaten van routinetaken aan de satelliet, waardoor de brug effectief wordt bewaard voor de noodsituaties die daarna kunnen komen.

Het leerproces zelf werd begeleid door een "curriculum", een onderwijsstrategie die begint met eenvoud en steeds moeilijker wordt. In de vroege stadia van de training werd de AI expliciet verteld dat zij een straf zou krijgen wanneer zij een routetaak het gebruik van de satelliet liet, indien die actie de druk op het systeem verhoogde. Dit leerde de AI de waarde van het achterhouden van middelen. Naarmate de training vorderde, werd deze expliciete straf geleidelijk afgebouwd, waardoor de AI werd gedwongen de les te internaliseren en de juiste beslissingen te nemen op basis van de geleerde patronen, in plaats van een simpele regel te volgen. Het doel was niet alleen om taken uit te voeren, maar om te garanderen dat de meest kritieke taken op tijd worden voltooid.

De onderzoekers testten hun systeem via uitgebreide computersimulaties, waarbij ze het stelden tegenover andere bekende methoden en eenvoudige regelgebaseerde benaderingen. Ze varieerden de omstandigheden door te variëren in hoeveel taken er per seconde arriveerden, hoe lang de satellietvensters duurden en hoe groot het aandeel van de kritieke noodsituaties was. In elk scenario, vooral wanneer het systeem onder zware belasting stond of de satellietvensters zeer kort waren, presteerde de nieuwe methode beter dan de anderen. Het behaalde de hoogste snelheid van tijdige voltooiing voor kritieke taken. Bijvoorbeeld, wanneer het aantal inkomende taken hoog was en de satellietvensters krap waren, slaagde het nieuwe systeem erin om kritieke taken ongeveer 69% van de tijd te voltooien, terwijl andere methoden aanzienlijk lager scoorden. De resultaten toonden aan dat door een strikte filter voor onmogelijke bewegingen te combineren met een geleerd gevoel voor toekomstige vraag, het systeem de belangrijkste data kon beschermen zonder de toekomst te hoeven kennen.

De studie bevestigt dat in deze hoogwaardige, tijdgevoelige omgevingen de beste strategie niet alleen is om te reageren op wat er nú gebeurt, maar om de schaarste van de verbinding zelf te begrijpen. De onderzoekers kwamen tot de conclusie dat het simpelweg prioriteren van kritieke taken door ze hogere gewichten te geven niet genoeg was; het systeem moest de kosten begrijpen van het bezetten van het satellietpad met een routetaak. Door een leerbenadering te gebruiken die de fysieke limieten van het netwerk respecteert en leert van de geschiedenis van de vraag, kunnen de drones slimmere keuzes maken. Dit werk beweert niet elk probleem in de ruimtecommunicatie te hebben opgelost, noch belooft het in elk mogelijk toekomstig scenario te werken, maar het demonstreert een duidelijke en effectieve manier om de delicate balans te beheren tussen routinematig werk en dringende behoeften in een netwerk waar tijd de meest waardevolle hulpbron is.

Technische Samenvatting: ER-Curriculum-DDQN voor Kritieke Taakoffloading in UAV-MEC via Transparante LEO-Relais

Probleemstelling
Dit onderzoek adresseert de uitdaging van online taakoffloading in door Unmanned Aerial Vehicle (UAV)-ondersteunde Mobile Edge Computing (UAV-MEC) systemen, geassisteerd door transparante Low Earth Orbit (LEO) relais. In scenario's waar terrestrische edge-dekking beperkt is, verbinden transparante LEO-relais UAV's met afgelegen cloud-bronnen. Deze verbindingen worden echter beperkt door korte, tijdvariërende gezamenlijke servicewindows tussen het relais en de gateway.

De kern van de moeilijkheid ligt in de atomiciteit en niet-preëmptieve aard van deze servicewindows. Een taak die aan een satelliet (SAT) pad wordt toegewezen, moet een volledige verzoek-antwoord transactie (transmissie, doorsturen, remote verwerking, resultaat teruggeven en guard-intervallen) voltooien binnen één enkel aaneengesloten window. Zodra een niet-kritieke taak is toegewezen, blokkeert deze het pad en reserveert deze de benodigde aaneengesloten capaciteit onder First-In-First-Out (FIFO) semantiek. Dit creëert een cruciale afweging: het toewijzen van een niet-kritieke taak kan de beperkte servicecapaciteit verbruiken die nodig is voor een toekomstige, tijdgevoelige Kritieke taak, die de bestaande reservatie niet kan preëmteren. Het systeem werkt onder onzekerheid, zonder voorafgaande kennis van toekomstige taakinstroom of de beschikbaarheid van windows, wat een online beslissingsbeleid vereist dat prioriteit geeft aan de tijdige voltooiing van Kritieke taken zonder te vertrouwen op toekomstige voorspellingen.

Methodologie: ER-Curriculum-DDQN
De auteurs stellen ER-Curriculum-DDQN voor, een reinforcement learning-framework ontworpen om deze gemaskeerde Markov Decision Process (MDP) op te lossen. De methodologie integreert vier kerncomponenten:

Path-Locked FIFO Reservation Model: Het systeem modelleert SAT-services met harde haalbaarheidsvoorwaarden. Een taak wordt alleen aan een SAT-pad toegewezen als de volledige transactie gegarandeerd kan worden voltooid voordat het huidige gezamenlijke window sluit, rekening houdend met de "staart" van bestaande reservaties.
State Representatie en Feasibility Masking: De state-vector bevat taakattributen, lokale UAV-statussen, gedeelde MEC-queue statussen, SAT window/reservatie statussen en een nieuwe Critical SAT-demand pressure feature. Een atomaire haalbaarheidsmasker wordt toegepast op de actieruimte (LOCAL, twee MEC opties, twee SAT paden, DROP). Dit masker elimineert structureel onhaalbare acties (bijv. het selecteren van een SAT-pad als het window te kort is voor de transactie) op basis van de huidige causale staat, waardoor de agent nooit fysiek onmogelijke acties selecteert.
Critical Demand Pressure Feature: Om schaarste aan middelen te anticiperen zonder de toekomst te voorspellen, gebruikt de agent een pressure feature ( $q_s$ ). Deze metriek schat de ratio van de verwachte vraag naar Kritieke taken (gebaseerd op historische aankomstintensiteit en transactieduur) ten opzichte van de momenteel beschikbare aaneengesloten capaciteit op een SAT-pad. Dit stelt de agent in staat om de "opportuniteitskosten" te leren van het toewijzen van niet-kritieke taken.
Reservation-Guided Curriculum: Het trainingsproces maakt gebruik van een curriculum learning-strategie. In de vroege fase van de training wordt een strafterm toegevoegd aan de beloning voor niet-kritieke taken die de druk op SAT-paden verhogen. Deze coëfficiënt wordt geanneleerd (geleidelijk verminderd) over de trainings-episoden. Dit begeleidt de Double DQN om aanvankelijk de afweging te leren tussen het toewijzen van niet-kritieke taken en het beschermen van capaciteit voor toekomstige Kritieke taken, om uiteindelijk te vertrouwen op de geleerde Q-waarden en causale state-features.

Het algoritme maakt gebruik van een Double DQN-backbone om waarde-overschatting te mitigeren, waarbij het online netwerk acties selecteert en het target netwerk deze evalueert, alles binnen de grenzen van de feasibility mask.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

Systeemmodellering: Ontwikkeling van een path-locked FIFO-reservatiemodel voor transparante LEO-relais-offloading, waarbij dekking, queue-capaciteit en de voltooiing van de volledige transactie als harde haalbaarheidsvoorwaarden worden behandeld.
Algoritmeontwerp: Voorstel van het ER-Curriculum-DDQN algoritme, dat uniek een atomaire feasibility mask, een causale Critical-demand pressure feature en een geanneleerd reservatie-curriculum combineert om toekomstige Kritieke services te beschermen.
Prestatievalidatie: Demonstratie via uitgebreide simulaties dat de voorgestelde methode een superieur of gelijkwaardig beste prestatie levert in de Critical-task Timely Completion Ratio (Critical-TCR) vergeleken met baselines, met name in scenario's met hoge belasting, korte windows en hoge kritikaliteit.

Experimentele Resultaten
De studie evalueert de methode tegenover verschillende baselines, waaronder ER-Curriculum-PPO, Masked DDQN-Base, en regelgebaseerde benaderingen (WRAO, EFT-Greedy) over variërende taak-aankomstfrequenties (8–24 taken/s), duur van de gezamenlijke service windows (2.5–6.0 s) en de ratio van Kritieke taken (0.05–0.35).

Critical-TCR Prestaties: ER-Curriculum-DDQN behaalde consistent de hoogste of gelijkwaardig beste Critical-TCR onder alle geteste condities. Zo behield het onder een hoge aankomstfrequentie van 24 taken/s een Critical-TCR van ongeveer 0.69, waarmee het andere methoden versloeg.
Robuustheid: De methode toonde een sterkere bescherming voor Kritieke taken in scenario's met hoge belasting en korte windows vergeleken met PPO-gebaseerde en regelgebaseerde methoden.
Ablatie-inzichten: De resultaten gaven aan dat de Double DQN-backbone in combinatie met de feasibility mask de primaire prestatiewinsten leverde, terwijl het pressure-aware ontwerp en de curriculum extra robuustheid boden.
Trade-offs: Hoewel de methode uitblinkt in de bevrediging van Kritieke taken, merkt het artikel op dat er een trade-off is waarbij de Overall-TCR (voltooiing van alle taakklassen) lager kan zijn dan bij sommige regelgebaseerde methoden die prioriteit geven aan totale throughput boven prioriteitsbescherming.

Betekenis en Reikwijdte
Het artikel claimt relevantie door het adresseren van de specifieke beperkingen van transparante relais-ondersteunde UAV-MEC, waarbij de atomiciteit van verzoek-antwoord transacties binnen gezamenlijke windows een uniek probleem van resource-concurrentie creëert dat verschilt van standaard edge computing of onboard computing scenario's.

De auteurs hanteren een bescheiden reikwijdte door te verduidelijken dat:

De verbetering specifiek is voor de deadline-satisfactie van Kritieke taken, en niet noodzakelijkerwijs voor de algemene throughput, latentie of energie-efficiëntie voor alle taakklassen.
De oplossing vertrouwt op causale, online informatie en voorspelt geen toekomstige taakinstroom of de beschikbaarheid van windows.
De huidige evaluatie beperkt is tot gecontroleerde gezamenlijke windows en een vaste discrete actieruimte.
Toekomstig werk noodzakelijk is om realistische visibility traces, multi-relais/multi-cloud systemen, continue resource allocatie en taakpartitiering aan te pakken.

De studie concludeert dat het integreren van structurele feasibility masking met een pressure-aware curriculum in een Double DQN-framework effectief de langetermijn-afweging leert tussen het toewijzen van niet-kritieke taken en het reserveren van capaciteit voor kritieke services in dynamische lucht-aard netwerken.

Meer zoals dit