Semantic-Aware UAV Command and Control for Efficient IoT Data Collection

Titel: Semantisch Bewuste UAV Commando- en Besturing voor Efficiënte IoT-Datacollectie

Auteurs: Assane Sankara, Daniel Bonilla Licea, Hajar El Hammouti (UM6P, Marokko)

---

1. Probleemstelling

Onbemande luchtvaartuigen (UAV's) spelen een cruciale rol bij het verzamelen van data van Internet of Things (IoT)-apparaten, vooral in gebieden zonder grondgebonden infrastructuur. Echter, deze toepassingen worden geconfronteerd met twee hoofduitdagingen:

• Beperkte resources: UAV's hebben beperkte energie, bandbreedte en communicatiecapaciteit. Het verzenden van ruwe beelddata is hierdoor inefficiënt.
• Realtime besluitvorming en vertraging: Er bestaat een complexe afweging tussen het optimaliseren van de vluchtroute van de UAV en het waarborgen van hoge kwaliteit bij het herstel van de semantische data. Bestaande methoden verwaarlozen vaak de vertraging in commando- en besturingssignalen (C&C) tussen de basisstation (BS) en de UAV, en behandelen de trajectoptimalisatie los van de kwaliteit van de semantische dataherstelling.

Het doel is om een framework te ontwikkelen dat de gemiddelde kwaliteit van gereconstrueerde afbeeldingen maximaliseert door de UAV dicht bij apparaten te houden voor een voldoende duur, ondanks beperkte communicatiemogelijkheden en vertragingen in besturingssignalen.

2. Methodologie

De auteurs stellen een nieuw framework voor dat semantische communicatie integreert met UAV-commando- en besturing (C&C).

A. Systeemmodel en Semantische Communicatie

• DeepJSCC (Deep Joint Source-Channel Coding): Elke IoT-apparaat verwerkt zijn afbeelding via een DeepJSCC-encoder. Dit genereert een compacte, semantische latente representatie bestaande uit complexe symbolen.
• Robuustheid: De codering is zodanig gestructureerd dat de symbolen in aflopende volgorde van belangrijkheid zijn gerangschikt. Als de UAV slechts een deel van de symbolen ontvangt (bijvoorbeeld omdat de apparatuur uit bereik raakt), kan de decoder de afbeelding toch reconstrueren door ontbrekende symbolen met nullen op te vullen. Hoe meer symbolen ontvangen, hoe hoger de kwaliteit (gemeten in PSNR).
• Communicatie: De UAV verzamelt data terwijl hij in beweging is. Zodra een apparaat binnen het communicatiebereik ($D_{com}$) komt, begint de transmissie. Bij meerdere apparaten wordt Orthogonal Frequency-Division Multiple Access (OFDMA) gebruikt.
• Besturing: Een Basisstation (BS) stuurt versnellingscommando's ($a[t]$) naar de UAV om de traject te bepalen. Er wordt rekening gehouden met een vertraging ($\Delta[t]$) in het ontvangen van deze commando's door de UAV.

B. Probleemformulering als Markov Beslissingsproces (MDP)

Het optimalisatieprobleem wordt gemodelleerd als een MDP om de complexe afwegingen en dynamiek aan te pakken:

• Doelfunctie: Maximaliseren van de gemiddelde kwaliteit (PSNR) van de gereconstrueerde afbeeldingen over een vaste tijdsperiode $T$.
• Beperkingen:
  • Elke IoT-apparaat mag maximaal één keer worden bezocht.
  • De UAV moet een eindbestemming bereiken binnen de tijdslimiet.
  • De versnelling is begrensd.
  • De kinematica van de UAV (snelheid en positie) worden dynamisch berekend op basis van de versnellingscommando's.

C. Oplossing: Double Deep Q-Learning (DDQN)

Om het probleem op te lossen, wordt een Reinforcement Learning (RL) agent ingezet die op het Basisstation draait:

• State (S): Bestaat uit de positie en snelheid van de UAV, welke apparaten zijn bezocht, de kwaliteit van de verzamelde data, en de resterende missietijd.
• Action (A): Het genereren van 2D-versnellingscommando's ($a_x, a_y$) voor de volgende tijdsinterval.
• Reward (R): Een gecombineerde beloning die bestaat uit:
  1. Datacollectie-kwaliteit (PSNR van bezochte apparaten).
  2. Missievoltooiing (beloning voor het bereiken van de eindbestemming).
  3. Een constante beloning bij succesvolle aankomst.
• Algoritme: Er wordt gebruikgemaakt van Double Deep Q-Learning (DDQN) om het "overestimation bias"-probleem van standaard DQN te verminderen. Dit maakt gebruik van twee neurale netwerken (online en target) om een adaptief vluchtbeleid te leren dat rekening houdt met de vertraging in commando's.

3. Belangrijkste Bijdragen

1. Semantisch Bewust Framework: Ontwerp van een systeem waarbij de UAV dynamisch zijn traject aanpast om de kwaliteit van semantisch gereconstrueerde afbeeldingen te maximaliseren, in plaats van alleen het aantal bezochte apparaten.
2. MDP met DDQN: Formulering van het trajectoptimalisatieprobleem als een MDP met expliciete rekeninghouding voor downlink-vertragingen, opgelost met een DDQN-gebaseerd algoritme.
3. Adaptief Beleid: De methode leert een vluchtbeleid dat in staat is om de hover-tijd rond apparaten te optimaliseren, wat leidt tot betere datacollectie vergeleken met statische methoden.

4. Resultaten

De prestaties van het voorgestelde DDQN-benadering werden geëvalueerd via simulaties en vergeleken met twee benchmarks: een Gierige (Greedy) strategie (richt naar het dichtstbijzijnde onbezochte apparaat) en een Traveling Salesman Problem (TSP) strategie (vooraf bepaald globaal pad).

• Bandbreedte: Bij lage bandbreedte presteert DDQN aanzienlijk beter dan Greedy en TSP. Waar de benchmarks lijden onder een gebrek aan verzamelde symbolen, past DDQN de hover-tijd aan om meer symbolen te ontvangen.
• Snelheid: DDQN optimaliseert de snelheid dynamisch. Bij zeer lage snelheden bereiken Greedy/TSP niet genoeg apparaten; bij zeer hoge snelheden verlaten ze het bereik te snel. DDQN balanceert dit door de snelheid en verblijftijd aan te passen.
• Traject: De gesimuleerde trajecten tonen aan dat DDQN dynamisch "hangt" rond IoT-apparaten om de datakwaliteit te maximaliseren, terwijl Greedy en TSP starre paden volgen die de communicatiekwaliteit negeren.
• Conclusie: De DDQN-methode overtreft de benchmarks in zowel het aantal bezochte apparaten als de gemiddelde PSNR van de gereconstrueerde afbeeldingen.

5. Betekenis en Impact

Dit onderzoek is significant omdat het de kloof overbrugt tussen semantische communicatie en UAV-bewegingscontrole. In plaats van te focussen op het exacte overdragen van bits, focust het systeem op het overdragen van de betekenis (de afbeelding) en optimaliseert de fysieke beweging van de drone om die betekenis zo goed mogelijk te herstellen.

De integratie van vertragingen in besturingssignalen maakt het model realistischer voor praktische toepassingen. De resultaten tonen aan dat adaptieve, op leer gebaseerde besturing (RL) superieur is aan traditionele, vooraf geplande of gierige methoden in dynamische IoT-omgevingen met beperkte resources. Dit biedt een robuuste oplossing voor toepassingen zoals precisielandbouw en rampbeheer, waar betrouwbare datacollectie onder moeilijke omstandigheden essentieel is.