Leveraging Large Vision Model for Multi-UAV Co-perception in Low-Altitude Wireless Networks

Titel: Het benutten van Grote Visuele Modellen voor Multi-UAV Co-perceptie in Netwerken op Laag Vliegniveau

1. Het Probleem

De samenwerking tussen meerdere onbemande luchtvaartuigen (UAV's) voor gezamenlijke perceptie is een veelbelovende technologie voor toepassingen in de "low-altitude economy" (zoals intelligente verkeerssystemen en stedelijke bewaking). Hoewel het combineren van complementaire visuele gegevens van verschillende UAV's de nauwkeurigheid en robuustheid van perceptie aanzienlijk verbetert, brengt dit grote uitdagingen met zich mee:

• Communicatie-overhead: UAV's genereren enorme hoeveelheden visuele data. Het verzenden van ruwe beelden of dichte visuele kenmerken naar een grondserver leidt tot hoge latentie en een groot verbruik van bandbreedte.
• Beperkte middelen: UAV's werken als randapparaten met beperkte energie en rekenkracht, wat het uitvoeren van complexe compressie of verwerking aan boord moeilijk maakt.
• Dynamische omstandigheden: De draadloze kanalen tussen UAV's en basisstations (BS) zijn heterogeen en veranderen in de tijd, wat het moeilijk maakt om aan de strenge latentie-eisen voor real-time perceptie te voldoen.
• Bestaande oplossingen: Traditionele methoden (zoals CNN's) missen vaak de representatieve kracht om goed te presteren met gecomprimeerde data, terwijl grote visuele modellen (LVM's) wel krachtig zijn maar te zwaar voor directe implementatie op UAV's.

2. Methodologie: Het BHU Framework

Het paper stelt een nieuw raamwerk voor, genaamd Base-Station-Helped UAV (BHU), dat een evenwicht zoekt tussen communicatie-efficiëntie en perceptieprestaties. Het raamwerk bestaat uit de volgende kerncomponenten:

• Top-K Sparsificatie (Datareductie):

  • In plaats van volledige beelden te verzenden, gebruikt elke UAV een lichtgewicht netwerk om een "belangrijkheidskaart" (importance map) te genereren.
  • Een Top-K selectiemechanisme selecteert alleen de meest informatieve pixels (de "Top-K") uit het RGB-beeld.
  • Deze gesparseerde beelden worden verzonden, wat de datavolume en latentie drastisch verlaagt. Op de grond wordt het beeld gereconstrueerd via een leerbaar Gaussisch interpolatiemodule.

• LVM-gebaseerde Perceptie (Grondserver):

  • De grondserver (met voldoende rekenkracht) ontvangt de gesparseerde beelden via een Multi-User MIMO (MU-MIMO) systeem.
  • Een MaskDINO-encoder (gebaseerd op de Swin-large Transformer) wordt gebruikt om Bird's-Eye-View (BEV) kenmerken te extraheren. Dit model maakt gebruik van self-attention om lange-afstandsafhankelijkheden en semantische relaties beter te vangen dan traditionele CNN's.
  • Er vindt coöperatieve kenmerksfusie plaats, waarbij de BEV-kenmerken van alle UAV's worden samengevoegd voor taken zoals voertuigsegmentatie en bewegingsflow-predictie.

• DDIM-gebaseerde Deep Reinforcement Learning (DRL):

  • Om de complexiteit van het gezamenlijk optimaliseren van UAV-selectie, sparsificatie-ratio's en precoderingsmatrices aan te pakken, wordt een Diffusion Model-based DRL algoritme ontwikkeld.
  • Acties: Het agent kiest welke UAV's deelnemen, wat de Top-K ratio is (hoeveel pixels worden verzonden), en welke precoderingsmatrix wordt gebruikt voor de MU-MIMO-transmissie.
  • DDIM (Denoising Diffusion Implicit Model): Om de hoge dimensionale actie-ruimte van precodering efficiënt te navigeren, wordt DDIM gebruikt om de verdeling van optimale precoderingsvectoren te modelleren via een reverse denoising-proces. Dit versnelt het trainingsproces aanzienlijk ten opzichte van traditionele diffusion modellen.
  • Beloningsfunctie: Maximaliseert de gewogen perceptie-utility (IoU en Panoptic Quality) en minimaliseert tegelijkertijd de maximale communicatielatentie.

3. Belangrijkste Bijdragen

1. BHU Framework: Een nieuw communicatie-efficiënt raamwerk dat ruwe beelden vervangt door Top-K geselecteerde pixels, verzonden naar een grondserver voor zware verwerking met LVM's.
2. Top-K Selectie: Een mechanisme dat de meest informatieve pixels selecteert, wat de transmissie-omvang met 85% reduceert zonder de perceptiekwaliteit te verliezen.
3. LVM Integratie: Het gebruik van een Swin-large-based MaskDINO-encoder voor superieure kenmerkextractie en fusie, wat leidt tot betere prestaties dan CNN-baselines.
4. DDIM-DRL Oplossing: Een innovatief algoritme dat UAV-selectie, sparsificatie en precodering gezamenlijk optimaliseert, waarbij DDIM wordt gebruikt om de trainingsstabiliteit en -efficiëntie te verbeteren.

4. Resultaten

De methode is getest op het Air-Co-Pred dataset (gegenereerd met CARLA simulator) met 4 UAV's die verkeer monitoren.

• Prestatieverbetering: Het BHU-framework verbetert de perceptieprestaties (gemeten in IoU en Panoptic Quality) met meer dan 5% in vergelijking met traditionele CNN-gebaseerde baselines (zoals EfficientNet).
• Communicatie-efficiëntie: Het raamwerk reduceert de communicatie-overhead met 85% ten opzichte van bestaande methoden (zoals DHD - Drone-Help-Drone) door alleen de Top-K pixels te verzenden in plaats van volledige kenmerken of beelden.
• Invloed van LVM: Het gebruik van de Swin-large backbone resulteerde in een significante stijging van de IoU (tot 61,59% gemiddeld) vergeleken met EfficientNet (56,86%), zelfs onder dezelfde communicatiebeperkingen.
• LoRA Fine-tuning: Het paper toont aan dat Low-Rank Adaptation (LoRA) kan worden gebruikt om het grote model aan te passen met slechts ~14% trainbare parameters, met een prestatieverlies van minder dan 2% ten opzichte van volledig getrainde modellen.
• DRL Effectiviteit: De DDIM-gebaseerde DRL convergeert sneller en stabieler dan methoden zonder diffusion-modellen, en slaagt erin om een goed evenwicht te vinden tussen perceptie-utility en latentie door de gewichtsfactor ($\lambda$) aan te passen.

5. Betekenis en Conclusie

Dit paper biedt een effectieve oplossing voor het fundamentele probleem van de "bandbreedte-perceptie-dilemma" in multi-UAV systemen. Door de zware rekenkracht van Grote Visuele Modellen (LVM's) naar de grondserver te verplaatsen en de UAV's alleen te laten fungeren als slimme sensoren die alleen de meest cruciale data selecteren, wordt een haalbare route geboden voor real-time coöperatieve perceptie in resource-beperkte omgevingen.

De combinatie van Top-K sparsificatie, MU-MIMO communicatie, en DDIM-gebaseerde optimalisatie stelt systemen in staat om de voordelen van geavanceerde AI-modellen te benutten zonder de beperkingen van draadloze netwerken te negeren. Dit is van cruciaal belang voor de ontwikkeling van schaalbare en efficiënte toepassingen in de low-altitude economy, zoals autonoom vervoer en stedelijke monitoring.