Towards Autonomous Aircraft Surveillance from Nanosatellites through On-Board Inference and Generative Data Augmentation

Technische Samenvatting: Naar Autonome Observatie van Vliegtuigen vanuit Nanosatellieten door On-Board Inferentie en Generatieve Data-augmentatie

Probleemstelling
Het artikel behandelt twee onderling verbonden knelpunten die luchtobservatie vanuit Low Earth Orbit (LEO) nanosatellieten bemoeilijken. Ten eerste het "bent-pipe" operationele paradigma, overgenomen van vroege ruimte missies, waarbij satellieten terabytes aan ruwe beelden moeten downlinken voor verwerking op de grond. Deze aanpak wordt beperkt door het beperkte downlink-budget van nanosatellieten (doorgaans 10–30 W vermogensbudget en laagprofielantennes), wat een latentie van uren of dagen creëert die real-time besluitvorming verhindert. Ten tweede is de trainingsdata voor vliegtuigdetectie schaars en sterk ongebalanceerd qua klassen. Open datasets zoals HRPlanesV2 bevatten een disproportioneel groot aantal militaire en civiele vliegtuigen vergeleken met minderheidsklassen zoals helikopters (een ratio van ~4:1), wat voorkomt dat standaard detectoren robuuste representaties leren van zeldzame doelwitten. Bestaande literatuur behandelt deze problemen doorgaans geïsoleerd: ofwel door zware modellen op de grond te draaien (waarbij de downlink-limieten worden genegeerd), ofwel door te trainen op ongebalanceerde data (waarbij de prestaties van minderheidsklassen worden genegeerd), vaak zonder rekening te houden met de strikte Size, Weight, and Power (SWaP) beperkingen van hardware in de ruimte.

Methodologie
De auteurs stellen een verenigde workflow voor die on-board inferentie integreert met generatieve data-augmentatie, specifiek ontworpen voor een 6U CubeSat-platform uitgerust met een Google Coral Edge Tensor Processing Unit (TPU).

1. Hardware-beperkte Architectuurselectie:
   De methodologie hanteert een "hardware-first" benadering. Het doelplatform is een 6U CubeSat met een 8 MB on-die Static Random-Access Memory (SRAM) limiet op de Edge TPU. De auteurs evalueerden drie one-stage detectoren: SSD MobileNet V3, RT-DETR-L en YOLO11n.

   • SSD MobileNet V3 werd verworpen vanwege slechte detectienauwkeurigheid (mAP@50 van 44,98%).
   • RT-DETR-L werd afgewezen omdat de geheugenvoetafdruk (188,85 MB) de 8 MB SRAM-limiet ruimschoots overschreed, zelfs na INT8-kwantisatie.
   • YOLO11n werd gekozen als de optimale kandidaat. Na INT8-kwantisatie past het gewicht (~2,5 MB) binnen het SRAM-budget, waardoor het volledige inferentiepad op de chip kan draaien zonder CPU-offloading.

2. Generatieve Data-augmentatie Pipeline:
   Om de klassenonbalans, specifiek voor de minderheidsklasse helikopter, op te lossen, ontwikkelden de auteurs een pipeline met behulp van het FLUX diffusiemodel en Low-Rank Adaptation (LoRA).

   • Een aangepaste LoRA-adapter werd getraind op de beperkte hoeveelheid echte helikoptermonsters met behulp van een specifieke trigger-token (sathelo).
   • Het model genereerde synthetische helikopterbeelden over vier operationele omgevingen (industrieel, landelijk, kust, aride).
   • Deze synthetische beelden werden automatisch geannoteerd (pseudo-gelabeld) door een tussenliggende YOLO-detector en samengevoegd met klassiek geaugmenteerde monsters (geometrische en fotometrische transformaties) om een gebalanceerde dataset van meer dan 53.000 instanties te creëren.

3. On-Board Concept of Operations (ConOps):
   Het systeem werkt onder een "totale-beslissingsautonomie" model. De satelliet wordt alleen geactiveerd boven vooraf geprogrammeerde coördinaten. De on-board AI verwerkt de videostream in real-time met behulp van Slicing Aided Hyper Inference (SAHI) om 1024×1024 patches te verwerken. Frames zonder detecties worden weggegooid; alleen metadata (coördinaten, betrouwbaarheid, tijdstempel) en gecomprimeerde patches van positieve detecties worden gedownlinkt via een S-band link, wat het bandbreedtegebruik drastisch vermindert vergeleken met de transmissie van ruwe beelden.

Belangrijkste Bijdragen

• Hardware-First Methodologie: Een ontwerpproces waarbij de fysieke beperkingen van de 6U CubeSat en de 8 MB SRAM-limiet van de Edge TPU de selectie van de AI-architectuur dicteren, wat inzetbaarheid garandeert.
• Generatieve Augmentatie voor Minderheidsklassen: Een innovatieve pipeline die FLUX en LoRA combineert om synthetische beelden van minderheidsklassen (helikopters) te genereren, die vervolgens worden gepseudolabeld en geïntegreerd om de trainingsdataset te balanceren.
• SWaP-bewuste Benchmark: Een vergelijkende analyse van SSD MobileNet V3, RT-DETR-L en YOLO11n onder strikte ruimte-grade beperkingen, waarbij vastgesteld is dat YOLO11n de enige levensvatbare architectuur is voor dit specifieke geheugenbudget.
• Open-Source Reproduceerbaarheid: Publicatie van broncode, getrainde gewichten, FLUX LoRA-adapters en ComfyUI-workflows om gemeenschapsverificatie en expansie mogelijk te maken.

Resultaten

• Detectieprestaties: De gebalanceerde dataset bereikte een globale gemiddelde Precisie (mAP@50) van 82,2%, een stijging ten opzichte van de ongebalanceerde baseline van 77,9%.
• Verbetering Minderheidsklasse: De F1-score voor de minderheidsklasse helikopter verbeterde significant van 0,683 (met enkel klassieke augmentatie) naar 0,811 (met generatieve augmentatie), waarmee de prestaties van de meerderheidsklassen worden benaderd.
• Inzetbaarheid: Het gekwantiseerde YOLO11n-model past volledig binnen de 8 MB SRAM. Op basis van throughput-naar-vermogen schaling projecteren de auteurs een on-orbit inferentierate van 25–30 Frames Per Second (FPS) bij 1024×1024 resolutie.
• Uitgebreide Mogelijkheden: Een proof-of-concept uitbreiding naar 22 specifieke vliegtuigklassen (inclusclusief F-16, B-52, etc.) behaalde >95% nauwkeurigheid voor de meeste klassen, hoewel detectie van landingsbanen lager bleef (37%) door verwarring met lineaire achtergrondstructuren.

Betekenis en Claims
Het artikel beweert de haalbaarheid aan te tonen van een besluitvormingsinstrument voor real-time, autonome observatie van vliegtuigen vanuit nanosatellieten. Door te verschuiven van een passieve gegevensverzamelaar naar een actieve inferentie-node, verzacht het voorgestelde workflow de downlink-bottleneck, waardoor de beslissingslatentie wordt verminderd van uren/dagen naar fracties van een seconde. De auteurs stellen dat deze aanpak energetisch duurzaam is, aangezien de vermogenskosten van de Edge TPU worden gecompenseerd door de enorme reductie in radiofrequente transmissievereisten.

Het artikel houdt een bescheiden standpunt aan met betrekking tot de validatie, waarbij wordt erkend dat alle prestatie-indicatoren (FPS, latentie) projecties zijn gebaseerd op het schalen van grondgebonden GPU-metingen naar de throughput-naar-vermogen ratio van de Edge TPU. Er wordt expliciet vermeld dat er nog geen Hardware-in-the-Loop tests of stralingshardheidverificatie (Single Event Effects/Total Ionizing Dose) op vluchthardware zijn uitgevoerd. De auteurs merken ook de beperkingen op bij het detecteren van langgerekte infrastructuur (landingsbanen) en de huidige afhankelijkheid van daglicht en helder weer, wat zij identificeren als gebieden voor toekomstig werk met betrekking tot SAR/IR-sensoren en instantie-segmentatie.