Towards Autonomous Aircraft Surveillance from Nanosatellites through On-Board Inference and Generative Data Augmentation

Sintesi Tecnica: Verso la sorveglianza aerea autonoma da nanosatelliti attraverso l'inferenza on-board e l'aumento generativo dei dati

Problematica
Il documento affronta due colli di bottiglia interconnessi che ostacolano la sorveglianza aerea da nanosatelliti in orbita terrestre bassa (LEO). In primo luogo, il paradigma operativo "bent-pipe", ereditato dalle prime missioni spaziali, richiede che i satelliti scarichi terabyte di immagini grezze per l'elaborazione a terra. Questo approccio è limitato dal ridotto budget di downlink dei nanosatelliti (tipicamente budget di potenza di 10–30 W e antenne a basso profilo), creando una latenza di ore o giorni che impedisce il processo decisionale in tempo reale. In secondo luogo, i dati di addestramento per il rilevamento di velivoli sono scarsi e fortemente sbilanciati tra le classi. Dataset open come HRPlanesV2 contengono un numero sproporzionato di velivoli militari e civili rispetto alle classi minoritarie come gli elicotteri (un rapporto di circa 4:1), impedendo ai detector standard di apprendere rappresentazioni robuste per i target rari. La letteratura esistente affronta solitamente questi problemi isolatamente: o eseguendo modelli pesanti a terra (ignorando i limiti di downlink) o addestrando su dati sbilanciati (ignorando le prestazioni delle classi minoritarie), spesso senza considerare i rigorosi vincoli di dimensione, peso e potenza (SWaP) dell'hardware spaziale.

Metodologia
Gli autori propongono un workflow unificato che integra l'inferenza on-board con l'aumento generativo dei dati, progettato specificamente per una piattaforma CubeSat 6U equipaggiata con una Google Coral Edge Tensor Processing Unit (TPU).

1. Selezione dell'architettura vincolata dall'hardware:
   La metodologia adotta un approccio "hardware-first". La piattaforma target è un CubeSat 6U con un limite di 8 MB di memoria statica random-access (SRAM) on-die sulla Edge TPU. Gli autori hanno valutato tre detector a stadio singolo: SSD MobileNet V3, RT-DETR-L e YOLO11n.

   • SSD MobileNet V3 è stato scartato a causa della scarsa accuratezza di rilevamento (mAP@50 del 44,98%).
   • RT-DETR-L è stato rifiutato perché la sua impronta di memoria (188,85 MB) superava ampiamente il limite di 8 MB della SRAM, anche dopo la quantizzazione INT8.
   • YOLO11n è stato selezionato come candidato ottimale. Dopo la quantizzazione INT8, il suo peso (~2,5 MB) rientra nel budget della SRAM, consentendo all'intero percorso di inferenza di girare on-chip senza offloading alla CPU.

2. Pipeline di aumento generativo dei dati:
   Per risolvere lo sbilanciamento delle classi, specificamente per la classe minoritaria degli elicotteri, gli autori hanno sviluppato una pipeline utilizzando il modello di diffusione FLUX e la Low-Rank Adaptation (LoRA).

   • Un adattatore LoRA personalizzato è stato addestrato sui limitati campioni reali di elicotteri utilizzando un token trigger specifico (sathelo).
   • Il modello ha generato immagini sintetiche di elicotteri attraverso quattro ambienti operativi (industriale, rurale, costiero, arido).
   • Queste immagini sintetiche sono state automaticamente annotate (pseudo-etichettate) da un detector YOLO intermedio e fuse con campioni aumentati classicamente (trasformazioni geometriche e fotometriche) per creare un dataset bilanciato di oltre 53.000 istanze.

3. Concetto di Operazioni On-Board (ConOps):
   Il sistema opera sotto un modello di "autonomia decisionale totale". Il satellite si attiva solo sopra coordinate pre-programmate. L'IA on-board elabora lo stream video in tempo reale utilizzando la Slicing Aided Hyper Inference (SAHI) per gestire patch da 1024×1024. I frame senza rilevamenti vengono scartati; solo i metadati (coordinate, confidenza, timestamp) e le patch compresse dei rilevamenti positivi vengono trasmessi tramite un link S-band, riducendo drasticamente l'uso della banda rispetto alla trasmissione di immagini grezze.

Contributi Chiave

• Metodologia Hardware-First: Un processo di progettazione in cui i vincoli fisici del CubeSat 6U e il limite di 8 MB di SRAM della Edge TPU dettano la selezione dell'architettura IA, garantendo la deployabilità.
• Aumento Generativo per le Classi Minoritarie: Una pipeline innovativa che combina FLUX e LoRA per sintetizzare immagini di classi minoritarie (elicotteri), che vengono poi pseudo-etichettate e integrate per bilanciare il dataset di addestramento.
• Benchmark SWaP-Aware: Un'analisi comparativa di SSD MobileNet V3, RT-DETR-L e YOLO11n sotto rigorosi vincoli di grado spaziale, identificando YOLO11n come l'unica architettura vitale per questo specifico budget di memoria.
• Riproducibilità Open-Source: Rilascio del codice sorgente, dei pesi addestrati, degli adattatori FLUX LoRA e dei workflow ComfyUI per consentire la verifica e l'espansione da parte della comunità.

Risultati

• Prestazioni di Rilevamento: Il dataset bilanciato ha raggiunto un mean Average Precision globale (mAP@50) dell'82,2%, un incremento rispetto al 77,9% del baseline sbilanciato.
• Miglioramento della Classe Minoritaria: L'F1-score per la classe minoritaria degli elicotteri è migliorato significativamente dal 0,683 (utilizzando solo l'aumento classico) allo 0,811 (utilizzando l'aumento generativo), avvicinandosi alle prestazioni delle classi maggioritarie.
• Fattibilità di Deployment: Il modello quantizzato YOLO11n rientra interamente negli 8 MB di SRAM. Basandosi sullo scaling del rapporto throughput-potenza, gli autori proiettano un tasso di inferenza on-orbit di 25–30 fotogrammi al secondo (FPS) a risoluzione 1024×1024.
• Capacità Estese: Una prova di concetto estesa a 22 classi specifiche di velivoli (inclusi F-16, B-52, ecc.) ha raggiunto una precisione >95% per la maggior parte delle classi, sebbene il rilevamento delle piste sia rimasto inferiore (37%) a causa della confusione con strutture di sfondo lineari.

Significatività e Rivendicazioni
Il documento rivendica di aver dimostrato la fattibilità di uno strumento di supporto decisionale per la sorveglianza aerea autonoma e in tempo reale da nanosatelliti. Passando da un raccoglitore di dati passivo a un nodo di inferenza attivo, il workflow proposto mitiga il collo di bottiglia del downlink, riducendo la latenza decisionale da ore/giorni a frazioni di secondo. Gli autori asseriscono che questo approccio è energeticamente sostenibile, poiché il costo energetico della Edge TPU è compensato dalla massiccia riduzione dei requisiti di trasmissione radiofrequenza.

Il documento mantiene una posizione modesta riguardo alla propria validazione, riconoscendo che tutte le metriche di prestazione (FPS, latenza) sono proiezioni basate sulla scalabilità delle misurazioni su GPU a terra al rapporto throughput-potenza della Edge TPU. Specifica esplicitamente che non sono ancora stati eseguiti test Hardware-in-the-Loop o verifiche di durezza da radiazioni (Single Event Effects/Total Ionizing Dose) su hardware di grado di volo. Inoltre, gli autori notano limitazioni nel rilevamento di infrastrutture allungate (piste) e l'attuale dipendenza dalla luce diurna e dal tempo sereno, identificando questi come aree per il lavoro futuro che coinvolgerà sensori SAR/IR e segmentazione delle istanze.