Towards Autonomous Aircraft Surveillance from Nanosatellites through On-Board Inference and Generative Data Augmentation

Résumé Technique : Vers une surveillance aérienne autonome par nanosatellites grâce à l'inférence embarquée et l'augmentation de données générative

Énoncé du problème
L'article traite de deux goulots d'étranglement interconnectés qui entravent la surveillance aérienne depuis des nanosatellites en orbite terrestre basse (LEO). Premièrement, le paradigme opérationnel de type « bent-pipe » (liaison directe), hérité des premières missions spatiales, exige que les satellites transmettent des téraoctets d'imagerie brute vers le sol pour traitement. Cette approche est limitée par le budget de liaison descendante restreint des nanosatellites (généralement des budgets de puissance de 10 à 30 W et des antennes à faible profil), ce qui crée une latence de plusieurs heures ou jours, empêchant toute prise de décision en temps réel. Deuxièmement, les données d'entraînement pour la détection d'aéronefs sont rares et présentent un déséquilibre de classes sévère. Les jeux de données ouverts comme HRPlanesV2 contiennent une proportion disproportionnée d'avions militaires et civils par rapport aux classes minoritaires comme les hélicoptères (un ratio d'environ 4:1), ce qui empêche les détecteurs standards d'apprendre des représentations robustes des cibles rares. La littérature existante traite généralement ces problèmes de manière isolée : soit en exécutant des modèles lourds au sol (ignorant les limites de liaison descendante), soit en s'entraînant sur des données déséquilibrées (ignorant la performance des classes minoritaires), souvent sans considérer les strictes contraintes de taille, de poids et de puissance (SWaP) du matériel spatial.

Méthodologie
Les auteurs proposent un flux de travail unifié qui intègre l'inférence embarquée avec l'augmentation de données générative, conçu spécifólnie pour une plateforme CubeSat 6U équipée d'une unité de traitement de tenseurs (TPU) Google Coral Edge.

1. Sélection d'architecture contrainte par le matériel :
   La méthodologie adopte une approche « orientée matériel ». La plateforme cible est un CubeSat 6U avec une limite de 8 Mo de mémoire statique (SRAM) sur l'Edge TPU. Les auteurs ont évalué trois détecteurs à une étape : SSD MobileNet V3, RT-DETR-L et YOLO11n.

• SSD MobileNet V3 a été écarté en raison d'une faible précision de détection (mAP@50 de 44,98 %).
• RT-DETR-L a été rejeté car son empreinte mémoire (188,85 Mo) dépassait largement la limite de 8 Mo de la SRAM, même après quantification INT8.
• YOLO11n a été sélectionné comme le candidat optimal. Après quantification INT8, son poids (~2,5 Mo) tient dans le budget de la SRAM, permettant à l'intégralité du chemin d'inférence de s'exécuter sur la puce sans déchargement vers le CPU.

2. Pipeline d'augmentation de données générative :
   Pour résoudre le déséquilibre des classes, spécifiquement pour la classe minoritaire des hélicoptères, les auteurs ont développé un pipeline utilisant le modèle de diffusion FLUX et l'adaptation de bas rang (LoRA).

• Un adaptateur LoRA personnalisé a été entraîné sur les échantillons réels limités d'hélicoptères en utilisant un jeton déclencheur spécifique (sathelo).
• Le modèle a généré des images d'hélicoptères synthétiques à travers quatre environnements opérationnels (industriel, rural, côtier, aride).
• Ces images synthétiques ont été automatiquement annotées (pseudo-étiquetées) par un détecteur YOLO intermédiaire et fusionnées avec des échantillons augmentés de manière classique (transformations géométriques et photométriques) pour créer un ensemble de données équilibré de plus de 53 000 instances.

3. Concept de opérations (ConOps) embarqué :
   Le système fonctionne sous un modèle d'« autonomie de décision totale ». Le satellite ne s'active qu'au-dessus de coordonnées préprogrammées. L'IA embarquée traite le flux vidéo en temps réel en utilisant l'inférence hyper-assistée par découpage (SAHI) pour gérer des patchs de 1024×1024. Les images sans détection sont rejetées ; seuls les métadonnées (coordonnées, confiance, horodatage) et les patchs compressés des détections positives sont transmis via une liaison en bande S, réduisant drastiquement l'utilisation de la bande passante par rapport à la transmission d'images brutes.

Contributions clés

• Méthodologie orientée matériel : Un processus de conception où les contraintes physiques du CubeSat 6U et la limite de 8 Mo de SRAM de l'Edge TPU dictent la sélection de l'architecture IA, garantissant le déploiement.
• Augmentation générative pour les classes minoritaires : Un pipeline novateur combinant FLUX et LoRA pour synthétiser des images de classes minoritaires (hélicoptères), qui sont ensuite pseudo-étiquetées et intégrées pour équilibrer le jeu de données d'entraînement.
• Benchmark sensible au SWaP : Une analyse comparative de SSD MobileNet V3, RT-DETR-L et YOLO11n sous des contraintes strictes de classe spatiale, identifiant YOLO11n comme la seule architecture viable pour ce budget mémoire spécifique.
• Reproductibilité en open-source : Publication du code source, des poids entraînés, des adaptateurs LoRA FLUX et des flux de travail ComfyUI pour permettre la vérification et l'extension par la communauté.

Résultats

• Performance de détection : Le jeu de données équilibré a atteint une précision moyenne globale (mAP@50) de 82,2 %, soit une augmentation par rapport aux 77,9 % de la base non équilibrée.
• Amélioration de la classe minoritaire : Le score F1 pour la classe minoritaire des hélicoptères s'est considérablement amélioré, passant de 0,683 (en utilisant uniquement l'augmentation classique) à 0,811 (en utilisant l'augmentation générative), approchant la performance des classes majoritaires.
• Faisabilité du déploiement : Le modèle quantifié YOLO11n tient entièrement dans les 8 Mo de SRAM. Sur la base de la mise à l'échelle du rapport débit/puissance, les auteurs projettent un taux d'inférence en orbite de 25 à 30 images par seconde (FPS) à une résolution de 1024×1024.
• Capacités étendues : Une preuve de concept étendue à 22 classes d'aéronefs spécifiques (incluant le F-16, le B-52, etc.) a atteint plus de 95 % de précision pour la plupart des classes, bien que la détection des pistes soit restée plus faible (37 %) en raison de la confusion avec les structures de fond linéaires.

Signification et affirmations
L'article affirme démontrer la faisabilité d'un outil d'aide à la décision pour la surveillance aérienne autonome et en temps réel depuis des nanosatellites. En passant d'un collecteur de données passif à un nœud d'inférence actif, le flux de travail proposé atténue le goulot d'étranglement de la liaison descendante, réduisant la latence de décision de quelques heures/jours à des fractions de seconde. Les auteurs affirment que cette approche est énergétiquement durable, car le coût énergétique de l'Edge TPU est compensé par la réduction massive des besoins de transmission par radiofréquence.

L'article maintient une position modeste concernant sa validation, reconnaissant que toutes les mesures de performance (FPS, latence) sont des projections basées sur la mise à l'échelle des mesures GPU au sol vers le rapport débit/puissance de l'Edge TPU. Il stipule explicitement qu'aucun test de boucle matérielle (Hardware-in-the-Loop) ou de vérification de la résistance aux radiations (effets d'événement unique/dose ionisante totale) n'a encore été effectué sur du matériel de vol. De plus, les auteurs notent les limites de la détection des infrastructures allongées (pistes) et la dépendance actuelle à la lumière du jour et au beau temps, identifiant ces points comme des domaines pour des travaux futurs impliquant des capteurs SAR/IR et la segmentation d'instances.