Towards Autonomous Aircraft Surveillance from Nanosatellites through On-Board Inference and Generative Data Augmentation

Resumen Técnico: Hacia la Vigilancia Autónoma de Aeronaves desde Nanosatélites mediante Inferencia a Bordo y Aumento de Datos Generativo

Planteamiento del Problema
El artículo aborda dos cuellos de botella interconectados que dificultan la vigilancia aérea desde nanosatélites de Órbita Terrestre Baja (LEO). Primero, el paradigma operativo de "tubo doblado" (bent-pipe), heredado de las primeras misiones espaciales, requiere que los satélites descarguen terabytes de imágenes en bruto para su procesamiento en tierra. Este enfoque está limitado por el presupuesto de descarga de los nanosatélites (típicamente presupuestos de potencia de 10–30 W y antenas de bajo perfil), lo que crea una latencia de horas o días que impide la toma de decisiones en tiempo real. Segundo, los datos de entrenamiento para la detección de aeronaves son escasos y presentan un desequilibrio de clases severo. Los conjuntos de datos abiertos como HRPlanesV2 contienen una proporción desproporcionada de aeronaves militares y civiles en comparación con clases minoritarias como los helicópteros (una relación de ~4:1), lo que impide que los detectores estándar aprendan representaciones robustas de objetivos poco comunes. La literatura existente suele abordar estos problemas de forma aislada: ya sea ejecutando modelos pesados en tierra (ignorando los límites de descarga) o entrenando con datos desequilibrados (ignorando el rendimiento de las clases minoritarias), a menudo sin considerar las estrictas restricciones de Tamaño, Peso y Potencia (SWaP) del hardware espacial.

Metodología
Los autores proponen un flujo de trabajo unificado que integra la inferencia a bordo con el aumento de datos generativo, diseñado específicamente para una plataforma CubeSat 6U equipada con una Unidad de Procesamiento Tensorial (TPU) Edge de Google Coral.

1. Selección de Arquitectura Basada en Restricciones de Hardware:
   La metodología adopta un enfoque de "primero el hardware". La plataforma objetivo es un CubeSat 6U con un límite de 8 MB de memoria estática de acceso aleatorio (SRAM) en el Edge TPU. Los autores evaluaron tres detectores de una sola etapa: SSD MobileNet V3, RT-DETR-L y YOLO11n.

   • SSD MobileNet V3 fue descartado debido a una baja precisión de detección (mAP@50 de 44.98%).
   • RT-DETR-L fue rechazado porque su huella de memoria (188.85 MB) excedía ampliamente el límite de 8 MB de la SRAM, incluso tras la cuantización INT8.
   • YOLO11n fue seleccionado como el candidato óptimo. Tras la cuantización INT8, su peso (~2.5 MB) se ajusta al presupuesto de la SRAM, permitiendo que toda la ruta de inferencia se ejecute en el chip sin necesidad de delegación a la CPU.

2. Pipeline de Aumento de Datos Generativo:
   Para resolver el desequilibrio de clases, específicamente para la clase minoritaria de helicópteros, los autores desarrollaron un pipeline utilizando el modelo de difusión FLUX y la Adaptación de Bajo Rango (LoRA).

   • Se entrenó un adaptador LoRA personalizado utilizando las limitadas muestras reales de helicópteros mediante un token de activación específico (sathelo).
   • El modelo generó imágenes sintéticas de helicópteros en cuatro entornos operativos (industrial, rural, costero y árido).
   • Estas imágenes sintéticas fueron anotadas automáticamente (pseudo-etiquetadas) por un detector YOLO intermedio y fusionadas con muestras aumentadas clásicamente (transformaciones geométricas y fotométricas) para crear un conjunto de datos equilibrado de más de 53,000 instancias.

3. Concepto de Operaciones (ConOps) a Bordo:
   El sistema opera bajo un modelo de "autonomía de decisión total". El satélite se activa solo sobre coordenadas preprogramadas. La IA a bordo procesa el flujo de video en tiempo real utilizando la Inferencia Hiper-Ayudada por Segmentación (SAHI) para manejar parches de 1024×1024. Los fotogramas sin detecciones se descartan; solo se descargan los metadatos (coordenadas, confianza, marca de tiempo) y los parches comprimidos de las detecciones positivas a través de un enlace de banda S, reduciendo drásticamente el uso de ancho de banda en comparación con la transmisión de imágenes en bruto.

Contribuciones Clave

• Metodología Centrada en el Hardware: Un proceso de diseño donde las restricciones físicas del CubeSat 6U y el límite de 8 MB de SRAM del Edge TPU dictan la selección de la arquitectura de IA, asegurando la capacidad de despliegue.
• Aumento Generativo para Clases Minoritarias: Un pipeline novedoso que combina FLUX y LoRA para sintetizar imágenes de clases minoritarias (helicópteros), las cuales son luego pseudo-etiquetadas e integradas para equilibrar el conjunto de datos de entrenamiento.
• Benchmark Consciente de SWaP: Un análisis comparativo de SSD MobileNet V3, RT-DETR-L y YOLO11n bajo estrictas restricciones de grado espacial, identificando a YOLO11n como la única arquitectura viable para este presupuesto de memoria específico.
• Reproducibilidad de Código Abierto: Publicación del código fuente, pesos entrenados, adaptadores LoRA de FLUX y flujos de trabajo de ComfyUI para permitir la verificación y expansión de la comunidad.

Resultos

• Rendimiento de Detección: El conjunto de datos equilibrado logró una precisión media global (mAP@50) del 82.2%, un incremento respecto al 77.9% de la línea base desequilibrada.
• Mejora de la Clase Minoritaria: El F1-score para la clase minoritaria de helicópteros mejoró significamente de 0.683 (usando solo aumento clásico) a 0.811 (usando aumento generativo), acercándose al rendimiento de las clases mayoritarias.
• Viabilidad de Despliegue: El modelo cuantizado YOLO11n cabe enteramente dentro de los 8 MB de la SRAM. Basándose en el escalado de rendimiento-potencia, los autores proyectan una tasa de inferencia en órbita de 25–30 fotogramas por segundo (FPS) a una resolución de 1024×1024.
• Capacidades Extendidas: Una prueba de concepto extendida a 22 clases específicas de aeronaves (incluyendo F-16, B-52, etc.) logró una precisión >95% para la mayoría de las clases, aunque la detección de pistas de aterrizaje fue menor (37%) debido a la confusión con estructuras de fondo lineales.

Significancia y Reivindicaciones
El artículo afirma demostrar la viabilidad de una herramienta de apoyo a la decisión para la vigilancia aérea autónoma y en tiempo real desde nanosatélites. Al pasar de un recolector de datos pasivo a un nodo de inferencia activo, el flujo de trabajo propuesto mitiga el cuello de botella de la descarga, reduciendo la latencia de decisión de horas/días a fracciones de segundo. Los autores sostienen que este enfoque es energéticamente sostenible, ya que el costo de potencia del Edge TPU se compensa con la reducción masiva de los requisitos de transmisión de radiofrecuencia.

El documento mantiene una postura modesta respecto a su validación, reconociendo que todas las métricas de rendimiento (FPS, latencia) son proyecciones basadas en el escalado de las mediciones de GPU en tierra hacia la relación rendimiento-potencia del Edge TPU. Establece explícitamente que aún no se han realizado pruebas de Hardware-en-el-Bucle (HiL) ni verificaciones de dureza contra la radiación (Efectos de Evento Único/Dosis Ionizante Total) en hardware de grado de vuelo. Además, los autores señalan las limitaciones en la detección de infraestructura alargada (pistas de aterrizaje) y la dependencia actual de la luz diurna y el clima despejado, identificando estos como áreas para el trabajo futuro que involucre sensores SAR/IR y segmentación de instancias.