A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Computers

Resumen Técnico: Un nuevo conjunto de datos y benchmark de rendimiento para la segmentación de naves espaciales en tiempo real en computadoras de a bordo

1. El Problema

La expansión de la infraestructura orbital y las misiones de espacio profundo generan una necesidad crítica de sistemas de inspección autónomos para detectar daños en satélites y sondas. Sin embargo, el desarrollo de estos sistemas enfrenta tres obstáculos principales:

• Escasez de datos: Los conjuntos de datos existentes (como PoseBowl o Spacecrafts) carecen de diversidad en geometrías de naves y condiciones de fondo, y muchos no incluyen máscaras de segmentación a nivel de píxel.
• Restricciones de hardware extremo: Los algoritmos de visión deben ejecutarse en computadoras de vuelo con recursos muy limitados (procesadores de 4 núcleos, menos de 4 GB de RAM y sin GPU).
• Limitaciones de métricas: Las métricas convencionales (como el coeficiente Dice) no evalúan con precisión la localización de los bordes, lo cual es vital para operaciones de proximidad espacial.

2. Metodología

Los autores proponen el dataset SWiM (Spacecraft With Masks) y un protocolo de evaluación diseñado para simular condiciones reales de vuelo.

A. Creación del Dataset SWiM:
Utilizaron un enfoque de síntesis dual para crear un conjunto de casi 64,000 imágenes anotadas:

1. Procesamiento de datos existentes: Utilizaron el modelo SAM 2 (Segment Anything Model 2) para generar máscaras de segmentación de alta calidad a partir de los cuadros delimitadores (bounding boxes) del dataset PoseBowl. También estandarizaron el dataset Spacecrafts fusionando sus máscaras de componentes (antena, cuerpo, paneles).
2. Generación de imágenes sintéticas:
   • Método 1: Superposición de imágenes de naves sobre fondos reales (imágenes de la ESA/Hubble y Sentinel-2) con aumentos geométricos y fotométricos.
   • Método 2 (Pipeline TTALOS + Stable Diffusion): Utilizaron modelos 3D de alta fidelidad de la NASA y la ESA, renderizados mediante Blender, y los superpusieron sobre fondos generados mediante Stable Diffusion. Esto permitió introducir escenarios extremos como auroras boreales, luces de ciudades, destellos solares (glare) y ruido de sensor.

B. Benchmarking y Modelos:
Para cumplir con las restricciones de hardware de la NASA, seleccionaron las versiones Nano de los modelos YOLOv8 y YOLOv11. Estos modelos fueron optimizados mediante cuantización y exportados a formato ONNX para ejecutarse en un entorno controlado (Docker) que limitaba la memoria a 3 GB y el uso de CPU.

3. Contribuciones Clave

• Dataset SWiM: El conjunto de datos de segmentación de naves espaciales más grande y completo hasta la fecha.
• Formulación del problema con restricciones reales: Codificación de requisitos de despliegue mediante límites cuantificables de hardware (<4 GB RAM) y latencia (<0.95s).
• Protocolo de evaluación dual: Introducción de un sistema que combina métricas de región (Coeficiente Dice) con métricas de contorno (Distancia de Hausdorff) para asegurar la precisión en los bordes.
• Benchmark de rendimiento: Establecimiento de una línea base para futuras investigaciones en visión orbital.

4. Resultados

Los experimentos demostraron que los modelos YOLO seleccionados son altamente eficaces bajo las restricciones impuestas:

• Precisión: Ambos modelos alcanzaron un Dice Score promedio de 0.92, demostrando una excelente capacidad para identificar el área principal de la nave.
• Localización de bordes: La Distancia de Hausdorff se mantuvo en rangos bajos (0.69 - 1.07), lo que indica una gran precisión en la delimitación de los contornos complejos de las naves.
• Eficiencia temporal: El tiempo de inferencia promedio fue de aproximadamente 0.5 segundos, cumpliendo holgadamente con el límite de 0.95 segundos requerido para aplicaciones en tiempo real.
• Robustez: El uso del dataset aumentado (con ruido y distorsiones) no degradó significativamente el rendimiento, lo que sugiere que los modelos aprendieron características robustas frente a condiciones de iluminación y ruido óptico.

5. Significancia

Este trabajo proporciona la infraestructura necesaria (datos y métricas) para que la comunidad científica desarrolle algoritmos de visión capaces de operar de forma autónoma en misiones espaciales. Al validar que los modelos YOLO Nano pueden funcionar en hardware de grado de vuelo, el estudio cierra la brecha entre la investigación de visión artificial en tierra y su implementación real en misiones de inspección orbital de la NASA y otras agencias espaciales.