Learning-Based Planning for Improving Science Return of Earth Observation Satellites

Resumen Técnico: Planificación Basada en Aprendizaje para Mejorar el Retorno Científico de Satélites de Observación Terrestre

1. Planteamiento del Problema

Los satélites de observación terrestre son herramientas fundamentales para la ciencia, pero enfrentan limitaciones críticas en la recolección de datos:

• Restricciones Orbitales: No pueden desviarse fácilmente de sus trayectorias.
• Recursos Limitados: Los sensores tienen un campo de visión restringido y su operación y apuntado consumen una gran cantidad de energía.
• Ineficiencia en la Muestreo: Las estrategias tradicionales (como el muestreo uniforme o aleatorio) a menudo capturan datos de baja valor científico (ej. nubes densas o tormentas no relevantes) en lugar de enfocarse en los objetivos más informativos.

El objetivo es desarrollar estrategias de "apuntado dinámico" (dynamic targeting) que permitan a los satélites reconfigurar inteligentemente sus instrumentos principales basándose en datos de un sensor de "mirada hacia adelante" (lookahead), optimizando así la recolección de datos científicos bajo restricciones de energía (batería).

2. Metodología

Los autores proponen dos enfoques de aprendizaje automático que se basan en una solución de programación dinámica (DP) para planificar secuencias de muestreo. El problema se modela como un Proceso de Decisión de Markov (MDP).

• Configuración del Simulador:

  • Se utiliza un marco de simulación con un sensor principal (radar) y un sensor de lookahead que ve el camino futuro.
  • Escenarios: Evitación de nubes (priorizar cielos despejados) y caza de tormentas (priorizar núcleos convectivos).
  • Restricciones: Cada muestreo descarga la batería un 5%, mientras que la recarga es del 1% por paso de tiempo. El satélite debe estar "apagado" el 80% del tiempo para recargarse.

• Enfoques Propuestos:

  1. Aprendizaje por Refuerzo (Q-Learning):

     • Se utiliza un algoritmo de Q-learning para aprender una política óptima.
     • Innovación: Para superar la sensibilidad de Q-learning al tamaño del espacio de estados, los autores emplean una estrategia de programación dinámica inversa durante el entrenamiento. En lugar de explorar aleatoriamente hacia adelante, el algoritmo itera hacia atrás desde el último paso de tiempo, variando el estado de carga (SOC) y observando las recompensas. Esto permite que el modelo "experimente" todos los estados posibles con los mismos datos de entrenamiento, mejorando la generalización.
     • Estado: Vector de 7 características (SOC + presencia binaria de tipos de nubes/tormentas en sensores principal y lookahead).
     • Acción: Binaria (Muestrear o no muestrear). La ubicación exacta se determina heurísticamente (máxima recompensa cerca del nadir).

  2. Aprendizaje por Imitación (Clonación Conductual):

     • Se utiliza la Programación Dinámica (DP) como un "experto" para generar demostraciones óptimas (pares estado-acción).
     • Se entrena una red neuronal (Perceptrón Multicapa - MLP) mediante aprendizaje supervisado para imitar las decisiones del experto.
     • Ventaja: Permite inferencia en tiempo real a bordo y no requiere la exploración exhaustiva de estados que necesita Q-learning.

3. Contribuciones Clave

• Nuevos Enfoques de Aprendizaje: Introducción de Q-learning y clonación conductual aplicados específicamente al apuntado dinámico de satélites, superando las limitaciones de los algoritmos heurísticos anteriores.
• Eficiencia de Datos: Demostración de que ambos métodos pueden entrenarse eficazmente con cantidades muy pequeñas de datos (entre 3.000 y 20.000 imágenes), lo cual es crucial para misiones espaciales donde los datos de entrenamiento pueden ser limitados.
• Mejora sobre Heurísticas: Superación significativa de los métodos existentes (aleatorio, codicioso/nadir, lateral, radar, ventana) en términos de recompensa científica total.
• Validación en Múltiples Escenarios: Pruebas exitosas en dos escenarios distintos (evitación de nubes y caza de tormentas) con datos reales (MODIS y GPM).

4. Resultados

Los experimentos compararon los métodos de aprendizaje contra heurísticas existentes y un "oráculo" de Programación Dinámica (que representa el límite superior teórico pero no es viable en vuelo por requerir conocimiento futuro completo).

• Rendimiento en Recompensa:

  • Aprendizaje por Refuerzo (Q-Learning): Logró el 98.67% de la recompensa total posible en evitación de nubes y 94.66% en caza de tormentas.
  • Aprendizaje por Imitación (Clonación Conductual): Logró el 95.84% en evitación de nubes y 91.27% en caza de tormentas.
  • Comparativa: Ambos métodos superaron al mejor método heurístico previo (Greedy Window), que obtuvo un 87.50% y 82.57% respectivamente.
  • Mejora Promedio: El aprendizaje por imitación fue un 10.0% mejor que el mejor heurístico, y el aprendizaje por refuerzo un 13.7% mejor.

• Eficiencia de Muestreo:

  • Los métodos de aprendizaje enfocaron significativamente más sus muestras en objetivos de alta recompensa (cielos despejados o núcleos convectivos) y evitaron muestrear objetivos de baja recompensa (nubes densas o sin tormenta) en comparación con los métodos codiciosos.
  • El Q-learning aprendió a conservar energía (no muestrear) cuando solo veía objetivos de baja calidad, anticipando mejores oportunidades futuras basándose en los datos del sensor lookahead.

• Tiempo de Ejecución:

  • Todos los métodos (excepto DP) toman microsegundos para planificar, lo que permite su ejecución en tiempo real en hardware de satélites actual.

5. Significado y Conclusiones

Este trabajo demuestra que el aprendizaje automático es una solución viable y superior para la planificación autónoma en satélites de observación terrestre.

• Impacto Científico: Al maximizar la recolección de datos de alta calidad y minimizar los datos redundantes o inútiles, se incrementa drásticamente el retorno científico de las misiones sin necesidad de hardware adicional.
• Viabilidad Operativa: La capacidad de entrenar modelos con pocos datos y ejecutarlos en tiempo real hace que estos algoritmos estén listos para su despliegue en plataformas reales, incluyendo pequeños satélites (small-sats).
• Futuro: Los autores planean integrar modelos de visión por computadora completos (en lugar de vectores de estado manuales) y utilizar arquitecturas más avanzadas (DQN, PPO) para manejar representaciones de estado continuas y restricciones de movimiento de sensores más realistas.

En resumen, el estudio valida que la combinación de aprendizaje por refuerzo e imitación permite a los satélites tomar decisiones de apuntado más inteligentes que los algoritmos tradicionales, acercándose al rendimiento óptimo teórico con una fracción de la complejidad computacional.