Deep Reinforcement Learning for Spacecraft Attitude Control During Atmospheric Re-Entry

Resumen Técnico: Aprendizaje por Refuerzo Profundo para el Control de Actitud de Naves Espaciales durante la Reentrada Atmosférica

Planteamiento del Problema
El artículo aborda el desafío de controlar la actitud de una nave espacial de cuerpo sustentador hipersónico durante la reentrada atmosférica (de 93 km a 10 km de altitud). Este es un problema de seguimiento crítico para la seguridad que involucra dinámicas altamente no lineales, incertidumbres significativas y condiciones ambientales variables (número de Mach, presión dinámica). Los enfoques tradicionales dependen de controladores Proporcionales-Integrales-Derivativos (PID) con programación de ganancias (gain-scheduled), los cuales requieren una extensa sintonización experta y verificación formal para casos de esquina específicos. Los autores investigan si el Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning - DRL) puede ofrecer una alternativa más adaptativa, precisa y robusta, abordando al mismo tiempo la naturaleza de "caja negra" de las políticas aprendidas, lo que complica la verificación y validación (V&V) para software de grado espacial.

Metodología
Los autores formalizan el problema del control de actitud dentro de un marco de RL continuo y fuera de la política (off-policy). Utilizan un modelo de simulación de seis grados de libertad de alta fidelidad que incluye fuerzas aerodinámicas, dinámica de propulsores y retardos de sensores.

• Arquitecturas de Control: Se comparan tres arquitecturas:
  1. Línea Base (Baseline): Un controlador PID con programación de ganancias, estándar en la industria, con dinámica inversa de alimentación hacia adelante (feedforward).
  2. RL Puro: Un agente sin modelo (MR.Q, TD7, TD3, SAC) que genera directamente cambios en la deflexión de los flaps y comandos de los propulsores.
  3. Controladores Híbridos:
     • Híbrido Aditivo: El agente de RL genera un comando residual que se suma a la salida del PID de la línea base.
     • Híbrido de Programación de Ganancias: El agente de RL genera factores de escala (en decibelios) para ajustar las ganancias del controlador PID de la línea base.
• Algoritmos: El estudio se centra en algoritmos de control continuo de vanguardia, comparando específicamente extensiones basadas en TD3 (TD7, MR.Q) y extensiones basadas en SAC. Se destaca MR.Q (Aprendizaje de representación basado en modelos con Q-learning) por su uso de aprendizaje de representación basado en modelos y la experiencia priorizada con ajuste de pérdida (loss-adjusted prioritized experience replay).
• Función de Recompensa: Se diseña una recompensa estrictamente positiva para evitar incentivos de terminación temprana. Combina un decaimiento exponencial del error de seguimiento de actitud (ángulo de ataque, ángulo de deslizamiento lateral y ángulo de banqueo) con un costo de control que penaliza el uso excesivo de propulsores y los cambios en la tasa de los flaps.
• Estrategias de Generalización: Para abordar la generalización fuera de la distribución (OOD), los autores emplean:
  • Aleatorización de la Dinámica (DR): Aleatorización de parámetros físicos (masa, tensor de inercia, ancho de banda del actuador) y actitudes iniciales durante el entrenamiento.
  • Programación de Tareas (Task Scheduling): Comparación de estrategias como "Tareas difíciles primero" (SMT) y "Multitarea Activa" (AMT) frente al muestreo uniforme aleatorio.

Contribuciones Clave

1. Aplicación de RL de Vanguardia a la Reentrada Hipersónica: Los autores aplican algoritmos de control continuo avanzados (específicamente MR.Q) a un desafiante problema de seguimiento de actitud de naves espaciales que requiere programación de ganancias. Demuestran que MR.Q sobresale sin necesidad de sintonización específica de la tarea, superando a los controladores PID tradicionales con programación de ganancias en condiciones nominales al adaptarse continuamente a los cambios ambientales.
2. Control Híbrido para la Robustez: El artículo explora arquitecturas híbridas para mitigar las preocupaciones de opacidad y estabilidad del RL puro. Encuentra que, si bien el RL puro puede superar a la línea base en condiciones nominales, los controladores híbridos (particularmente los híbridos aditivos) ofrecen un mecanismo de respaldo más seguro. El PID de la línea base actúa como una capa de seguridad verificada, con el agente de RL mejorando el rendimiento o adaptándose a las variaciones.
3. Evaluación de la Estrategia de Entrenamiento: El estudio compara sistemáticamente la aleatorización de la dinámica frente a los enfoques de programación de tareas. Determina que la aleatorización de la dinámica uniforme continua es suficiente y efectiva para imponer la generalización, mientras que las estrategias complejas de programación de tareas (como SMT o AMT) no arrojaron resultados superiores e introdujeron inestabilidades en el entrenamiento.

Resultados

• Rendimiento Nominal: Bajo condiciones nominales, el algoritmo MR.Q (tanto el puro como el híbrido aditivo) logra retornos acumulados más altos y un seguimiento más ajustado del ángulo de ataque en comparación con la línea base estándar de la industria. La distribución del error para el ángulo de ataque es más estrecha para el controlador aprendido, aunque la línea base muestra una mayor concentración de errores cerca de cero.
• Generalización Fuera de la Distribución (OOD):
  • Las políticas entrenadas solo bajo condiciones nominales no generalizan bien a las variaciones en la actitud inicial y el tensor de inercia, a menudo rindiendo peor que la línea base.
  • Las políticas entrenadas con Aleatorización de la Dinámica (DR) muestran una robustez significativamente mejorada. Mantienen altas tasas de éxito (>93%) ante variaciones en masa, inercia y ancho de banda del actuador donde el controlador de la línea base falla (particularmente en bajos anchos de banda de actuadores).
  • El controlador Híbrido Aditivo entrenado con DR demuestra el mejor equilibrio, logrando las tasas de éxito más altas (hasta 94-99%) y reduciendo los errores de los percentiles 90, 95 y 98 para los ángulos aerodinámicos en comparación con la línea base.
• Programación de Tareas: Los métodos de programación de tareas (SMT, AMT) no superaron a la simple aleatorización de la dinámica uniforme. En algunos casos, enfocarse en "tareas difíciles" primero (SMT) condujo a fallos de entrenamiento (0% de tasa de éxito).

Significancia y Reivindicaciones
El artículo sostiene que el aprendizaje por refuerzo profundo, específicamente cuando se combina con arquitecturas de control híbrido y se entrena mediante la aleatorización de la dinámica, puede lograr una robustez y un rendimiento de seguimiento superiores en comparación con los controladores PID con programación de ganancias tradicionales en el envolvente operativo de la reentrada hipersónica.

Los autores enfatizan que, si bien el RL puro ofrece un alto rendimiento, el enfoque híbrido es el candidato más prometedor para sistemas listos para el vuelo. Esta arquitectura proporciona una seguridad inherente al retener un controlador de línea base formalmente verificado, permitiendo que el componente de RL sea limitado o desactivado mediante una lógica de supervisión si el sistema se acerca al límite de su dominio validado. El estudio concluye que MR.Q es particularmente efectivo debido a su representación basada en modelos y sus retornos de múltiples pasos, y que la simple aleatorización de la dinámica es una estrategia de entrenamiento más fiable que la programación de tareas compleja para asegurar la generalización en esta aplicación crítica para la seguridad. El trabajo busca proporcionar evidencia estadística de fiabilidad dentro de un envolvente operativo estrictamente definido, cerrando la brecha entre la IA adaptativa y los rigurosos requisitos de V&V de los vuelos espaciales.