Deep Reinforcement Learning for Spacecraft Attitude Control During Atmospheric Re-Entry

Resumo Técnico: Aprendizado por Reforço Profundo para Controle de Atitude de Naves Espaciais Durante a Reentrada Atmosférica

Definição do Problema
O artigo aborda o desafio de controlar a atitude de uma nave espacial de corpo sustentador hipersônico durante a reentrada atmosférica (de 93 km a 10 km de altitude). Este é um problema de rastreamento crítico para a segurança, envolvendo dinâmicas altamente não lineares, incertezas significativas e condições ambientais variáveis (número de Mach, pressão dinâmica). As abordagens tradicionais dependem de controladores Proporcional-Integral-Derivativo (PID) com escalonamento de ganho (gain-scheduled), que exigem extensa sintonia por especialistas e verificação formal para casos específicos de borda. Os autores investigam se o Aprendizado por Reforço Profundo (RL) pode oferecer uma alternativa mais adaptável, precisa e robusta, ao mesmo tempo em que aborda a natureza de "caixa preta" das políticas aprendidas, o que complica a verificação e validação (V&V) para software de classe espacial.

Metodologia
Os autores formalizam o problema de controle de atitude dentro de um framework de RL contínuo e off-policy. Eles utilizam um modelo de simulação de alta fidelidade com seis graus de liberdade que inclui forças aerodinâmicas, dinâmica de propulsores e atrasos de sensores.

• Arquiteturas de Controle: Três arquiteturas são comparadas:
  1. Baseline: Um controlador PID com escalonamento de ganho padrão da indústria com dinâmica inversa de feedforward.
  2. RL Puro: Um agente livre de modelo (MR.Q, TD7, TD3, SAC) que gera diretamente mudanças na deflexão das superfícies de comando (flaps) e comandos de propulsores.
  3. Controladores Híbridos:
     • Híbrido Aditivo: O agente de RL gera um comando residual adicionado à saída do PID de base.
     • Híbrido de Escalonamento de Ganho: O agente de RL gera fatores de escala (em decibéis) para ajustar os ganhos do controlador PID de base.
• Algoritmos: O estudo foca em algoritmos de controle contínuo de última geração, comparando especificamente extensões baseadas em TD3 (TD7, MR.Q) e extensões baseadas em SAC. O MR.Q (Model-based Representation learning with Q-learning) é destacado pelo seu uso de aprendizado de representação baseado em modelo e experience replay priorizado com ajuste de perda.
• Função de Recompensa: Uma recompensa estritamente positiva é projetada para evitar incentivos de terminação precoce. Ela combina um decaimento exponencial do erro de rastreamento de atitude (ângulo de ataque, ângulo de deriva e ângulo de inclinação/bank) com um custo de controle que penaliza o uso excessivo de propulsores e mudanças na taxa dos flaps.
• Estratégias de Generalização: Para abordar a generalização fora da distribuição (OOD), os autores empregam:
  • Randomização de Dinâmica (DR): Randomização de parâmetros físicos (massa, tensor de inércia, largura de banda do atuador) e atitudes iniciais durante o treinamento.
  • Escalonamento de Tarefas: Comparação de estratégias como "Tarefas difíceis primeiro" (SMT) e "Multitarefa Ativa" (AMT) contra amostragem uniforme aleatória.

Principais Contribuições

1. Aplicação de RL de Ponta à Reentrada Hipersônica: Os autores aplicam algoritmos de controle contínuo avançados (especificamente o MR.Q) a um desafiador problema de rastreamento de atitude de espaçonave que requer escalonamento de ganho. Eles demonstram que o MR.Q se destaca sem necessidade de sintonia específica para a tarefa, superando os controladores PID com escalonamento de ganho tradicionais em condições nominais, ao adaptar-se continuamente às mudanças ambientais.
2. Controle Híbrido para Robustez: O artigo explora arquiteturas híbridas para mitigar as preocupações de opacidade e estabilidade do RL puro. Conclui-se que, embora o RL puro possa superar a baseline nominalmente, os controladores híbridos (particularmente os híbridos aditivos) oferecem um mecanismo de contingência mais seguro. O PID de base atua como uma camada de segurança verificada, com o agente de RL aumentando o desempenho ou adaptando-se a variações.
3. Avaliação da Estratégia de Treinamento: O estudo compara sistematicamente a randomização de dinâmica contra abordagens de escalonamento de tarefas. Determina que a randomização de dinâmica uniforme contínua é suficiente e eficaz para impor a generalização, enquanto estratégias complexas de escalonamento de tarefas (como SMT ou AMT) não produziram resultados superiores e introduziram instabilidades no treinamento.

Resultados

• Desempenho Nominal: Sob condições nominais, o algoritmo MR.Q (tanto o puro quanto o híbrido aditivo) alcança retornos cumulativos mais altos e um rastreamento mais preciso do ângulo de ataque em comparação com a baseline da indústria. A distribuição de erro para o ângulo de ataque é mais estreita para o controlador aprendido, embora a baseline apresente uma maior concentração de erros próximos a zero.
• Generalização Fora da Distribuição (OOD):
  • Políticas treinadas apenas sob condições nominais falham em generalizar bem para variações na atitude inicial e no tensor de inércia, muitas vezes performando pior que a baseline.
  • Políticas treinadas com Randomização de Dinâmica (DR) mostram melhoria significativa na robustez. Elas mantêm altas taxas de sucesso (>93%) através de variações de massa, inércia e largura de banda do atuador onde o controlador baseline falha (particularmente em baixas larguras de banda de atuadores).
  • O controlador Híbrido Aditivo treinado com DR demonstra o melhor equilíbrio, alcançando as maiores taxas de sucesso (até 94-99%) e reduzindo os erros dos percentis 90, 95 e 98 para ângulos aerodinâmicos em comparação com a baseline.
• Escalonamento de Tarefas: Métodos de escalonamento de tarefas (SMT, AMT) não superaram a randomização de dinâmica uniforme simples. Em alguns casos, focar em tarefas "difíceis" primeiro (SMT) levou a falhas de treinamento (0% de taxa de sucesso).

Significância e Alegações
O artigo afirma que o aprendizado por reforço profundo, especificamente quando combinado com arquiteturas de controle híbrido e treinado via randomização de dinâmica, pode alcançar robustez e desempenho de rastreamento superiores aos controladores PID com escalonamento de ganho tradicionais no envelope operacional de reentrada hipersônica.

Os autores enfatizam que, embora o RL puro ofere o alto desempenho, o modelo híbrido é o candidato mais promissor para sistemas prontos para voo. Esta arquitetura fornece segurança inerente ao manter um controlador de base formalmente verificado, permitindo que o componente de RL seja limitado ou desativado via lógica de supervisão caso o sistema se aproxime do limite de seu domínio validado. O estudo conclui que o MR.Q é particularmente eficaz devido à sua representação baseada em modelo e retornos de múltiplos passos, e que a randomização de dinâmica simples é uma estratégia de treinamento mais confiável do que o escalonamento de tarefas complexo para garantir a generalização nesta aplicação crítica para a segurança. O trabalho visa fornecer evidências estatísticas de confiabilidade dentro de um envelope operacional estritamente definido, preenchendo a lacuna entre o IA adaptativa e os rigorosos requisitos de V&V do voo espacial.