Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

Resumo Técnico: Aprendizado por Reforço Profundo Seguro para Reorientação de Naves Espaciais com Restrição de Zona de Proibição de Apontamento

Declaração do Problema
Manobras de reorientação de naves espaciais frequentemente exigem adesão estrita a restrições de apontamento para evitar a exposição de instrumentos sensíveis a bordo (por exemplo, câmeras ópticas) a objetos celestes brilhantes, como o Sol. Abordagens tradicionais para controle de atitude com restrições, como planejamento de atitude e Controle Preditivo Não Linear (MPC), são computacionalmente intensivas e desafiadoras para aplicação em tempo real a bordo. Por outro lado, os métodos de Campo de Potencial Artificial (APF), embora eficientes, frequentemente sofrem com mínimos locais. Embora o Aprendizado por Reforço Profundo (DRL) ofereça uma alternativa computacionalmente eficiente para controle contínuo, sua aplicação em cenários críticos de segurança e com restrições permanece limitada. Um desafio primário é a falta de garantias formais de segurança; agentes DRL padrão treinados apenas com moldagem de recompensa podem falhar em aderir estritamente às restrições durante a implantação.

Metodologia
O artigo propõe um framework de Aprendizado por Reforço Seguro (Safe RL) para reorientação de naves espaciais com uma única zona de proibição de apontamento. A metodologia integra o algoritmo Soft Actor-Critic (SAC) com um filtro de segurança baseado em Função de Barreira de Controle (CBF).

• Espaço de Estados e Design de Recompensa: Uma representação inovadora do espaço de estados foi projetada para incluir uma representação compacta e explícita da zona de restrição de atitude. O vetor de estado inclui a atitude relativa, a taxa angular, o vetor de apontamento da carga útil, o ângulo entre o apontamento e a direção de evasão, o ângulo de margem de segurança e o vetor de direção de evasão relativa. A função de recompensa combina uma recompensa base para convergência de atitude e minimização do esforço de controle com uma função de penalidade específica ($P_{f-zone}$) que aumenta à medida que a nave espacial se aproxima da fronteira da zona de proibição.
• Estratégia de Treinamento: O agente é treinado usando uma abordagem de aprendizado curricular em duas fases. A Fase 1 treina uma política de base para regulação de atitude sem restrições com ângulos de desvio inicial crescentes. A Fase 2 ajusta finamente essa política com a penalidade da zona de proibição ativa, gerando restrições que intersectam as trajetórias de rotação mais prováveis de caminho mais curto do agente.
• Filtro de Segurança: Para garantir conformidade com as restrições durante a implantação, um filtro de segurança baseado em CBF é interposto entre o agente de RL e o ambiente. O filtro resolve um programa quadrático (QP) a cada passo de tempo para encontrar o torque de controle mais próximo da ação proposta pelo agente, enquanto satisfaz os limites de controle e a restrição da zona de proibição. O conjunto seguro é definido usando um conjunto de restrição interna robusto que leva em conta o tempo de amostragem e potenciais perturbações.

Principais Resultados
Simulações extensas, incluindo uma análise de Monte Carlo de 10.000 cenários, foram conduzidas para avaliar o framework proposto:

• Limitações do RL Padrão: Ao usar um framework de RL padrão (apenas moldagem de recompensa), o agente atingiu com sucesso o alvo em aproximadamente 97% dos casos. No entanto, 2,66% das manobras resultaram em violações da zona de proibição, demonstrando que a moldagem de recompensa sozinha não pode garantir segurança.
• Desempenho do Safe RL: Quando o filtro de segurança baseado em CBF foi integrado, a taxa de violações de restrições caiu para 0%. A recompensa média e o tempo de acomodação permaneceram comparáveis à abordagem de RL padrão (uma leve redução na recompensa e um pequeno aumento no tempo de acomodação), enquanto o esforço de controle foi ligeiramente reduzido.
• Sensibilidade aos Parâmetros: O parâmetro $\mu$ na formulação do CBF influencia significativamente o desempenho. Embora $\mu=0,0025$ tenha proporcionado segurança e desempenho ótimos, um $\mu$ menor e inadequadamente definido ($0,0001$) resultou em desempenho degradado (tempo de acomodação mais alto e mais casos não acomodados) em comparação com a abordagem de RL padrão, apesar de ainda evitar violações.
• Casos Não Acomodados: Uma pequena porcentagem de casos (0,22% com o filtro) falhou em se acomodar. A análise indicou que esses casos foram causados pela política do agente (resultando em vieses ou ciclos limites) e não pelo filtro de segurança, sugerindo a necessidade de treinamento adicional do agente.

Significado e Alegações
O artigo alega que o framework proposto aborda efetivamente a lacuna de segurança na aplicação de DRL ao controle de atitude de naves espaciais. A contribuição primária é a demonstração de que, embora a moldagem de recompensa melhore a conscientização sobre restrições, ela é insuficiente para garantir segurança em manobras críticas. Em contraste, a integração de um filtro de segurança baseado em CBF garante conformidade estrita com as restrições de apontamento sem comprometer significativamente o desempenho de controle. Os autores concluem que sua abordagem fornece uma solução viável e em tempo real para reorientação de naves espaciais com restrições, embora observem que trabalhos futuros são necessários para abordar comportamentos não acomodados e estender o algoritmo para lidar com múltiplas zonas de proibição usando redes de Memória de Curto e Longo Prazo (LSTM).