Simulation Based Reward Function Validation for Multi-Agent On Orbit Inspection

Resumo Técnico: Validação de Função de Recompensa Baseada em Simulação para Inspeção Orbital Multiagente

Definição do Problema
O acúmulo de detritos espaciais torna necessária a realização de missões de remoção ativa, que exigem a coleta prévia de dados para alocar recursos de forma eficaz. As atuais missões de inspeção orbital frequentemente dependem de planejamento manual para operações de proximidade, um processo que é demorado e difícil de escalar para grandes populações de detritos. Embora o Aprendizado por Reforço Multiagente (MARL) tenha sido proposto para automatizar o controle de grupos de espaçonaves de inspeção, as abordagens existentes geralmente dependem de funções de recompensa que guiam os agentes para um conjunto finito e predeterminado de pontos de inspeção. Essa rigidez limita a capacidade dos agentes de se adaptarem a requisitos de inspeção arbitrários. Além disso, a eficácia dessas funções de recompensa é frequentemente difícil de validar objetivamente sem um vínculo direto com a qualidade dos dados resultantes.

Metodologia
Este trabalho propõe um framework MARL generalizado para inspeção orbital onde os agentes não são limitados a waypoints fixos, mas podem controlar o tempo e o local da coleta de imagens de forma arbitrária. O sistema emprega uma estrutura de controle hierárquica com dois tipos distintos de agentes operando dentro de um framework de Otimização de Política Próxima (PPO):

• Agentes de Nível Superior: Responsáveis pela tomada de decisão de alto nível, incluindo a seleção de pontos de alvo, a determinação de quando capturar imagens e a decisão de quando encerrar um episódio.
• Agentes de Nível Inferior: Responsáveis pelo controle de baixo nível, gerando comandos de empuxo para navegar até os pontos de alvo enquanto minimizam o uso de combustível e evitam colisões.

O ambiente utiliza a dinâmica relativa de Hill-Clohessy-Wiltshire (HCW) dentro de um referencial Local Vertical Local Horizontal (LVLH). A função de recompensa é a inovação central, projetada para ser generalizada para qualquer número de imagens em quaisquer localizações. Ela é composta por vários componentes ponderados:

1. Valor da Imagem: Uma pontuação composta baseada na distância, separação angular de outras imagens, condições de iluminação (ângulo solar) e prevenção de auto-sombreamento.
2. Recompensas de Equipe vs. Individuais: Um coeficiente de mistura equilibra o valor de imagem global da equipe com as contribuições individuais para incentivar a cooperação, prevenindo a "preguiça".
3. Penalidades: Custos são aplicados para o tempo decorrido, consumo de combustível, erros de ponto de alvo, colisões e deriva excessiva da região operacional.

Para validar essas funções de recompensa, os autores utilizam um pipeline de simulação de alta fidelidade. Trajetórias e metadados de imagem gerados pelos agentes MARL treinados são exportados para o NVIDIA Isaac Sim para capturar imagens fotorrealistas. Essas imagens são então processadas pelo COLMAP (fotogrametria) e Instant-NGP (campos de radiância neural) para gerar reconstruções 3D do alvo. A qualidade dessas reconstruções serve como a métrica objetiva para o desempenho da função de recompensa. O processo de treinamento emprega aprendizado por currículo (curriculum learning), aumentando gradualmente as penalidades de combustível e removendo recompensas planas por permanecer na região operacional para evitar que os agentes aprendam políticas triviais (ex: não fazer nada ou derivar imediatamente).

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Um framework MARL aberto usando PPO que acomoda imagens em qualquer localização e em qualquer quantidade, indo além das restrições de waypoints fixos.
2. Uma metodologia detalhada para testar e refinar implementações de inspeção MARL, focando especificamente na validação de funções de recompensa através da qualidade da reconstrução 3D.
3. Identificação de melhorias futuras para inspeção baseada em RL, incluindo representações de observação alternativas e arquiteturas de controle.
4. Lições gerais aplicáveis tanto à tarefa específica de MARL quanto ao campo mais amplo de inspeção orbital.

Resultados
O estudo demonstra que o ajuste dos pesos da função de recompensa impacta significativamente o comportamento do agente. Especificamente, aumentar o peso da penalidade de combustível de 3 para 4 deslocou a política de trajetórias aleatórias e ineficientes para caminhos eficientes em termos de combustível que aproveitam a dinâmica natural de HCW para movimento planar, utilizando controle ativo para ajustes fora do plano. No entanto, os autores observam que penalidades de combustível excessivas fizeram com que os agentes dependessem inteiramente da dinâmica natural, e requisitos de separação de imagem excessivamente rigorosos desencorajaram a coleta de imagens.

Em termos de reconstrução, o COLMAP produziu reconstruções limpas, porém incompletas, provavelmente prejudicadas pelas mudanças nas condições de iluminação durante a órbita. O Instant-NGP produziu reconstruções mais completas, porém mais difusas. Os autores observaram que, embora as políticas geradas fossem funcionais, elas ainda exibiam deficiências, e o processo de treinamento foi sensível a combinações de parâmetros.

Significância e Alegações
Os autores afirmam que, embora os métodos MARL apresentados gerem políticas que sustentam a viabilidade da inspeção orbital automatizada, as técnicas requerem maior refinamento antes do implante espacial. O valor primário deste trabalho reside na capacidade do MARL de permitir que projetistas de missões explorem lições e estratégias gerais para tarefas de inspeção. Os insights obtidos sobre modelagem de recompensa (reward shaping), aprendizado por currículo e os compromissos entre uso de combustível e qualidade de dados são aplicáveis a tarefas de inspeção que utilizam controladores tradicionais também.

O artigo conclui modestamente que, embora os resultados atuais sejam promissores, eles ainda não são suficientes para implantação imediata. Trabalhos futuros são identificados como necessários no domínio de garantias de segurança de RL para operações de proximidade e o potencial de um loop de análise de reconstrução totalmente automatizado para fornecer recompensas diretas de RL baseadas na qualidade da reconstrução, um objetivo atualmente limitado pela viabilidade computacional.