Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Este artigo avalia três abordagens de planejamento de missão para remoção ativa de detritos, demonstrando que, embora o aprendizado por reforço com randomização de domínio ofereça um equilíbrio robusto entre velocidade e adaptabilidade, o Monte Carlo Tree Search proporciona um tratamento de restrições superior ao custo de um tempo computacional significativamente maior, destacando um compromisso crítico entre a eficiência da política aprendida e a flexibilidade baseada em busca.

O essencial

Imagine que você é o capitão de uma nave espacial encarregado de limpar um quarto bagunçado cheio de lixo flutuante (detritos espaciais). Você tem uma quantidade limitada de combustível (como um tanque de gasolina) e um prazo rigoroso (como um toque de recolher). Seu trabalho é visitar o máximo possível de pedaços de lixo, parar em um posto de gasolina se necessário para reabastecer seu tanque e voltar a tempo.

Este artigo é uma corrida entre três diferentes "cérebros" tentando descobrir a melhor rota para limpar o quarto. Os pesquisadores testaram o quão bem cada cérebro funciona quando as regras do jogo permanecem as mesmas e o quão bem eles lidam com situações em que as regras mudam de repente (como ficar sem combustível mais rápido do que o esperado ou ter menos tempo).

Aqui está como os três competidores se comparam, usando analogias simples:

Os Três Competidores

1. O "Especialista" (PPO Nominal)

• O que é: Este é um robô treinado especificamente para um cenário perfeito. É como um aluno que memorizou as respostas de um teste prático específico.
• Como funciona: Ele aprende por tentativa e erro até saber exatamente os melhores movimentos para uma missão padrão (7 dias, combustível cheio).
• A Armadilha: Ele é incrivelmente rápido. Toma decisões num piscar de olhos. No entanto, se você mudar as perguntas do teste (ex: "Agora você só tem metade do combustível"), ele entra em pânico. Ele tenta usar os mesmos movimentos memorizados, fica sem combustível e falha miseravelmente. É ótimo quando tudo sai conforme o planejado, mas frágil quando as coisas dão errado.

2. O "Generalista" (PPO com Randomização de Domínio)

• O que é: Este é um robô treinado em muitos cenários diferentes. É como um aluno que não apenas memorizou um teste, mas praticou com níveis de combustível aleatórios e limites de tempo aleatórios todos os dias.
• Como funciona: Ele aprendeu a ser flexível. Ele sabe ser agressivo quando tem muito combustível e como ser conservador quando o combustível está baixo.
• A Armadilha: Ele ainda é muito rápido (assim como o Especialista). Quando as regras mudam, ele se adapta muito melhor que o Especialista. Ele não performa de forma tão perfeita quanto o Especialista no cenário perfeito, mas não quebra quando o cenário fica difícil. É um bom meio-termo.

3. O "Calculador" (MCTS)

• O que é: Este não é um robô pré-treinado; é um supercomputador que pensa em cada possível futuro antes de fazer um único movimento. É como um grande mestre de xadrez que simula 200 jogos diferentes em sua mente antes de mover uma peça.
• Como funciona: A cada passo, ele pergunta: "Se eu for para cá, o que acontece a seguir? Se eu for para lá, o que acontece depois?". Ele recalcula constantemente com base na situação atual.
• A Armadilha: Ele é o mais inteligente para lidar com surpresas. Se você cortar o combustível pela metade, ele recalcula instantaneamente a melhor rota e ainda assim realiza o trabalho. No entanto, ele é lento. Enquanto os outros dois tomam decisões em menos de um segundo, este leva mais de quatro minutos para pensar em um único movimento. Em uma emergência real em uma nave espacial, esperar quatro minutos para decidir para onde virar pode ser tempo demais.

Os Resultados da Corrida

Os pesquisadores realizaram 300 testes para ver quem venceria sob diferentes condições:

• O Teste do "Dia Perfeito" (Combustível e Tempo Normais):
  O Especialista venceu por uma margem mínima. Ele conhecia a rota perfeitamente. O Generalista foi quase tão bom quanto, e o Calculador ficou um pouco atrás, mas ainda fez um ótimo trabalho.

• O Teste de "Falta de Tempo" (3 Dias em vez de 7):
  Todos tiveram dificuldades porque o relógio corria mais rápido. O Generalista se adaptou melhor e limpou mais lixo. O Especialista ficou confuso e limpou menos. O Calculador foi bem, mas foi um pouco mais lento para reagir do que o Generalista.

• O Teste de "Baixo Combustível" (1/3 do combustível):
  Este foi o grande choque. O Especialista colapsou drasticamente; ele tentou seguir sua rota habitual, ficou sem combustível imediatamente e mal limpou qualquer coisa. O Generalista se saiu muito melhor, limpando mais do que o dobro do que o Especialista, mas ainda não conseguiu vencer o Calculador. O Calculador foi o vencedor claro aqui, pois conseguiu perceber instantaneamente que precisava ser muito cuidadoso com seu combustível e mudou seu plano sobre a hora.

A Grande Lição

O artigo conclui que existe um compromisso entre velocidade e flexibilidade:

• Se você sabe que as regras não vão mudar, use o Especialista. Ele é rápido e eficiente.
• Se você acha que as regras podem mudar um pouco, use o Generalista. Ele é um compromisso inteligente que é rápido, mas consegue lidar com algumas surpresas.
• Se as regras forem caóticas e você precisar do melhor plano absoluto, use o Calculador. Mas esteja avisado: ele leva muito tempo para pensar.

Os autores sugerem que o futuro da limpeza espacial pode envolver a mistura dessas abordagens: treinar robôs para serem "Generalistas" (como o segundo robô), para que sejam inteligentes e rápidos, mas talvez dando a eles um pouco da habilidade do "Calculador" de conferir seus planos quando as coisas ficarem realmente loucas.

Resumo técnico

Resumo Técnico: Avaliando a Robustez e a Adaptabilidade na Planejamento de Missões Baseado em Aprendizado para Remoção Ativa de Detritos

Definição do Problema
A Remoção Ativa de Detritos (ADR) em Órbita Terrestre Baixa (LEO) exige que espaçonaves autônomas realizem o encontro sequencial com múltiplos objetos de detritos sob restrições operacionais rigorosas. O desafio central é um problema de tomada de decisão sequencial restrito, onde a espaçonave deve maximizar o número de detritos removidos enquanto adere a limites rígidos de duração total da missão e $\Delta v$ cumulativo (orçamento de combustível). A espaçonave opera em uma banda de altitude de 700–800 km, utilizando transferências de Hohmann co-elípticas e manobras de elipse de segurança terminal. Uma complicação crítica é o potencial de "desvio de distribuição" (distributional shift), onde as condições de implantação (ex: redução de combustível ou tempo de missão reduzido) diferem dos parâmetros assumidos durante o treinamento das políticas aprendidas. O problema é ainda mais complicado pela necessidade de reabastecimento no meio da missão, o que redefine o orçamento de $\Delta v$, mas consome tempo de missão.

Metodologia
Os autores avaliam e comparam três estratégias de planejamento distintas dentro de um ambiente de simulação orbital de alta fidelidade (SpaceDebrisStressTestEnv) envolvendo 50 alvos de detritos gerados aleatoriamente por episódio. Todos os métodos utilizam mascaramento de ações para impor restrições de viabilidade ( $\Delta v$ restante, tempo e status de visitação).

1. PPO Mascarado Nominal: Um agente de Otimização de Política Próxima (PPO) treinado em parâmetros de missão nominais fixos (duração de 7 dias, 3 km/s de $\Delta v$). Utiliza um Perceptron Multicamadas (MLP) com duas camadas ocultas (256 unidades) e é treinado por 1 milhão de timesteps.
2. PPO Mascarado com Randomização de Domínio: Uma arquitetura PPO idêntica treinada por 5,5 milhões de timesteps, mas com parâmetros de missão (duração e orçamento de $\Delta v$) randomizados no início de cada episódio. Esta abordagem visa melhorar a robustez contra desvios de distribuição.
3. MCTS Simples (Monte Carlo Tree Search): Um baseline de busca online utilizando o algoritmo Upper Confidence bounds applied to Trees (UCT). Realiza 200 simulações por passo de decisão com uma política aleatória uniforme para os rollouts. Replaneja dinamicamente a cada passo sem treinamento prévio.

Principais Resultados
Os métodos foram testados em 300 casos (100 por cenário) cobrindo condições nominais, combustível reduzido (1 km/s) e tempo de missão reduzido (3 dias).

• Desempenho Nominal: Sob condições correspondentes ao treinamento, o PPO Nominal alcançou a maior remoção média de detritos (29,1 objetos), superando ligeiramente o PPO com Randomização de Domínio (28,2) e o MCTS (27,1). Ambas as variantes de PPO demonstraram tempos de inferência de sub-segundo.
• Tempo de Missão Reduzido: Quando a duração foi cortada para 3 dias, o PPO com Randomização de Domínio apresentou a melhor adaptabilidade (14,1 objetos), superando tanto o PPO Nominal (12,6) quanto o MCTS (11,9).
• Combustível ($\Delta v$) Reduzido: Sob restrições severas de combustível (1 km/s), o PPO Nominal degradou-se drasticamente, removendo apenas 3,2 objetos em média devido à exaustão precoce do combustível. O PPO com Randomização de Domínio melhorou significativamente (8,1 objetos), mas ainda ficou atrás do MCTS (15,0 objetos).
• Custo Computacional: O MCTS incorreu em uma penalidade computacional massiva, com média de mais de 4 minutos por caso de teste devido à clonagem repetida do ambiente e aos rollouts. Em contraste, ambas as variantes de PPO exigiram menos de 1 segundo por episódio.

Significância e Alegações
O artigo postula que existe um compromisso (trade-off) fundamental entre a velocidade das políticas aprendidas e a adaptabilidade dos métodos de busca no planejamento de missões ADR.

• Políticas Aprendidas: Oferecem inferência rápida adequada para execução embarcada em tempo real, mas são frágeis quando as condições de implantação divergem das distribuições de treinamento.
• Métodos de Busca (MCTS): Proporcionam adaptabilidade superior a mudanças de restrições através de replanejamento online, mas são computacionalmente proibitivos para execução em tempo real em hardware com recursos limitados.
• Randomização de Domínio: O estudo demonstra que o treinamento com parâmetros de missão diversos mitiga parcialmente essa lacuna. Embora incorra em uma perda moderada de desempenho nominal e exija significativamente mais etapas de treinamento (5,5M vs 1M), produz uma política com robustez significativamente melhorada a mudanças de restrições em comparação com uma política nominal.

Os autores concluem que, embora nenhum método ofereça atualmente tanto velocidade quanto adaptabilidade ideais, combinar a diversidade no tempo de treinamento (randomização de domínio) com estratégias de planejamento online representa um caminho promissor para futuros sistemas de ADR resilientes. Eles sugerem que frameworks híbridos, como aqueles que misturam previsões de políticas neurais com busca em árvore (ex: AlphaZero ou MuZero), poderiam ser uma direção viável para o trabalho futuro para alcançar tanto eficiência quanto adaptabilidade.