Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots

1. Problema e Contexto

O artigo aborda os desafios críticos no planejamento de trajetória e controle de robôs com múltiplos braços que operam em ambientes de órbita terrestre (serviço em órbita, montagem de estruturas, remoção de detritos).

• Ambiente Complexo: O espaço é não determinístico, caracterizado por microgravidade, perturbações orbitais e atrasos de comunicação.
• Limitações dos Métodos Atuais:
  • Métodos tradicionais de Otimização de Trajetória (TO) dependem de modelos dinâmicos precisos, que são difíceis de obter devido a incertezas no ambiente e simplificações de modelagem (ex: assumir estados de contato perfeitos).
  • Estratégias de controle baseadas em modelos falham frequentemente diante de distúrbios não previstos.
  • A aplicação de Aprendizado por Reforço (RL) em robótica orbital é escassa, especialmente para sistemas de múltiplos braços com acoplamento dinâmico complexo.
• Objetivo: Desenvolver um sistema híbrido que combine a precisão do planejamento baseado em otimização com a adaptabilidade do controle baseado em aprendizado, utilizando robôs com múltiplos braços equipados com propulsores para controle de corpo.

2. Metodologia

A proposta central é uma abordagem híbrida que integra Otimização de Trajetória (TO) para geração de caminhos e Aprendizado por Reforço (RL) para o controle de rastreamento adaptativo.

A. Arquitetura do Sistema

• Robô: Um sistema com $\zeta$ braços (cada um com $n$ graus de liberdade) e propulsores integrados na base. Os propulsores permitem manobras precisas e compensam movimentos acoplados induzidos pelos braços.
• Dinâmica: O modelo considera o acoplamento dinâmico entre a base e os braços, perturbações orbitais e interações de contato com a superfície da espaçonave alvo.

B. Planejamento de Trajetória (Otimização de Trajetória - TO)

• Formulação: O problema é formulado como um Problema de Controle Ótimo (OCP).
• Parametrização: Utiliza splines polinomiais (cúbicos) para parametrizar as trajetórias da base, dos efetuadores finais, das forças de contato e dos propulsores.
• Otimização: O algoritmo otimiza simultaneamente:
  • Trajetória da base (posição e orientação).
  • Perfis de força dos propulsores.
  • Trajetórias e forças de interação dos efetuadores finais.
  • Duração das fases de contato e não contato (passos de "caminhada" do robô).
• Restrições: Inclui limites cinemáticos, dinâmica rígida, evitar colisões, manter o contato durante fases de ancoragem e garantir que as forças de contato correspondam a um mapa 3D da superfície alvo.
• Solução: O OCP contínuo é transcrita para um Problema de Programação Não Linear (NLP) resolvido pelo otimizador IPOPT.

C. Controle de Rastreamento (Aprendizado por Reforço - RL)

• Abordagem: Um agente de RL (baseado em PPO - Proximal Policy Optimization) aprende uma política para rastrear a trajetória gerada pelo TO, adaptando-se a incertezas e dinâmicas não modeladas.
• Espaço de Ação: Alto dimensional (27 graus de liberdade no estudo de caso: posições alvo das juntas dos 4 braços + forças dos propulsores).
• Espaço de Observação: Inclui pose e velocidades da base, estados desejados, posições e velocidades das juntas, ações anteriores e poses dos efetuadores finais.
• Função de Recompensa:
  • Tarefa: Rastreamento da pose da base e dos efetuadores (usando funções logarítmicas de erro para maior precisão em erros pequenos).
  • Normalização: Penaliza movimentos bruscos, consumo excessivo de energia e uso excessivo de propulsores.
  • Penalidade: Penaliza severamente colisões com o ambiente ou auto-colisões.
• Treinamento: Realizado em simulação (Isaac Sim) com randomização de domínio (massa, ruído de sensores, posições iniciais) para garantir robustez e transferência sim-real.

3. Principais Contribuições

1. Otimização de Trajetória Consciente de Contato com Dinâmica Orbital Completa: Formulação que otimiza conjuntamente trajetórias, forças de propulsores e tempos de contato, capturando o acoplamento base-braço e perturbações orbitais.
2. Projeto de Custos e Temporização Adaptativa: Otimização que ajusta automaticamente a duração das fases e penaliza erros de rastreamento e forças de contato, melhorando a segurança e eficiência de combustível.
3. Aprendizado de Política de Alta Dimensão: Desenvolvimento de uma política de RL para um espaço de ação de 27 DoF, gerenciando desafios de manipulação orbital e acoplamento dinâmico, alcançando controle em malha fechada em um dos cenários mais complexos da literatura.
4. Framework Robusto para Implantação Orbital: Uso de reward shaping consciente da órbita, estratégias de currículo e injeção de ruído para garantir generalização sob incertezas de voo espacial.

4. Resultados Experimentais

Os resultados foram validados através de simulações abrangentes em dois cenários principais:

• Cenário 1: Movimento na Superfície (Contato Inicial):

  • O robô já está ancorado e precisa se deslocar na superfície.
  • Comparação: A abordagem com propulsores (TO + RL) superou significativamente a versão sem propulsores.
  • Benefícios dos Propulsores: Redução drástica das forças de interação nos pontos de ancoragem (mais seguro), suavidade na trajetória da base (menos oscilações) e prevenção de deriva.
  • Desempenho do RL: O agente de RL rastreou a trajetória planejada com erros médios na ordem de milímetros a poucos centímetros, lidando bem com a discrepância entre o modelo simplificado do planejador e a dinâmica completa da simulação.

• Cenário 2: Aproximação a uma Espaçonave (Sem Contato Inicial):

  • O robô flutua livremente a 0,5m da superfície e deve usar propulsores para se aproximar e, em seguida, ancorar e se mover.
  • Desempenho: O TO gerou uma trajetória de aproximação diagonal usando propulsores, seguida por locomoção baseada em braços. O RL conseguiu rastrear essa transição complexa com sucesso.

• Comparação com Outros Controladores:

  • O método proposto (RL) apresentou erros de rastreamento significativamente menores (média de $6.7 \times 10^{-3}$ m) comparado a controladores clássicos como Inversa Cinemática Diferencial (IK) ($9.2 \times 10^{-2}$ m) e controle baseado em impedância.

5. Significado e Conclusão

O artigo estabelece um marco importante para a robótica espacial autônoma ao demonstrar que a combinação de Planejamento Baseado em Otimização (para garantir viabilidade e eficiência global) com Controle Baseado em RL (para robustez e adaptabilidade local) é uma solução superior para operações em órbita.

• Inovação Chave: A integração de propulsores no controle de múltiplos braços permite que o robô não dependa exclusivamente dos braços para estabilização, reduzindo o estresse estrutural e o consumo de combustível.
• Viabilidade: O planejador TO é computacionalmente leve o suficiente para planejamento offline (ou em receding horizon), enquanto a política de RL é extremamente eficiente para execução em tempo real em hardware embarcado.
• Futuro: O trabalho sugere a integração de replanejamento local em tempo real e o desenvolvimento de garantias de segurança aprimoradas para RL, abrindo caminho para missões de montagem e serviço em órbita mais complexas e autônomas.