Resumo Técnico: Tubos de Alcance-Evitação Reversa com Supervisão MPC para Sistemas de Alta Dimensionalidade

Declaração do Problema

O acoplamento autônomo de espaçonaves exige políticas de controle que garantam tanto a evitação de colisões quanto a alcançabilidade do alvo sob dinâmicas translacionais-rotacionais de alta dimensionalidade e fortemente acopladas. Embora a alcançabilidade de Hamilton-Jacobi (HJ) forneça garantias formais para tais problemas de "alcance-evitação", os solucionadores baseados em grade clássicos são limitados pela maldição da dimensionalidade, restringindo tipicamente a aplicação prática a sistemas com cinco ou seis dimensões. O acoplamento de espaçonaves, envolvendo dinâmicas completas de 6 graus de liberdade (6-DOF), resulta em um espaço de estados de 13 dimensões, tornando os métodos baseados em grade computacionalmente intratáveis.

Abordagens existentes baseadas em aprendizado, como o DeepReach, tentam aproximar funções de valor de HJ usando redes neurais para escalar para dimensões mais altas. No entanto, esses métodos lutam especificamente em configurações de alcance-evitação onde o conjunto de objetivo (porto de acoplamento) e o conjunto de falha (zona de colisão) estão fortemente acoplados. A estrutura aninhada min-max da desigualdade variacional (VI) de alcance-evitação produz gradientes que desaparecem em grandes regiões do espaço de estados, levando a treinamento instável e políticas subótimas. Além disso, o treinamento puramente baseado em EDP frequentemente falha em convergir em horizontes temporais longos necessários para tarefas de acoplamento.

Metodologia

Os autores propõem um framework baseado em aprendizado de Tubo de Alcance-Evitação Reversa (BRAT) que integra a estrutura de HJ com supervisão de Controle Preditivo Baseado em Modelo (MPC) para abordar esses desafios. A abordagem consiste em uma fase de treinamento offline e uma fase de implantação online.

Treinamento Offline: Aprendizado de Currículo com Supervisão MPC

A inovação central é uma estratégia de treinamento que aprimora a minimização padrão do resíduo de EDP com supervisão de MPC orientada por currículo.

1. Arquitetura Neural: A função de valor de HJ é aproximada usando uma rede neural SIREN (Redes de Representação Senoidal) com uma parametrização de condição de fronteira exata para garantir que as restrições de fronteira sejam satisfeitas por construção.
2. Função de Perda Híbrida: A rede é treinada minimizando uma perda combinada:
   • Perda de EDP: Penaliza violações da desigualdade variacional de alcance-evitação.
   • Perda de Supervisão MPC: Utiliza alvos de valor gerados por um solucionador MPC. Esses rótulos fornecem supervisão direta em regiões onde o sinal de resíduo da EDP é fraco (por exemplo, longe da fronteira ativa).
3. Ciclo Treinar-Verificar-Refinar: Para lidar com o desafio temporal de aprender funções de valor de horizonte longo, os autores introduzem um loop de feedback ativo. O treinamento prossegue em um currículo que expande gradualmente o horizonte temporal. Em pontos de verificação específicos, o treinamento pausa para validar a função de valor atual contra estimativas de custo do MPC em um conjunto mantido de fora. Se a validação falhar, o treinamento continua no horizonte atual. Crucialmente, os rótulos do MPC são regenerados em cada ponto de verificação usando a política aprendida atual como um "início quente", criando um loop de bootstrap onde a melhoria na qualidade da rede leva a rótulos de supervisão melhores.

Implantação Online: Arquitetura de Duplo Controlador

A função de valor aprendida é implantada por meio de dois controladores em tempo real, ambos apoiados por um filtro de segurança menos restritivo (um BRT apenas de evitação) para garantir segurança mesmo quando o sistema está fora do BRAT aprendido.

1. Controlador de Gradiente BRAT:
   • Fase de Convergência: Quando o estado está fora do BRAT ($V > 0$), o controlador usa o gradiente da função de valor para levar o sistema para o interior do BRAT usando controle do tipo bang-bang.
   • Fase de Precisão: Uma vez dentro do BRAT ($V \leq 0$), o controlador realiza uma busca de tempo mínimo para encontrar a fatia de tempo mais apertada onde o estado permanece seguro, aplicando controle do tipo bang-bang para orientação terminal precisa.
2. Controlador Terminal MPC: Este controlador utiliza MPC de horizonte curto com a função de valor aprendida servindo como um custo terminal diferenciável, combinando a tratabilidade do planejamento de horizonte curto com as informações de alcance-evitação de horizonte longo codificadas na rede neural.

Contribuições Principais

1. Extensão para Problemas de Alcance-Evitação: Os autores estendem o DeepReach supervisionado por MPC para problemas de alcance-evitação, introduzindo uma estratégia de treinamento baseada em currículo com um loop treinar-verificar-refinar para permitir aprendizado estável em sistemas de alta dimensionalidade.
2. Suíte de Controladores Novos: Desenvolvimento de dois controladores em tempo real (gradiente BRAT e MPC Terminal aumentado por função de valor) que aproveitam a função de valor aprendida para acoplamento seguro.
3. Validação de Alta Dimensionalidade: Avaliação em modelos de acoplamento de espaçonaves de fidelidade crescente, incluindo um sistema planar de 6D (validado contra a verdade fundamental baseada em grade) e o sistema orbital completo de 13D.
4. Superioridade de Desempenho: Demonstração de que o método proposto supera as bases existentes de MPC, DeepReach Vanilla e Aprendizado por Reforço (RL) tanto na taxa de sucesso quanto na eficiência computacional.

Resultados

O framework foi avaliado em um problema de acoplamento planar de 6D e em um problema de acoplamento orbital completo de 13D.

• Acoplamento Planar 6D:

  • Precisão: O BRAT aprendido correspondeu estreitamente à verdade fundamental baseada em grade, alcançando uma Taxa de Verdadeiros Positivos (TPR) de 81,12% e uma baixa Taxa de Falsos Positivos (FPR) de 0,15% em relação à solução baseada em grade.
  • Desempenho: O controlador BRAT proposto alcançou uma taxa de sucesso de acoplamento de 99,6% com 0% de colisões, igualando a verdade fundamental baseada em grade (99,8% de sucesso).
  • Eficiência: O controlador BRAT operou em tempo real com um tempo médio de computação de 10,74 ms por passo, significativamente mais rápido que o MPC padrão (5880 ms) e o MPC Terminal (2246 ms).
  • Optimalidade: O controlador aprendido alcançou tempos médios de acoplamento ligeiramente mais rápidos (29,17s) em comparação com a solução baseada em grade (30,18s), atribuído à capacidade da rede neural de mitigar erros de discretização inerentes aos solucionadores baseados em grade.

• Acoplamento Orbital 13D:

  • Escalabilidade: O framework escalou com sucesso para o sistema de 13D, um regime onde os solucionadores baseados em grade são intratáveis.
  • Desempenho: O controlador BRAT alcançou uma taxa de sucesso de acoplamento de 98,88% com uma taxa de colisão de 0,58% em 10.000 condições iniciais amostradas uniformemente.
  • Comparação: As bases falharam significativamente em 13D. O MPC padrão teve uma taxa de colisão de 27% e uma taxa de tempo esgotado de 73%. As bases Vanilla DeepReach e RL falharam quase completamente (99,4% de tempo esgotado). O MPC Terminal alcançou 83% de sucesso, mas exigiu ~12,7 segundos por passo de controle, tornando-o impraticável para execução a bordo em tempo real. O controlador BRAT proposto manteve um tempo de execução por passo de 16,00 ms.

Significado e Alegações

O artigo afirma que este trabalho aborda a lacuna crítica na aplicação de garantias formais de alcance-evitação a sistemas dinâmicos de alta dimensionalidade e acoplados, como o acoplamento de espaçonaves. Ao integrar rigorosamente a supervisão MPC com aprendizado baseado em EDP, os autores superam a instabilidade do treinamento puramente orientado por EDP em configurações de alcance-evitação.

O significado reside na capacidade de sintetizar controladores que são:

1. Formalmente Seguros: Capazes de fornecer garantias de alcance-evitação via o framework de HJ.
2. Escaláveis: Eficazes em espaços de estados de 13 dimensões onde os métodos de grade tradicionais falham.
3. Computacionalmente Eficientes: Capazes de execução em tempo real em hardware a bordo, ao contrário do MPC baseado em otimização, que é muito lento para problemas de alta dimensionalidade.
4. Robustos: Capazes de lidar com o acoplamento apertado entre conjuntos de objetivo e falha que tipicamente confunde abordagens baseadas em aprendizado.

Os autores observam que a formulação atual assume um ambiente sem perturbações e um alvo estacionário. Trabalhos futuros são identificados como a extensão do framework para incluir perturbações limitadas via formulações de jogos diferenciais e o manuseio de alvos tombantes com conjuntos de objetivo variantes no tempo.