Resumo Técnico: Um Regulador Neural Baseado em Adjuntos para Controle Ótimo em Tempo Real com Restrições de Estado

1. Definição do Problema

O controle ótimo restrito em tempo real de sistemas não lineares apresenta um desafio significativo na robótica e em sistemas autônomos, exigindo que os controladores equilibrem desempenho com a satisfação rigorosa de restrições sob limites computacionais de nível de milissegundos.

• Controle Preditivo Baseado em Modelo Não Linear (NMPC): Embora eficaz, o NMPC requer a resolução de um problema de otimização não linear restrito online em cada passo de tempo. Em configurações de segurança crítica ou de dinâmica rápida, a repetição da otimização e a latência do solver tornam essa abordagem computacionalmente proibitiva.
• Aprendizado por Reforço (RL): O RL oferece inferência rápida online ao amortizar o cálculo no treinamento offline. No entanto, abordagens padrão de RL (ex: Soft Actor-Critic) frequentemente lutam com eficiência de amostragem, generalização para condições fora da distribuição (OOD) e satisfação rigorosa de restrições. Filtros de segurança comuns (ex: Funções de Barreira de Controle ou CBFs) aplicados a políticas de RL podem levar a correções conservadoras ou agressivas se a política nominal não codificar inerentemente a estrutura de otimalidade do problema.

O problema central abordado é o desenvolvimento de um framework de controle que alcance a velocidade computacional de métodos baseados em aprendizado, mantendo a estrutura de otimalidade do controle ótimo e garantindo restrições de segurança sem o pesado ônus de otimização online do NMPC.

2. Metodologia: Regulador Neural Baseado em Adjuntos (ANR)

O artigo propõe o Regulador Neural Baseado em Adjuntos (ANR), um framework baseado em aprendizado que aprende uma política de co-estado (adjunto) neural em vez de uma lei de controle direta. Esta abordagem é fundamentada no Princípio de Pontryagin para o Mínimo (PMP).

A. Arquitetura Central

O framework consiste em duas fases: treinamento offline e implantação online.

1. Parametrização do Co-Estado (CoNN):

   • Uma rede neural, denominada Rede Neural de Co-Estado (CoNN), mapeia o estado atual do sistema $x_i$ para uma trajetória de co-estado de horizonte finito $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$.
   • Diferente do RL, que aprende uma política $\pi(u|x)$, a CoNN aprende o mapeamento dos estados para as variáveis adjuntas, que representam a sensibilidade da função de valor em relação ao estado.

2. Treinamento Offline:

   • Rollout: Dada uma sequência de co-estado prevista, a sequência de entrada de controle é derivada minimizando o Hamiltoniano pontualmente. Para custos quadráticos, isso resulta em uma lei de controle explícita: $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • Função de Perda: A rede é treinada de ponta a ponta usando uma perda de três termos:
     • Custo de Estágio: Soma dos custos de execução ($x^\top Q x + u^\top R u$) ao longo do horizonte.
     • Custo Terminal: Custo no estado final.
     • Regularização de Co-Estado: Uma penalidade de norma $\ell_1$ na trajetória de co-estado para incentivar previsões de norma mínima.
   • A perda é retropropagada através do rollout do horizonte para atualizar os parâmetros da rede.

3. Implantação Online (Controle em Tempo Real):

   • Em cada passo de tempo $t_k$, a CoNN prevê uma sequência de co-estado a partir do estado atual $x_k$.
   • O primeiro co-estado previsto $\hat{\lambda}_{0|k}$ é usado para calcular a entrada de controle.
   • Segurança e Viabilidade: Em vez de uma simples projeção, a entrada de controle é determinada pela resolução de um problema de minimização de Hamiltoniano restrito em tempo real. Esta otimização incorpora:
     • Limites de atuador ($u \in \mathcal{U}$).
     • Restrições de segurança de estado impostas via Funções de Barreira de Controle de Alta Ordem (HOCBFs).
   • A lei de controle resultante é:
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     sujeito a restrições de entrada e condições HOCBF que garantem a segurança.

3. Principais Contribuições

• Framework Inovador: Introdução do ANR, que desacopla o aprendizado de otimalidade (via adjunto) da imposição de restrições (via minimização restrita em tempo real).
• Preservação da Otimalidade: Ao aprender o adjunto em vez da ação, o framework codifica explicitamente a estrutura de otimalidade indireta do problema de controle restrito, evitando as falhas de "nominal-então-projeção" das abordagens comuns de RL-CBF.
• Segurança e Viabilidade Unificadas: O método lida com restrições de estado rígidas (via HOCBFs) e restrições de entrada simultaneamente dentro do passo de minimização do Hamiltoniano, garantindo a viabilidade sem exigir engenharia de recompensa complexa.
• Eficiência Computacional: A abordagem alcança um desempenho comparável ao NMPC, mas com custo computacional significativamente reduzido, substituando a otimização não linear online por uma única inferência de rede neural e um pequeno Programa Quadrático (QP).

4. Resultados Experimentais

O framework foi avaliado em um modelo de robô unicycle com dinâmica $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$, com a tarefa de navegar até uma referência enquanto evita obstáculos circulares. Comparações foram feitas contra NMPC (usando IPOPT) e RL (Soft Actor-Critic com filtro de segurança HOCBF-QP).

Métricas de Desempenho

• Velocidade Computacional:
  • RL: Mais rápido (~0.5 ms).
  • ANR: ~1.2–1.4 ms (aproximadamente 250x mais rápido que o NMPC).
  • NMPC: ~350–1200 ms (dependendo da complexidade do cenário).
• Generalização (Fora da Distribuição - OOD):
  • RL: Falhou em generalizar de forma confiável para estados iniciais ou referências não vistas, mesmo dentro da distribuição de treinamento, alcançando baixas taxas de sucesso (ex: 30% em testes de dentro da distribuição, falhando completamente em testes OOD).
  • ANR: Exibiu desempenho quase invariante em cenários não vistos, incluindo estados iniciais OOD e referências não nulas. As taxas de sucesso foram comparáveis ao NMPC (ex: 98% de sucesso em cenários de obstáculos OOD).
• Precisão:
  • O ANR alcançou Erros de Convergência Absoluta (ACE) e Derivadas Médias Quadráticas (MSD) comparáveis ao NMPC, embora ligeiramente superiores ao RL em casos de dentro da distribuição onde o RL sofreu overfitting.
  • Em cenários OOD, o ANR superou significativamente o RL, que falhou em atingir alvos ou satisfazer restrições.

Descobertas Específicas

• Em cenários OOD sem obstáculos, o ANR igualou o desempenho do NMPC com um custo computacional dois ordens de magnitude menor.
• Em cenários com muitos obstáculos, o ANR manteve altas taxas de sucesso (98% em testes de obstáculos densos randomizados) onde o RL falhou.
• O ANR lidou com sucesso com tarefas de rastreamento de referência não nula em configurações OOD, um cenário onde as linhas de base de RL não foram avaliadas devido ao seu baixo desempenho prévio.

5. Significância e Alegações

O artigo afirma que o framework ANR consegue preencher a lacuna entre a eficiência computacional do controle baseado em aprendizado e as garantias rigorosas de otimalidade e segurança do controle ótimo.

• Significância: O método oferece uma alternativa viável ao NMPC para aplicações que exigem decisões de controle de nível de milissegundo, como sistemas de dinâmica rápida e robótica de segurança crítica, onde a otimização repetida online é proibitiva.
• Robustez: Ao contrário do RL padrão, que muitas vezes exige extensa engenharia de recompensa e tem dificuldade com a generalização, o ANR aproveita as propriedades estruturais do PMP para generalizar efetivamente para condições iniciais e referências não vistas.
• Segurança: Ao integrar HOCBFs diretamente na minimização do Hamiltoniano, o framework garante a satisfação estrita de restrições de estado e entrada sem as limitações estruturais dos filtros de segurança post-hoc aplicados a políticas nominais não ótimas.

Os autores concluem que a abordagem proposta alcança um desempenho equivalente ao NMPC com uma fração do seu custo computacional, enquanto supera significativamente o RL em regimes fora da distribuição de treinamento. O trabalho futuro é identificado como a extensão do framework para obstáculos dinâmicos e sistemas de maior dimensão.