Learning-based control of a single-DOF Aero system

Resumo Técnico: Controle Baseado em Aprendizado de um Sistema Aero de Um Único Grau de Liberdade

Definição do Problema
Sistemas mecatrônicos não lineares, como plataformas aeroespaciais e manipuladores robóticos, enfrentam desafios significativos de controle devido a fortes não linearidades, incertezas paramétricas, dinâmicas não modeladas e distúrbios externos. Embora técnicas clássicas de controle não linear, como a linearização por realimentação e o controle por modo deslizante, ofereçam garantias formais de estabilidade, seu desempenho é criticamente dependente da disponibilidade de modelos de sistema precisos. Na prática, erros de modelagem inevitáveis e distúrbios desconhecidos frequentemente degradam o desempenho ou comprometem a estabilidade. Por outro lado, embora o Aprendizado por Reforço (RL) ofereça adaptabilidade através da interação com o ambiente, algoritmos padrão de RL frequentemente carecem de garantias formais de estabilidade e exigem uma exploração extensiva, tornando-os difíceis de implementar em sistemas de segurança crítica ou altamente não lineares. O problema central abordado é o desenvolvimento de uma arquitetura de controle que integre as garantias analíticas de estabilidade do controle baseado em modelo com a adaptabilidade dos métodos baseados em aprendizado para lidar com incertezas sem sacrificar a segurança.

Metodologia
Os autores propõem uma estrutura de controle híbrida aplicada a um modelo de um único grau de liberdade (pitch/arfagem) do sistema Quanser AERO. A metodologia combina um controlador de linearização por realimentação baseado em Lyapunov com um componente de aprendizado por reforço de gradiente de política.

1. Arquitetura de Controle:

   • Controlador Nominal: Uma lei de linearização por realimentação é derivada para linearizar a dinâmica do sistema. Este controlador é projetado usando análise de estabilidade de Lyapunov para garantir a estabilidade em malha fechada na presença de incertezas de modelagem.
   • Componente de Aprendizado: Um agente de aprendizado por reforço ator-crítico é empregado para estimar e compensar dinâmicas não modeladas e distúrbios externos online. O agente aprende um compensador de distúrbio ($\hat{d}$) que é adicionado à lei de controle nominal.
   • Algoritmo: O módulo de aprendizado utiliza o algoritmo REINFORCE-com-baseline. A política (ator) é modelada como uma distribuição Gaussiana, enquanto uma rede neural separada (crítico) estima a função de valor de estado. Para estabilizar o treinamento e reduzir a variância das estimativas de gradiente de política, os autores utilizam a Estimativa de Vantagem Generalizada (GAE).
   • Função de Recompensa: A recompensa é definida com base no erro de rastreamento combinado ($\eta$), especificamente $r = -|\eta| \ln(1 + t)$. O termo logarítmico dependente do tempo atenua a influência de grandes erros transientes no início do episódio, deslocando o foco para o desempenho em regime permanente.

2. Análise de Estabilidade:
   O artigo fornece uma prova de estabilidade baseada em Lyapunov. Assume-se que o ângulo de pitch e sua derivada são mensuráveis, que a trajetória desejada é continuamente diferenciável e que o distúrbio é limitado. A análise demonstra que, se a saída do agente de RL for limitada, o erro de aproximação do distúrbio permanecerá limitado. Consequentemente, o sistema em malha fechada exibe erros de rastreamento uniformemente limitados ultimamente (UUB). A estabilidade do sistema é garantida primordialmente pela linearização por realimentação baseada em Lyapunov, enquanto o agente de RL fornece compensação adaptativa dentro desses limites de estabilidade.

3. Configuração de Simulação:
   Simulações numéricas foram conduzidas em Python utilizando o método de Runge-Kutta de quarta ordem. O sistema foi submetido a condições iniciais randomizadas e trajetórias desejadas variantes no tempo. O agente de RL foi treinado ao longo de 20.000 episódios usando o otimizador Adam com uma taxa de aprendizado de $1 \times 10^{-4}$.

Principais Resultados

• Desempenho do Algoritmo: Comparações entre o REINFORCE vanilla e o REINFORCE-com-baseline mostraram que a variante com baseline alcançou retornos finais significativamente maiores e convergência mais rápida. O REINFORCE vanilla exibiu comportamento de aprendizado instável e falhou em convergir em taxas de aprendizado mais baixas, enquanto a variante com baseline atingiu desempenho estável em aproximadamente 2.500 episódios.
• Rastreamento de Trajetória: Em simulações envolvendo 100 condições iniciais randomizadas, o controlador baseado em aprendizado demonstrou precisão de rastreamento de trajetória superior em comparação ao controlador de linearização por realimentação convencional isolado. A abordagem proposta reduziu significativamente tanto os erros de rastreamento em regime permanente quanto os transientes.
• Robustez: O controlador manteve alto desempenho sob distúrbios não modelados e variantes no tempo (combinações senoidais e cosenoidais) sem necessidade de retreinamento. A política aprendida conseguiu adaptar-se com sucesso para capturar a estrutura oscilatória dos distúrbios injetados, mantendo o erro de rastreamento baixo e limitado.
• Esforço de Controle: O melhor desempenho de rastreamento foi alcançado sem introduzir esforço de controle excessivo; os perfis de tensão de controle permaneceram semelhantes entre os métodos convencional e potencializado pelo aprendizado.

Significância e Alegações
O artigo afirma que a proposta abordagem combina efetivamente as garantias analíticas do controle baseado em Lyapunov com a adaptabilidade do aprendizado por reforço. Ao usar o controlador baseado em modelo como uma fundação estável e o módulo de aprendizado como um compensador de distúrbio adaptativo, o sistema alcança um rastreamento de trajetória robusto em ambientes incertos. Os autores enfatizam que esta arquitetura permite um "aprendizado seguro e estável" porque o agente de RL opera dentro dos limites do controlador convencional, garantindo que as condições de estabilidade do sistema não sejam violadas mesmo enquanto o agente se adapta a efeitos não modelados. Os resultados sugerem que a incorporação de um baseline em métodos de gradiente de política é crucial para melhorar a eficiência de amostragem e garantir o aprendimento de política confiável em sistemas mecatrônicos não lineares.