A Data-Driven Algorithm for Model-Free Control Synthesis

Resumo Técnico: Algoritmo Baseado em Dados para Síntese de Controle sem Modelo

1. Problema e Motivação

O controle ótimo Linear Quadrático (LQR) é uma metodologia fundamental no design de controle, oferecendo robustez e facilidade de implementação. No entanto, o design clássico de LQR requer o conhecimento completo das matrizes de dinâmica do sistema ($A$ e $B$).

• Desafios Atuais: Para muitos sistemas (especialmente não lineares ou complexos, como aeronaves em escala reduzida), obter um modelo matemático preciso é difícil, caro ou economicamente inviável.
• Limitações de Abordagens Existentes: Métodos existentes de aprendizado por reforço ou controle baseado em dados frequentemente exigem:
  • Sistemas de tempo discreto.
  • Atualização "on-policy" (requerendo execução em tempo real no processador embarcado, o que é limitado por recursos).
  • Simulações precisas do sistema (o que contradiz o objetivo de não ter um modelo).
  • Sensibilidade a ruídos quando o tempo de amostragem é pequeno.

O objetivo deste trabalho é desenvolver uma abordagem sem modelo (model-free) que sintetize diretamente um controlador LQR de horizonte infinito para sistemas de tempo contínuo, utilizando apenas uma amostragem finita de dados de entrada-saída ruidosos, sem identificar o modelo dinâmico previamente.

2. Metodologia

O núcleo da proposta é um algoritmo que transforma o problema de controle ótimo em um problema de otimização não linear (NLP) baseado em uma condição necessária derivada da função de valor.

• Condição Necessária Teórica:
  Os autores demonstram um teorema que estabelece uma condição necessária para a função de valor $V(x) = x^T P x$ ao longo de qualquer trajetória do sistema. A derivada temporal da função de valor satisfaz uma equação diferencial que depende apenas das matrizes de ponderação ($Q, R$), do ganho ótimo $K$, e dos dados observados ($x, u$), eliminando a dependência direta das matrizes $A$ e $B$.
  $$\dot{V}(x(t)) = x(t)^T K^T R K x(t) - x(t)^T Q x(t) + 2x(t)^T K^T R u(t)$$

• Formulação do Problema de Otimização (NLP):
  Para dados discretos coletados, a derivada $\dot{V}$ é aproximada por diferenças finitas. O problema é formulado como:

  • Variáveis de Otimização: A matriz $P$ (fatorizada como $L^T L$ para garantir semidefinição positiva) e o ganho de feedback $K$.
  • Função Objetivo: Minimizar o erro quadrático entre os estados observados ($Y$) e os estados latentes estimados ($X$), tratando a observação como ruidosa.
  • Restrições: A equação da condição necessária (discretizada) deve ser satisfeita para todos os pontos de dados na trajetória.
  • Vantagem: Ao formular implicitamente em relação à trajetória de estado, o método torna-se robusto a ruídos de medição.

• Extensões do Método:

  1. Rastreamento de Referência (Reference Tracking): O método é generalizado para calcular simultaneamente o ganho de feedback ($K$) e um ganho de pré-alimentação ($F$) para eliminar erro em regime permanente, permitindo que o sistema siga uma referência constante.
  2. Modelo Misto (Mixed-Model): O algoritmo lida com cenários onde parte da dinâmica é conhecida (ex: dinâmica de atuadores) e parte é desconhecida. A dinâmica conhecida é integrada ao problema de otimização, permitindo o cálculo do ganho ótimo para o sistema híbrido.

3. Contribuições Principais

1. Síntese Direta de LQR Contínuo: Um algoritmo que vai diretamente de dados brutos para o controlador LQR de tempo contínuo, pulando a etapa de identificação de modelo.
2. Robustez a Ruído: A formulação baseada em NLP com estimativa de estados latentes permite lidar com dados de sensores reais ruidosos.
3. Generalização para Rastreamento e Modelos Mistos: Extensão da teoria para controle de rastreamento e sistemas com dinâmica parcial conhecida.
4. Validação Experimental Real: Demonstração prática em um UAV (veículo aéreo não tripulado) em escala reduzida com dinâmicas não lineares desconhecidas e condições de voo desafiadoras (vento).

4. Resultados

Os autores validaram o método em três cenários:

• Caso 1: Sistema Linear Conhecido (Simulação):

  • Utilizou-se um modelo linearizado de um McDonnell-Douglas A-4D Skyhawk.
  • Os dados foram gerados via simulação com ruído.
  • Resultado: O ganho de feedback $\hat{K}$ e o ganho de pré-alimentação $\hat{F}$ calculados pelo método sem modelo foram quase idênticos aos ganhos "verdadeiros" ($K^*, F^*$) obtidos resolvendo a equação de Riccati algébrica (ARE) com as matrizes $A$ e $B$ conhecidas. A resposta em malha fechada foi indistinguível.

• Caso 2: Modelo Misto (Simulação):

  • Adicionou-se dinâmica de atuadores de primeira ordem conhecida ao sistema linear.
  • Resultado: O controlador de modelo misto sintetizado via NLP performou de maneira excelente, rastreando a solução LQR verdadeira, validando a capacidade de integrar conhecimento parcial.

• Caso 3: Teste de Voo Real (UAV):

  • Plataforma: Um UAV em escala (Freewing AL37, inspirado no Boeing 737) com dinâmicas não lineares desconhecidas.
  • Processo:
    1. Coleta de dados (TF1): Voo manual com estabilização desligada, coletando dados de IMU e comandos do piloto.
    2. Síntese: Resolução do NLP para obter o ganho de controle de rolagem.
    3. Validação (TF2): Voo de teste com o controlador ativado em condições ventosas.
  • Resultado: O controlador sintetizado estabilizou a rolagem da aeronave e rastreou comandos de referência complexos (figura-8) com erro em regime permanente negligenciável, apesar do ruído do vento e da falta de um modelo aerodinâmico preciso.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na aplicação de controle ótimo em sistemas reais onde a modelagem é proibitiva.

• Impacto Prático: Permite o desenvolvimento de controladores de alta performance para UAVs e sistemas complexos sem a necessidade de túneis de vento caros ou simulações CFD complexas para validação inicial.
• Viabilidade Embarcada: Ao ser uma abordagem "off-line" (os dados são coletados e o controlador é calculado posteriormente), o método contorna as limitações de processamento de hardware embarcado, sendo ideal para plataformas com recursos limitados.
• Futuro: O trabalho sugere que métricas para a qualidade da coleta de dados e a extensão para síntese em tempo real (controle adaptativo) são os próximos passos lógicos.

Em suma, o artigo fornece uma ponte teórica e prática robusta entre a teoria de controle ótimo clássica e a era dos dados, demonstrando que é possível obter desempenho de controle de "classe mundial" diretamente de dados brutos de sensores.