On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Resumo Técnico: Comparação entre Aprendizado por Reforço e Controle Adaptativo para Sistemas Lineares sob Perda de Pacotes e Incerteza

Definição do Problema
Este artigo aborda o controle de sistemas lineares incertos operando em canais de comunicação sujeitos a perda de pacotes e quantização de entrada. O desafio específico envolve estabilizar um sistema que passa por uma alternância dinâmica de uma configuração nominal instável para uma configuração mais instável durante a operação. O estudo compara dois paradigmas de controle distintos neste cenário: o Controle Quantizado Adaptativo (AQC), uma abordagem baseada em modelo que utiliza mensagens de confirmação (acknowledgment messages), e o Deep Deterministic Policy Gradient (DDPG), uma abordagem de aprendizado por reforço (RL) baseada em dados, treinada no modelo nominal sem confirmações. O problema central é avaliar o compromisso (trade-off) entre o desempenho transiente dos métodos de aprendizado e a robustez do controle adaptativo sob incerteza de modelo e restrições de comunicação.

Metodologia
O estudo emprega um modelo de sistema linear discreto incerto onde o sinal de controle é transmitido através de um canal com uma probabilidade de perda de pacotes $\bar{p}$. A entrada de controle está sujeita a uma quantização logarítmica, modelada como uma não linearidade limitada por setor variante no tempo.

1. Controle Quantizado Adaptativo (AQC):

   • Estrutura: Baseado em trabalhos anteriores [11, 12], o AQC utiliza um ganho de realimentação variante no tempo $K(k)$ e um quantizador $q(k, u(k))$.
   • Mecanismo: O controlador depende de mensagens de confirmação para determinar se um pacote foi recebido com sucesso ($\eta(k)=1$) ou perdido ($\eta(k)=0$). Essa informação é utilizada para atualizar a lei de controle e os parâmetros do quantizador.
   • Estabilidade: O projeto é fundamentado na teoria de estabilidade de Lyapunov. Uma equação de Riccati é resolvida para determinar um ganho estabilizador, e a lei adaptativa garante que o sistema permaneça estável em probabilidade mesmo sob perda de pacotes, desde que o limite de perda satisfaça uma condição específica derivada da função de Lyapunov.

2. Deep Deterministic Policy Gradient (DDPG):

   • Estrutura: Uma arquitetura ator-crítico utilizando redes neurais feed-forward (FFNN). O ator mapeia estados diretamente para ações de controle contínuas, enquanto o crítico estima a função de valor da ação.
   • Treinamento: O agente DDPG é treinado exclusivamente no modelo do sistema nominal (sem perda de pacotes ou alternância dinâmica) usando uma função de recompensa baseada no erro de rastreamento.
   • Implementação: Durante a avaliação, a política treinada é aplicada ao sistema com o mesmo quantizador variante no tempo usado no AQC, mas sem acesso às mensagens de confirmação. O agente deve generalizar sua política para lidar com a perda de pacotes e a alternância para um sistema mais instável ($A_w$).

Principais Contribuições

• Análise Comparativa: O artigo fornece uma comparação numérica direta entre um controlador adaptativo rigorosamente projetado e um controlador moderno de aprendizado por reforço profundo sob condições idênticas de quantização de entrada, perda de pacotes e alternância dinâmica de sistema.
• Avaliação de Robustez: Investiga o desempenho de ambos os métodos quando a dinâmica do sistema muda de um estado instável nominal para um estado mais instável, um cenário não presente durante a fase de treinamento do DDPG.
• Integração de Quantização: Ambas as estratégias de controle são implementadas com um quantizador logarítmico variante no tempo, permitindo uma comparação justa de como cada método lida com restrições de largura de banda finitas.

Resultados Numéricos
Simulações foram conduzidas em um sistema incerto de segunda ordem com variações nas condições iniciais e tempos de alternância ($t_d$).

• Desempenho no Ambiente de Treinamento: Na ausência de perda de pacotes e dentro do intervalo dinâmico nominal, o controlador DDPG demonstrou respostas transientes mais rápidas e melhor amortecimento em comparação ao AQC.
• Robustez sob Incerteza e Perda de Pacotes:
  • AQC: Estabilizou consistentemente o sistema em todos os cenários testados, incluindo altas taxas de perda de pacotes ($\bar{p} > 0,5$) e alternância dinâmica. O uso de mensagens de confirmação permitiu que o controlador compensasse os pacotes perdidos, mantendo a estabilidade conforme garantido pela teoria de Lyapunov.
  • DDPG: Embora eficaz para pequenos desvios do ambiente de treinamento, o controlador DDPG falhou em estabilizar o sistema quando submetido a incertezas significativas de modelo (alternância para dinâmicas altamente instáveis) ou altas taxas de perda de pacotes. Sem as mensagens de confirmação, o controlador não conseguiu adaptar-se à perda de sinais de controle, levando à instabilidade.
• Intervalo de Estabilidade: A Tabela 1 do artigo indica que, enquanto o controlador DDPG permanece estável apenas para variações de parâmetros próximas ao conjunto de treinamento, o AQC mantém a estabilidade em uma gama significativamente mais ampla de parâmetros do sistema.

Significância e Alegações
O artigo conclui que existe um compromisso distinto entre o desempenho baseado em dados e a robustez baseada em modelos.

• Desempenho vs. Robustez: O DDPG oferece desempenho transiente superior quando o ambiente operacional corresponde de perto à distribuição de treinamento. No entanto, o AQC proporciona robustez superior e estabilidade garantida na presença de incerteza de modelo, perda de pacotes e alternância dinâmica, devido às suas garantias rigorosas de estabilidade de Lyapunov.
• Aplicabilidade: Os resultados sugerem que, embora o aprendizado por reforço seja promissor para espaços de alta dimensão, sua aplicabilidade a sistemas incertos em rede é limitada sem mecanismos de estabilidade explícitos ou treinamento que abranja todo o intervalo de incertezas potenciais.
• Direções Futuras: Os autores observam que trabalhos futuros focarão na extensão desses frameworks para sistemas multiagentes em rede, abordando especificamente atrasos de comunicação, interações distribuídas e o desenvolvimento de algoritmos de RL com garantias de estabilidade rigorosas para controle cooperativo.