Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

Título: Estratégias de Feedback Modificado Ótimas em Jogos LQ sob Imperfeições de Controle

Autores: Mahdis Rabbani, Navid Mojahed e Shima Nazari (UC Davis).

1. Problema Investigado

O artigo aborda um desafio crítico na aplicação prática de teorias de jogos em sistemas de engenharia: a imperfeição na implementação das estratégias de equilíbrio.

• Contexto: Jogos Lineares Quadráticos (LQ) de soma não nula com horizonte finito e tempo discreto, envolvendo dois jogadores.
• O Desafio: Embora o Equilíbrio de Nash de Feedback (FNE) seja teoricamente ótimo, na prática, as entradas de controle dos jogadores sofrem desvios devido a limitações de atuadores, atrasos de comunicação, dinâmicas de servo e ruídos.
• A Questão Central: Como os pequenos desvios na execução do controle de um jogador (Jogador 2) afetam a trajetória do sistema e, especificamente, o custo do outro jogador (Jogador 1), que mantém sua estratégia de equilíbrio original? Como o Jogador 1 pode compensar ativamente esses desvios para mitigar a perda de desempenho?

2. Metodologia

Os autores desenvolveram uma abordagem analítica e de controle baseada em três pilares principais:

A. Análise de Sensibilidade de Primeira Ordem

• Derivaram expressões de forma fechada para quantificar como os desvios de controle ($\Delta u_2$) do Jogador 2 se propagam através da dinâmica do sistema.
• Utilizaram matrizes de transição de estado ($\Phi$) para expressar a perturbação no estado ($\Delta x$) e, subsequentemente, a variação de primeira ordem no custo do Jogador 1 ($\Delta J_1$).
• O resultado mostra que o impacto no custo é linearmente proporcional aos desvios do oponente, permitindo a modelagem do problema como uma perturbação mensurável.

B. Projeto de Lei de Controle Compensada (CF)

• Em vez de tentar redefinir o Equilíbrio de Nash para o jogo modificado (o que seria complexo e exigiria cooperação), propõem uma estratégia de compensação para o Jogador 1.
• Modelagem da Imperfeição: O desvio de implementação é modelado como uma dinâmica de atraso de primeira ordem (lag) ou erro variável lentamente.
• Sistema Aumentado: O Jogador 1 constrói um modelo de estado aumentado que inclui tanto o estado original do sistema quanto a dinâmica do erro de execução ($w_k$) do Jogador 2.
• Otimização: O Jogador 1 resolve um problema de controle ótimo LQ sobre este sistema aumentado. A lei de controle resultante é da forma:
  $$u_{1,k} = -K_k x_k - L_k w_k$$
  Onde:
  • $-K_k x_k$ é o termo de feedback de estado (similar ao FNE).
  • $-L_k w_k$ é um termo de feedforward que atua diretamente sobre o erro estimado do oponente para cancelar seus efeitos.

C. Análise de Otimidade e Desempenho

• Demonstraram que a política compensada é única e ótima dentro da classe de políticas afins causais.
• Provaram que, para desvios suficientemente pequenos, a política compensada melhora o desempenho localmente (até segunda ordem) em comparação com a política de referência não compensada (que ignora o desvio).

3. Contribuições Principais

1. Análise de Sensibilidade Discreta: Derivação de expressões analíticas exatas para a propagação de erros de um jogador no custo do outro em jogos LQ de tempo discreto.
2. Estratégia de Compensação Estruturada: Desenvolvimento de uma lei de feedback que utiliza informações mensuráveis sobre os desvios de implementação do oponente para gerar uma ação de feedforward ótima.
3. Prova de Superioridade Local: Demonstração teórica de que a estratégia compensada nunca é pior (e geralmente é melhor) do que a estratégia de equilíbrio original quando há imperfeições, desde que os desvios sejam pequenos.
4. Validação Numérica: Um exemplo prático com dois carrinhos acoplados por uma mola-amortecedor.

4. Resultados do Exemplo Numérico

O estudo de caso simulou dois carrinhos onde o Jogador 2 sofreu um atraso de atuador (lag) significativo, enquanto o Jogador 1 aplicou a estratégia compensada.

• Cenário 1 (FNE Ideal): Ambos seguem o equilíbrio perfeito.
• Cenário 2 (Referência - REF): Jogador 2 tem atraso; Jogador 1 usa o FNE original. Resultado: Aumento drástico de custo para ambos (Jogador 1 teve um aumento de 51,36% no custo).
• Cenário 3 (Compensado - CF): Jogador 1 usa a lei compensada.
  • Resultado para Jogador 1: O custo foi reduzido em 10,71% em relação ao cenário sem compensação, recuperando cerca de 31,56% da perda de desempenho total causada pelo atraso.
  • Observação sobre o Jogador 2: Curiosamente, o custo do Jogador 2 aumentou ligeiramente no Cenário 3. Isso ocorre porque a estratégia é otimizada apenas para o Jogador 1 (jogo de soma não nula), e a ação compensatória do Jogador 1 pode exigir mais esforço de controle do Jogador 2 (ou alterar a dinâmica de forma que o custo quadrático total do Jogador 2 suba, mesmo que o erro de regulação diminua).

5. Significado e Implicações

• Robustez Prática: O trabalho fornece uma ferramenta teórica para tornar estratégias de jogos (como em veículos autônomos, redes de sensores ou gerenciamento de energia) mais robustas contra falhas de implementação reais.
• Uso de Informação Mensurável: Demonstra que, mesmo sem um novo equilíbrio de Nash global, um jogador pode melhorar seu desempenho individual explorando a observabilidade dos erros do oponente.
• Limitação e Futuro: A solução é específica para um jogador. O artigo sugere que futuros trabalhos podem explorar redesenho conjunto (cooperativo) ou estimativa online adaptativa para lidar com padrões de erro mais complexos.

Em resumo, o paper propõe uma solução elegante para um problema comum em engenharia de controle: como reagir quando o "plano perfeito" (Nash) é executado de forma imperfeita pelo oponente, utilizando a informação do erro para compensação ativa e ótima.