Deception Against Data-Driven Linear-Quadratic Control

Título: Engano contra Controle Linear-Quadrático Baseado em Dados

Autores: Filippos Fotiadis, Aris Kanellopoulos, Kyriakos G. Vamvoudakis, Ufuk Topcu.

---

1. Problema Investigado

O artigo aborda o cenário de segurança em sistemas de controle ciber-físicos onde um adversário tenta aprender a política de ataque ótima (Linear-Quadrática) para um sistema dinâmico, sem conhecer suas equações de estado (dinâmica). O adversário utiliza dados históricos de estados e entradas para inferir o ganho de ataque ótimo ($K^\star$).

O defensor, que possui conhecimento completo da dinâmica do sistema, deseja explorar essa vantagem informacional para realizar um ato de engano (deception). O objetivo do defensor é injetar um sinal de feedback enganoso no sistema de modo a distorcer os dados que o adversário coleta. Consequentemente, o adversário deve aprender um ganho de ataque subótimo e pré-selecionado ($\bar{K}$), que seja menos prejudicial ao sistema do que o ataque ótimo real.

O desafio central é formular e resolver matematicamente a estratégia de engano ótima, garantindo que o sistema permaneça estável e que o algoritmo de aprendizado do adversário convirja para o alvo desejado, independentemente do algoritmo específico de aprendizado utilizado pelo adversário.

2. Metodologia

Formulação do Problema

• Modelo do Sistema: O sistema é descrito por equações de estado contínuas. O defensor adiciona uma entrada enganosa $u(t) = \Lambda x(t)$, onde $\Lambda$ é o ganho de engano a ser projetado.
• Objetivo do Defensor: Minimizar a distância entre o ganho aprendido pelo adversário ($K_u(\Lambda)$) e um ganho alvo benigno ($\bar{K}$), penalizando ao mesmo tempo a magnitude da entrada enganosa para manter o desempenho nominal e a estabilidade.
• Função de Custo: O problema é formulado como uma otimização restrita:
  $$\inf_{\Lambda, P_u} \| K_u(\Lambda) - \bar{K} \|_F^2 + \text{tr}(\Lambda^T \Gamma \Lambda)$$
  Sujeito às equações de Riccati e Lyapunov que governam a dinâmica do sistema "falsificado" (spoofed).

Caracterização Matemática

Os autores demonstram que a solução ótima para o ganho de engano $\Lambda$ é a raiz de um sistema acoplado de equações matriciais:

1. Uma Equação Algébrica de Riccati (ARE) modificada (para a matriz $P_u$).
2. Uma Equação de Lyapunov (para a matriz $\Pi$).
3. Uma equação de atualização para o ganho $\Lambda$.

Devido à natureza não linear e acoplada dessas equações, uma solução analítica direta é inviável.

Algoritmo Proposto

Para resolver o sistema de equações numericamente, os autores propõem um algoritmo de Relaxação Sucessiva em Blocos (Block Successive Over-Relaxation - BSOR):

• O algoritmo itera alternadamente resolvendo a ARE para $P_u$, a equação de Lyapunov para $\Pi$, e atualizando $\Lambda$.
• Inclui um passo de relaxação ($\omega$) para garantir a convergência.
• Teorema de Convergência: Os autores provam matematicamente que o algoritmo converge para um ponto estacionário do problema de otimização sob condições específicas (limitação do ganho alvo e estabilidade uniforme).

3. Contribuições Principais

1. Novo Paradigma de Engano: Diferente de defesas de "alvo móvel" (que alteram a dinâmica para dificultar o ataque) ou de envenenamento de dados genérico, este trabalho projeta ativamente o engano para forçar a convergência do aprendizado do adversário para uma política específica e benigna.
2. Fundamentação Teórica: Diferente de trabalhos anteriores que se baseavam apenas em simulações, este artigo fornece garantias teóricas de convergência para o algoritmo de projeto de engano, caracterizando a solução como a raiz de equações acopladas.
3. Robustez e Generalização:
   • O método é robusto a incertezas nas matrizes de custo do adversário ($Q$ e $R$).
   • O trabalho estende a análise para o caso de "reguladores maximizadores" (ataques), que é mais desafiador do que o caso de reguladores minimizadores (controle), devido a possíveis valores de função de valor ilimitados.
4. Validação em Cenário Realista: Aplicação do método em um modelo linearizado da aeronave de referência ADMIRE, demonstrando a eficácia prática.

4. Resultados das Simulações

As simulações foram realizadas no modelo ADMIRE com dois casos de estudo:

• Caso 1 (Ataque Degradante de Desempenho):

  • O adversário tenta aprender um ataque que degrada o desempenho, mas não desestabiliza.
  • O defensor usa o algoritmo para forçar o adversário a aprender um ganho próximo de zero.
  • Resultado: O algoritmo convergiu em ~3500 iterações. O ganho aprendido pelo adversário foi suprimido significativamente (redução drástica na energia do estado do sistema), mantendo a estabilidade. O método mostrou-se robusto mesmo quando as matrizes de custo reais do adversário eram diferentes das assumidas pelo defensor.

• Caso 2 (Ataque Desestabilizante):

  • O adversário tenta aprender um ataque que desestabiliza o sistema (ganho ótimo instável).
  • O defensor projeta um engano para forçar o aprendizado de um ganho que mantenha o sistema estável.
  • Resultado: O algoritmo conseguiu convergir para um ganho de engano que resultou em um sistema em malha fechada estável, enquanto o ataque nominal seria instável. A energia do estado sob o ataque enganado foi finita e menor que a do ataque nominal.

5. Significado e Impacto

Este trabalho é significativo porque:

• Muda o foco da defesa: Em vez de apenas tentar detectar ou resistir a ataques, propõe-se uma estratégia proativa de manipulação da inteligência do adversário.
• Ponte entre Aprendizado e Controle: Conecta a teoria de controle ótimo (LQR) com a segurança de algoritmos de aprendizado de máquina, mostrando como a estrutura do problema de controle pode ser explorada para enganar aprendizes baseados em dados.
• Garantias de Segurança: Oferece uma abordagem matematicamente rigorosa para garantir que, mesmo sob ataque de aprendizado, o sistema possa ser guiado para um estado de operação seguro e estável.
• Aplicabilidade: A metodologia é aplicável a sistemas críticos onde a dinâmica é conhecida pelo operador, mas o adversário tenta aprender modelos a partir de dados observados (ex: aviação, redes elétricas, veículos autônomos).

Em resumo, o artigo estabelece um framework teórico e prático para que defensores com vantagem informacional possam "envenenar" estrategicamente os dados de um adversário, garantindo que ele aprenda uma política de ataque inofensiva, protegendo assim a integridade e a estabilidade do sistema.