Adversarial Sensor Errors for Safe and Robust Wind Turbine Fleet Control

Título: Erros Adversariais de Sensores para Controle Seguro e Robusto de Frotas de Turbinas Eólicas

1. Problema e Motivação

O controle em nível de usina (plant-level control) é uma tecnologia emergente que visa otimizar a produção de energia de parques eólicos através da coordenação centralizada das turbinas. No entanto, essa abordagem enfrenta dois desafios críticos:

• Incerteza de Sensores: Erros de medição podem confundir o controlador central. A maioria dos métodos atuais utiliza ruído procedural (ex: ruído gaussiano independente com viés fixo), que pode não capturar realizações de erro mais perigosas ou correlacionadas no tempo.
• Cibersegurança: Existe o risco real de agentes maliciosos hackearem o sistema de telemetria para alterar os sinais de sensores, degradando intencionalmente o desempenho do parque eólico ou causando desligamentos.

O objetivo do trabalho é desenvolver um controlador de usina que seja robusto não apenas a ruídos aleatórios, mas também a ataques adversariais coordenados e inteligentes.

2. Metodologia

Os autores propõem um framework baseado em Aprendizado por Reforço (RL) que utiliza teoria dos jogos para treinar o controlador (o "protagonista") contra um agente que introduz erros nos sensores (o "adversário").

• Ambiente de Simulação: Utiliza o modelo Dynamic Wake Meandering (implementado no software Dynamiks) para simular a dinâmica de esteira (wake) entre duas turbinas Vestas V80. O ambiente é livre de turbulência para focar na dinâmica de grande escala.
• Agentes:
  • Protagonista: Um agente de RL treinado para maximizar a potência total da usina, ajustando os desvios de guinada (yaw offsets).
  • Adversário: Um agente treinado para injetar erros de medição (ruído e viés) nos sensores de velocidade do vento, direção, guinada e potência, com o objetivo de minimizar a recompensa do protagonista. O adversário observa o estado real, enquanto o protagonista observa apenas os dados corrompidos.
• Abordagens de Treinamento Comparadas: O estudo avalia três paradigmas de co-treinamento para resolver o problema de "Corrida Armamentista" (Arms Race):
  1. Arms Race (Corrida Armamentista): Iteração sequencial onde o protagonista $n$ treina apenas contra o adversário $n-1$.
  2. Synthetic Self Play (SSP): O protagonista treina contra um "zoológico" de todos os adversários anteriores e ruído procedural.
  3. Self-Play: Treinamento concorrente onde protagonista e adversário co-evoluem simultaneamente em um jogo de soma zero.
• Algoritmo: Ambos os agentes utilizam o algoritmo PPO (Proximal Policy Optimization).

3. Contribuições Principais

• Primeira Aplicação: Este é, segundo os autores, o primeiro trabalho a aplicar treinamento de agentes adversariais especificamente para a robustez de sensores em parques eólicos.
• Framework de Segurança: Desenvolvimento de um framework de código aberto (usando WindGym) para criar agentes que confundem medições, simulando cenários de ataque realistas e fisicamente plausíveis.
• Análise de "Esquecimento Catastrófico": O estudo investiga como o endurecimento contra ataques adversariais pode levar a uma perda de desempenho em condições nominais (limpas), um fenômeno conhecido como catastrophic forgetting.

4. Resultados

A comparação entre as três abordagens de treinamento revelou resultados significativos:

• Desempenho da Corrida Armamentista (Arms Race): Esta abordagem produziu os melhores resultados.
  • O controlador treinado via Arms Race manteve um ganho de +7,9% na potência em relação à estratégia de controle sem guiamento (baseline) mesmo sob o pior cenário de ataque adversarial.
  • Em contraste, o controlador treinado com ruído procedural sofreu uma perda de -39% de potência sob o mesmo ataque, performando pior do que se não houvesse nenhum controle de guiamento.
• Comparação de Robustez:
  • O método Self-Play convergiu para um estado onde o adversário dominava o protagonista, e o SSP mostrou sinais de esquecimento catastrófico em ambientes limpos após várias iterações.
  • A análise de comportamento temporal mostrou que o agente Arms Race foi capaz de resistir a ataques sofisticados (como a falsificação da potência da turbina a jusante para zero), enquanto o agente treinado com ruído procedural foi completamente confuso, solicitando desvios de guinada extremos e perigosos.
• Catastrophic Forgetting: Embora o Arms Race tenha mostrado oscilações de desempenho durante o treinamento (esquecendo temporariamente como operar em ambientes limpos), ele conseguiu "reaprender" e estabilizar em uma solução robusta, superando os outros métodos.

5. Significância e Conclusão

O estudo demonstra que o treinamento de controladores de parques eólicos junto com agentes adversariais que injetam erros de medição (incluindo ruído temporalmente correlacionado e ataques multi-sensor coordenados) produz sistemas significativamente mais robustos do que o treinamento com ruído procedural tradicional.

• Segurança Cibernética: O framework prepara os sistemas de controle para potenciais ataques de hackers, garantindo que a usina não seja desligada ou operada de forma ineficiente devido a dados de sensores manipulados.
• Transferência para o Mundo Real: Ao simular incertezas de sensores extremas e maliciosas, o framework gera controladores que são mais resilientes a falhas de sensores reais e incertezas não modeladas.
• Futuro: Embora os resultados sejam promissores em uma configuração de duas turbinas, o trabalho aponta a necessidade de investigar a escalabilidade para fazendas maiores e estratégias de transferência simulação-realidade (sim-to-real).

Em resumo, a "Corrida Armamentista" adversarial é apresentada como a estratégia superior para desenvolver controladores de energia eólica que são seguros, robustos e capazes de manter a eficiência mesmo sob condições de sensores comprometidas.