⚡ electrical engineering

Byzantine-Resilient Federated Multi-Agent Optimization Framework for Cyber-Secure Interconnected Microgrids

Este artigo propõe o BR-FedMAPPO, um framework de aprendizado por reforço multiagente federado resiliente a Bizantinos que protege microrredes interconectadas contra ataques furtivos de injeção de dados falsos ao combinar o particionamento de modelos com preservação de privacidade, estratégias de isolamento adaptativas e uma regra de agregação em dois estágios para mitigar ameaças cibernéticas enquanto mantém o despacho de custo-benefício.

Autores originais: Ali Peivand, Seyyed Mostafa Nosratabadi

Publicado 2026-08-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ali Peivand, Seyyed Mostafa Nosratabadi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a rede elétrica não como uma máquina gigante e silenciosa, mas como uma cidade movimentada de pequenos bairros independentes chamados microrredes. Cada bairro tem seus próprios geradores de energia, baterias e luzes, mas todos estão conectados por estradas (linhas de transmissão) para que possam compartilhar energia quando um deles está com pouca reserva. No passado, esses bairros eram simples e isolados. Hoje, eles são superinteligentes e conectados à internet, permit que conversem entre si e equilibrem a energia automaticamente. Isso é ótimo para a eficiência, mas abre uma porta para ladrões digitais. Esses ladrões não arrombam portas com pés de cabra; eles usam "Injeção de Dados Falsos Sigilosos" (Stealthy False Data Injection). Pense nisso como um hacker sussurrando uma mentira para uma câmera de trânsito, fazendo-a pensar que uma estrada está livre quando, na verdade, está bloqueada. Como a mentira é tão perfeita, o sistema de segurança da cidade (o Detector de Dados Errados) nem percebe, e o tráfego (eletricidade) é enviado para um acidente perigoso.

Para deter esses hackers invisíveis, cientistas têm tentado duas coisas principais. Primeiro, tentam construir fechaduras melhores (detecção), mas os hackers continuam encontrando novas maneiras de destravá-las. Segundo, tentam usar a "Defesa de Alvo Móvel" (Moving Target Defense), que é como um jogo de cadeiras musicais onde as regras do jogo mudam constantemente para que os hackers não consigam memorizar o tabuleiro. No entanto, a maioria dessas soluções exige um chefe único e todo-poderoso para controlar tudo, o que viola a privacidade dos bairros. Eles não querem compartilhar seus projetos secretos com uma autoridade central. Este artigo entra com uma ideia inteligente: uma equipe de vizinhos aprendendo juntos sem nunca mostrar seus planos secretos uns aos outros, sendo também espertos o suficiente para ignorar um vizinho que esteja tentando enganar o grupo.

Os autores deste artigo, Ali Peivand e Seyyed Mostafa Nosratabadi, propõem um sistema chamado BR-FedMAPPO. É um nome difícil de pronunciar, mas você pode pensar nele como uma equipe "Federada Multi-Agente com Resiliência Bizantina". Vamos decompor isso. "Federada" significa que os bairros aprendem juntos, mas mantêm seus dados privados (como onde estão suas baterias) para si mesmos. "Multi-Agente" significa que cada microrede tem seu próprio pequeno cérebro robótico (um agente de IA) tomando decisões. "Resiliência Bizantina" é a parte mais legal: significa que o sistema consegue lidar com um traidor. No mundo desses bairros, uma falha "Bizantina" ocorre quando um bairro é hackeado ou fica louco e tenta enviar instruções ruins para todo o grupo para estragar a festa. O sistema é projetado para detectar esse traidor e ignorá-lo, mantendo o restante da equipe segura.

Eis como essa "superequipe" funciona. Em vez de apenas um grande cérebro, cada microrrede tem seu próprio cérebro local. Esses cérebios compartilham uma "compreensão" comum do mundo (um codificador compartilhado), mas mantêm seus próprios "planos de ação" (cabeças privadas) em segredo. Dessa forma, eles aprendem com as experiências uns dos outros sem revelar seus layouts únicos. Os cérebios robóticos têm uma estratégia de três frentes para confundir os hackers:

Sacudindo os Fios: Eles alteram ligeiramente a resistência das linhas de energia (usando dispositivos chamados D-FACTS), fazendo com que o mapa elétrico mude constantemente.
Movendo as Baterias: Eles mudam a velocidade com que as baterias do bairro carregam ou descarregam, alterando a assinatura de energia.
Mudando o Fluxo: Eles ajustam quanta energia é enviada para os vizinhos, interrompendo qualquer padrão que um hacker possa tentar prever.

Se um hacker tentar injetar dados falsos baseados no mapa antigo, o mapa já terá mudado, e a mentira será instantaneamente exposta. Mas e se um hacker assumir o controle do cérebro de um bairro e tentar envenenar o aprendizado do grupo? É aí que entra a regra de "Peso de Recompensa" (Reward-Weighted). O servidor central não faz apenas a média dos conselhos de todos. Em vez disso, ele observa o desempenho de cada bairro. Se um bairro começar a levantar alarmes falsos (dizendo "Ataque!" quando não há nenhum) ou agir de forma estranha, o sistema automaticamente reduz seu poder de voto. É como um trabalho de grupo onde, se um aluno continua entregando respostas erradas, o professor para de contar a nota dele para a nota final.

Os pesquisadores testaram essa ideia em uma simulação de computador usando dois modelos famosos de redes elétricas: um menor, com 30 pontos de conexão (barramentos), e um maior, com 118. Eles simularam um cenário onde hackers lançaram ataques coordenados e furtivos. Os resultados foram promissores. O novo sistema conseguiu deter os hackers de esconder seus rastros, detectando cerca de 95% dos surtos coordenados de dados errados. Também mostrou que o sistema pode lidar com um bairro "traidor" tentando atrapalhar o processo de aprendizado, reduzindo o erro causado por tais ataques em impressionantes 98,62% em comparação com os métodos padrão.

Um dos recursos mais interessantes é o "Isolamento Adaptativo" (Adaptive Islanding). Se o sistema detectar que um bairro está verdadeiramente comprometido e a ameaça é grande demais para ser controlada, ele pode automaticamente "islar-se". Isso é como um bairro cortando suas linhas de energia para o resto da cidade para evitar que o fogo se espalhe. O artigo mostra que isso acontece de forma inteligente; o sistema não entra em pânico e corta a energia para cada pequeno problema. Ele espera até ter certeza e, quando decide cortar a conexão, mantém o bairro estável por conta própria. As simulações mostraram que este método evitou que o caos se espalhasse para as cidades vizinhas, mantendo a voltagem estável e as luzes acesas.

O artigo também destaca um compromisso (trade-off). Embora o sistema seja muito bom em pegar as grandes mentiras coordenadas, ele é menos sensível a ruídos pequenos e aleatórios. Os autores explicam que isso é uma característica, não um erro. Se o sistema tentasse detectar cada pequena falha, começaria a entrar em pânico e cortaria a energia desnecessariamente, o que seria caro e incômodo. Em vez disso, ele foca nas grandes ameaças. As simulações sugerem que esta abordagem mantém o custo de operação da rede baixo enquanto a mantém segura. Por exemplo, no sistema de teste menor, o novo método de fato reduziu os custos operacionais para alguns bairros em quase 40% em comparação com métodos antigos, provando que ser seguro não precisa significar ser caro.

Em resumo, este artigo apresenta uma simulação de um sistema de defesa cooperativo e inteligente para redes elétricas. Ele mostra que, ao permitir que os bairros aprendam juntos sem compartilhar segredos, e ao ter um mecanismo integrado para ignorar os "maçãs podres" do grupo, podemos criar uma rede que é ao mesmo tempo privada e incrivelmente difícil de hackear. Os autores sugerem que esta defesa de "superfície tripla" — mudando fios, baterias e fluxos ao mesmo tempo — torna quase impossível para os hackers permanecerem ocultos. Embora esses resultados sejam atualmente apenas simulações de computador, eles oferecem um plano muito sólido de como podemos proteger nossos futuros sistemas de energia interconectados contra as ameaças digitais de amanhã.

Resumo Técnico: BR-FedMAPPO para Microredes Interconectadas Ciberseguras

1. Definição do Problema

A rápida digitalização das redes de distribuição transformou clusters de Microredes (MGs) interconectadas em sistemas ciber-físicos complexos, vulneráveis a Ataques de Injeção de Dados Falsos Sigilosos (S-FDIAs). Diferente do ruído aleatório, esses ataques são elaborados para contornar os Detectores de Dados Ruins (BDDs) convencionais, manipulando a estimativa de estado sem disparar testes de resíduos. A ameaça é exacerbada em MGs interconectadas, onde uma unidade comprometida pode propagar medições corrompidas através de linhas de interconexão e algoritmos de controle compartilhados.

As defesas existentes enfrentam três limitações primárias:

Controle Centralizado: Estratégias tradicionais de Defesa de Alvo Móvel (MTD) frequentemente dependem de coordenação centralizada, violando as restrições de privacidade de clusters de MGs de múltiplos proprietários.
Defesas Estáticas: Esquemas de detecção clássicos são inadequados contra adversários que treinam modelos substitutos (surrogates) em dados históricos para contornar detectores de aprendizado profundo.
Vulnerabilidades Federadas: Embora o Aprendizado Federado (FL) ofereça colaboração preservadora de privacidade, as regras de agregação padrão (ex: Federated Averaging) são suscetíveis a falhas Bizantinas, onde um único participante comprometido pode desviar a política global. Além disso, as abordagens atuais de Aprendizado por Reforço Multiagente (MARL) Federado frequentemente ignoram o acoplamento físico entre as MGs e carecem de mecanismos para isolamento adaptativo ou privacidade estrutural em relação ao posicionamento de dispositivos.

2. Metodologia: BR-FedMAPPO

O artigo propõe o BR-FedMAPPO, um framework de Otimização de Política de Proximos Passos Multiagente Federado e Resiliente a Bizantinos. O sistema modela o problema de defesa cooperativa como um jogo de Markov parcialmente observável, onde cada MG hospeda um agente Actor-Critic local.

Componentes Arquiteturais Principais:

MTD de Superfície Tripla: O espaço de ação é particionado em três superfícies de controle físico para alterar dinamicamente a superfície de ataque:
1. Controle de Reatância: Perturbação das reatâncias de linhas D-FACTS para deslocar o Jacobiano de medição, tornando inválidos os vetores de ataque pré-calculados.
2. Despacho de Armazenamento: Redirecionamento de injeções de Armazenamento de Energia por Bateria (BES) para alterar as assinaturas de injeção de potência.
3. Troca Inter-MG: Remodelagem das trocas de potência nas linhas de interconexão para interromper modelos de atacantes quase estáticos.
- Nota: O vetor de ação também inclui um sinal de isolamento contínuo ( $\alpha_{iso}$ ) que dispara um estado de isolamento binário via uma regra de histerese para evitar falhas em cascata.
Arquitetura Federada com Privacidade Estrutural:
- Encoder Compartilhado: Um encoder global ( $\Phi$ ) é federado entre todas as MGs para aprender representações comuns dos estados da rede.
- Cabeças Privadas: Cada MG retém uma cabeça de Actor e Critic privada ( $\psi_i$ ). Este design garante que nenhuma MG exponha a cardinalidade, localização ou configuração de suas linhas D-FACTS específicas, unidades BES ou capacidades de linha de interconexão, preservando a privacidade estrutural.
Agregação Resiliente a Bizantinos:
- O servidor emprega uma regra de agregação robusta de dois estágios.
- Estágio 1: Filtragem de média truncada $\beta$ ( $\beta$ -trimmed-mean) por coordenada para remover outliers extremos.
- Estágio 2: Um novo coeficiente de Agregação Ponderada por Recompensa ( $w_i$ ). Este peso é calculado com base na recompensa episódica do cliente e em um escore de qualidade de detecção ( $\eta_{q,i}$ ), que combina o F1-score e a Taxa de Falsos Positivos (FPR). Clientes que geram alarmes falsos excessivos são automaticamente penalizados em peso, evitando a contaminação do modelo global.
Privacidade Diferencial (DP): Para proteger ainda mais a privacidade, ruído Gaussiano é adicionado às atualizações do encoder antes da transmissão, limitado a uma norma $\ell_2$ .
Isolamento Adaptativo: Ao detectar um comprometimento crítico (via um detector de votação multi-estatístico), o agente local isola a MG. Um mecanismo de histerese impõe um tempo de retenção mínimo ( $T_{iso,min}$ ) para evitar oscilações de comutação rápida, enquanto o corte de carga proporcional é aplicado para manter o balanço de potência local.

3. Principais Contribuições

O artigo identifica quatro contribuições primárias:

Framework Resiliente a Bizantinos: Um framework unificado integrando MTD de superfície tripla (reatância, armazenamento, troca) com isolamento adaptativo, especificamente projetado para clusters de MGs descentralizados.
Arquitetura Federada com Privacidade: Um design de encoder compartilhado/cabeça privada que permite o aprendizado colaborativo enquanto mantém a privacidade estrutural do posicionamento de dispositivos de defesa locais.
Regra de Agregação Ponderada por Recompensa: Um mecanismo de agregação inovador que penaliza clientes que causam alarmes falsos ou exibem comportamento comprometido, oferecendo robustez superior contra envenenamento de modelo em comparação com filtros padrão de mediana ou média truncada.
Isolamento Adaptativo Autônomo: Um mecanismo de isolamento inteligente governado por um detector multi-estatístico e controle de histerese, que isola ameaças sem depender de comandos centralizados.

4. Resultados Experimentais

O framework foi avaliado em dois sistemas de teste: um cluster interconectado de quatro MGs IEEE 30-bus e um cluster de quatro MGs IEEE 118-bus.

Federado vs. Descentralizado: A abordagem federada melhorou o recall médio em 1,33 pontos percentuais (118-bus) e 0,61 pontos percentuais (30-bus) em comparação com as bases descentralizadas. Crucialmente, demonstrou forte generalização entre MGs; quando aplicado a uma MG na qual nunca havia sido treinado, a política de FL perdeu apenas 0,89–1,61 pontos de recall, enquanto as políticas descentralizadas sofreram uma degradação significativamente maior (1,17–5,36 pontos).
Resiliência a Bizantinos: Sob condições severas de envenenamento (ex: ataques Gaussianos escalonados com desvios 130x a linha de base), os métodos de agregação padrão (FedAvg, Krum) falharam ou sofreram erros massivos. A regra Ponderada por Recompensa alcançou uma redução de 98,62% no erro de agregação.
Controle de Falsos Positivos: Embora os filtros robustos padrão (Média Truncada, Mediana) maximizassem agressivamente os Verdadeiros Positivos, eles inflavam as Taxas de Falsos Positivos (FPR). A regra Ponderada por Recompensa suprimiu significativamente os alarmes falsos (ex: 520 FPs vs. 914 para a Mediana no sistema 118-bus), priorizando a estabilidade do sistema.
Mitigação de Ataques: O framework alcançou pelo menos 95% de recall de surto contra ataques de FDI furtivos em todas as MGs. O mecanismo MTD forçou com sucesso os vetores de ataque pré-calculados para fora do espaço de estado válido.
Comportamento de Isolamento: O isolamento adaptativo operou como uma ação de controle correlacionada, não como um reflexo. No sistema 118-bus, 77,8% dos eventos de isolamento coincidiram com ataques genuínos. O mecanismo de histerese evitou com sucesso a comutação rápida, e as MGs vizinhas foram co-isoladas apenas 20,3% das vezes, evitando falhas em cascata.
Impacto de Custo: O framework reduziu os incrementos de custo operacional em até 39,33% (30-bus) e 12,34% (118-bus) em comparação com as bases não federadas. A ativação do isolamento defensivo acarretou um aumento negligível de 1,66% nos custos operacionais agregados das redes vizinhas.

5. Significância e Alegações

O artigo afirma que o BR-FedMAPPO aborda uma lacuna crítica na segurança ciber-física ao unificar privacidade estrutural, resiliência a Bizantinos e defesa física de múltiplas superfícies dentro de um único framework descentralizado.

Os autores afirmam que o framework é significativo porque:

Ele vai além da detecção reativa para uma defesa proativa, alterando dinamicamente a superfície de ataque física (matriz Jacobiana) e a topologia de controle.
Resolve o paradoxo da privacidade em MGs de múltiplos proprietários, permitindo o aprendizado colaborativo sem expor a topologia sensível ou as configurações de dispositivos.
Introduz um loop de feedback comportamental na agregação federada, onde o servidor escala dinamicamente a influência do cliente com base na qualidade da detecção no mundo real, neutralizando efetivamente atores maliciosos sem exigir overhead criptográfico complexo.
Demonstra que o isolamento adaptativo pode ser aprendido como uma ação de controle cooperativa que contém ameaças ciber-físicas sem causar falhas em cascata catastróficas, desde que um mecanismo de histerese seja empregado.

O estudo conclui que, embora o framework aumente a atividade de isolamento durante ataques genuínos (um gasto defensivo necessário), ele mantém um alto equilíbrio entre precisão de detecção e estabilidade operacional, neutralizando efetivamente vulnerabilidades furtivas que as defesas estáticas tradicionais não conseguem detectar.