⚡ electrical engineering

Byzantine-Resilient Federated Multi-Agent Optimization Framework for Cyber-Secure Interconnected Microgrids

Questo articolo propone BR-FedMAPPO, un framework di apprendimento per rinforzo multi-agente federato resiliente ai guasti bizantini che protegge le microreti interconnesse contro attacchi subdoli di iniezione di falsi dati combinando la partizione del modello preservante la privacy, strategie di isolamento adattive e una regola di aggregazione a due stadi per mitigare le minacce informatiche mantenendo al contempo un dispacciamento economicamente vantaggioso.

Autori originali: Ali Peivand, Seyyed Mostafa Nosratabadi

Pubblicato 2026-08-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Peivand, Seyyed Mostafa Nosratabadi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate la rete elettrica non come una gigantesca macchina silenziosa, ma come una vivace città di piccoli e indipendenti quartieri chiamati microreti. Ogni quartiere ha i propri generatori di energia, batterie e luci, ma sono tutti collegati da strade (linee elettriche) per poter condividere l'energia quando uno di loro è a corto di risorse. In passato, questi quartieri erano semplici e isolati. Oggi, sono super intelligenti e connessi a Internet, il che permette loro di comunicare tra di loro e bilanciare l'energia automaticamente. Questo è ottimo per l'efficienza, ma apre la porta ai ladri digitali. Questi ladri non si introducono con i forcerottini; usano "Iniezioni di Dati Falsi Occulte" (Stealthy False Data Injection). Pensate a un hacker che sussurra una bugia a una telecamera del traffico, facendole credere che una strada sia libera quando invece è bloccata. Poiché la bugia è così perfetta, il sistema di sicurezza della città (il Rilevatore di Dati Errati) non se ne accorge nemmeno, e il traffico (l'elettricità) viene indirizzato verso uno scontro pericoloso.

Per fermare questi hacker invisibili, gli scienziati hanno cercato di fare principalmente due cose. Primo, cercano di costruire serrature migliori (rilevamento), ma gli hacker continuano a trovare nuovi modi per scassinare. Secondo, cercano di usare la "Difesa a Obiettivo Mobile" (Moving Target Defense), che è come un gioco di sedie musicali in cui le regole del gioco cambiano costantemente affinché gli hacker non possano memorizzare la scacchiera. Tuttavia, la maggior parte di queste soluzioni richiede un unico capo onnipotente per controllare tutto, il che viola la privacy dei quartieri. Essi non vogliono condividere i loro segreti progetti con un'autorità centrale. Questo articolo interviene con un'idea intelligente: un team di vicini che imparano insieme senza mai mostrare i propri piani segreti l'uno all'altro, essendo anche abbastanza intelligenti da ignorare un vicino che cerca di ingannare il gruppo.

Gli autori di questo articolo, Ali Peivand e Seyyed Mostafa Nosratabadi, propongono un sistema chiamato BR-FedMAPPO. È un nome complicato, ma potete pensarlo come un team "Federato Multi-Agente Bizantine-Resiliente". Analizziamo la cosa. "Federato" significa che i quartieri imparano insieme ma tengono per sé i propri dati privati (come dove si trovano le loro batterie). "Multi-Agente" significa che ogni microrete ha il proprio piccolo cervello robotico (un agente IA) che prende decisioni. "Bizantine-Resiliente" è la parte più interessante: significa che il sistema può gestire un traditore. Nel mondo di questi quartieri, un fallimento "Bizantino" si verifica quando un quartiere viene hackerato o impazzisce e cerca di inviare istruzioni errate all'intero gruppo per rovinare la festa. Il sistema è progettato per individuare quel traditore e ignorarlo, mantenendo il resto del team al sicuro.

Ecco come funziona il loro "super-team". Invece di un solo grande cervello, ogni microrete ha il proprio cervello locale. Questi cervelli condividono una "comprensione" comune del mondo (un encoder condiviso) ma mantengono segreti i propri "piani d'azione" specifici (teste private). In questo modo, imparano dalle esperienze degli altri senza rivelare le proprie configurazioni uniche. I cervelli robotici hanno una strategia a tripla minaccia per confondere gli hacker:

Scuotere i fili: Cambiano leggermente la resistenza delle linee elettriche (usando dispositivi chiamati D-FACTS), facendo sì che la mappa elettrica cambi costantemente.
Spostare le batterie: Cambiano la velocità con cui le batterie del quartiere caricano o scaricano l'energia, alterando la firma energetica.
Cambiare il flusso: Regolano quanta energia viene inviata ai vicini, interrompendo qualsiasi schema che un hacker possa cercare di prevedere.

Se un hacker tenta di iniettare dati falsi basandosi sulla vecchia mappa, la mappa è già cambiata e la bugia viene immediatamente smascherata. Ma cosa succede se un hacker prende il controllo del cervello di un quartiere e cerca di avvelenare l'apprendimento del gruppo? È qui che entra in gioco la regola "Pesata sul Premio" (Reward-Weighted). Il server centrale non si limita a fare la media dei consigli di tutti. Invece, osserva quanto bene sta ogni quartiere. Se un quartiere inizia a dare falsi allarmi (dicendo "Attacco!" quando non c'è nulla) o si comporta in modo strano, il sistema ne riduce automaticamente il potere di voto. È come un progetto di gruppo in cui, se uno studente continua a consegnare risposte sbagliate, l'insegnante smette di conteggiare il suo voto nel punteggio finale.

I ricercatori hanno testato questa idea in una simulazione al computer utilizzando due famosi modelli di rete elettrica: uno più piccolo con 30 punti di connessione (bus) e uno più grande con 118. Hanno simulato uno scenario in cui gli hacker lanciavano attacchi coordinati e subdoli. I risultati sono stati promettenti. Il nuovo sistema è riuscito a fermare gli hacker nel nascondere le loro tracce, catturando circa il 95% dei burst coordinati di dati errati. Ha anche dimostrato che il sistema può gestire un quartiere "traditore" che cerca di rovinare il processo di apprendimento, riducendo l'errore causato da tali attacchi di un massiccio 98,62% rispetto ai metodi standard.

Uno degli aspetti più interessanti è l' "Isolamento Adattivo" (Adaptive Islanding). Se il sistema rileva che un quartiere è veramente compromesso e la minaccia è troppo grande da gestire, può automaticamente "isolarsi" (islanding). Questo è come un quartiere che stacca i propri cavi elettrici dal resto della città per evitare che l'incendio si propaghi. L'articolo mostra che questo avviene in modo intelligente; il sistema non va nel panico e non stacca la corrente per ogni piccolo glitch. Aspetta finché non è sicuro e, quando decide di tagliare la connessione, mantiene il quartiere stabile da solo. Le simulazioni hanno dimostrato che questo metodo ha impedito al caos di diffondersi alle città vicine, mantenendo stabile la tensione e le luci accese.

L'articolo evidenzia anche un compromesso. Sebbene il sistema sia molto bravo a catturare le grandi bugie coordinate, è meno sensibile al rumore casuale e minimo. Gli autori spiegano che questo è un vantaggio, non un difetto. Se il sistema cercasse di catturare ogni singolo piccolo glitch, inizierebbe a andare nel panico e a staccare la corrente inutilmente, il che sarebbe costoso e fastidioso. Invece, si concentra sulle grandi minacce. Le simulazioni suggeriscono che questo approccio mantiene bassi i costi di gestione della rete pur garantendo la sicurezza. Ad esempio, nel test sul sistema più piccolo, il nuovo metodo ha effettivamente ridotto i costi operativi per alcuni quartieri di quasi il 40% rispetto ai metodi più vecchi, dimostrando che essere sicuri non deve significare necessariamente essere costosi.

In breve, questo articolo presenta una simulazione di un sistema di difesa cooperativo e intelligente per le reti elettriche. Dimostra che permettendo ai quartieri di imparare insieme senza condividere segreti, e avendo un meccanismo integrato per ignorare le "mele marce" del gruppo, possiamo creare una rete che sia sia privata che incredibilmente difficile da hackerare. Gli autori suggeriscono che questa difesa a "tripla superficie" — cambiando fili, batterie e flussi contemporaneamente — rende quasi impossibile per gli hacker rimanere nascosti. Sebbene questi risultati siano attualmente solo simulazioni al computer, offrono una base molto solida per come potremmo proteggere i nostri futuri sistemi interconnessi dall'energia elettrica dai rischi digitali di domani.

Sintesi Tecnica: BR-FedMAPPO per Microreti Interconnesse Cyber-Sicure

1. Definizione del Problema

La rapida digitalizzazione delle reti di distribuzione ha trasformato i cluster di microreti (MG) interconnesse in sistemi cyber-fisici complessi, vulnerabili ad Attacchi di Iniezione di Dati Falsi Occulti (S-FDIA). A differenza del rumore casuale, questi attacchi sono progettati per eludere i convenzionali Rilevatori di Dati Errati (BDD) manipolando la stima dello stato senza attivare i test sui residui. La minaccia è esacerbata nelle MG interconnesse, dove un'unità compromessa può propagare misurazioni corrotte attraverso le linee di interconnessione e gli algoritmi di controllo condivisi.

Le difese esistenti affrontano tre limitazioni primarie:

Controllo Centralizzato: Le strategie tradizionali di Difesa a Obiettivo Mobile (MTD) spesso dipendono dalla coordinazione centralizzata, violando i vincoli di privacy dei cluster di MG multi-proprietari.
Difese Statiche: Gli schemi di rilevamento classici sono inadeguati contro avversari che addestrano modelli surrogati su dati storici per eludere i rilevatori basati sul deep learning.
Vulnerabilità del Federated Learning: Sebbene il Federated Learning (FL) offra una collaborazione che preserva la privacy, le regole di aggregazione standard (es. Federated Averaging) sono suscettibili a guasti Bizantini, dove un singolo partecipante compromesso può far deragliare la politica globale. Inoltre, gli attuali approcci di Federated Multi-Agent Reinforcement Learning (MARL) spesso ignorano l'accoppiamento fisico tra le MG e mancano di meccanismi per l'islanding adattivo o la privacy strutturale riguardante il posizionamento dei dispositivi.

2. Metodologia: BR-FedMAPPO

Il documento propone BR-FedMAPPO, un framework di Ottimizzazione della Politica Prossimale Multi-Agente Federata e Resiliente ai guasti Bizantini. Il sistema modella il problema della difesa cooperativa come un gioco di Markov parzialmente osservabile in cui ogni MG ospita un agente Actor-Critic locale.

Componenti Architetturali Core:

Difesa a Obiettivo Mobile (MTD) a Tripla Superficie: Lo spazio delle azioni è partizionato in tre superfici di controllo fisico per alterare dinamicamente la superficie di attacco:
1. Controllo della Reattanza: Perturbazione delle reattanze delle linee D-FACTS per spostare la Jacobiana delle misurazioni, rendendo invalidi i vettori di attacco pre-calcolati.
2. Dispacciamento dello Storage: Reindirizzamento delle iniezioni di Battery Energy Storage (BES) per alterare le firme di iniezione di potenza.
3. Scambio Inter-MG: Rimodellamento degli scambi di potenza sulle linee di interconnessione per interrompere i modelli dell'attaccante quasi-statici.
- Nota: Il vettore delle azioni include anche un segnale di islanding continuo ( $\alpha_{iso}$ ) che attiva uno stato di isolamento binario tramite una regola di isteresi per prevenire guasti a cascata.
Architettura Federata con Privacy Strutturale:
- Encoder Condiviso: Un encoder globale ( $\Phi$ ) è federato tra tutte le MG per apprendere rappresentazioni comuni degli stati della rete.
- Testine Private: Ogni MG mantiene una testa Actor e una Critic privata ( $\psi_i$ ). Questo design assicura che nessuna MG esponga la cardinalità, la posizione o la configurazione delle proprie linee D-FACTS, unità BES o capacità delle linee di interconnessione, preservando la privacy strutturale.
Aggregazione Resiliente ai Guasti Bizantini:
- Il server impiega una regola di aggregazione robusta a due stadi.
- Stadio 1: Filtraggio della media troncata $\beta$ ( $\beta$ -trimmed-mean) per coordinata per rimuovere gli outlier estremi.
- Stadio 2: Un nuovo coefficiente di Aggregazione Pesata sul Reward ( $w_i$ ). Questo peso è calcolato in base al reward episodico del client e a un punteggio di qualità del rilevamento ( $\eta_{q,i}$ ), che combina il punteggio F1 e il tasso di falsi positivi (FPR). I client che generano eccessivi falsi allarmi vengono automaticamente declassati, impedendo loro di avvelenare il modello globale.
Differential Privacy (DP): Per proteggere ulteriormente la privacy, viene aggiunto rumore Gaussiano agli aggiornamenti dell'encoder prima della trasmissione, con clipping alla norma $\ell_2$ .
Islanding Adattivo: Al rilevamento di un compromesso critico (tramite un rilevatore a voto multi-statistico), l'agente locale isola la MG. Un meccanismo di isteresi impone un tempo minimo di mantenimento ( $T_{iso,min}$ ) per prevenire oscillazioni di commutazione rapida, mentre viene applicato un distacco del carico proporzionale per mantenere il bilancio di potenza locale.

3. Contributi Chiave

Il documento identifica quattro contributi primari:

Framework Resiliente ai Guasti Bizantini: Un framework unificato che integra la MTD a tripla superficie (reattanza, storage, scambio) con l'islanding adattivo, specificamente progettato per cluster di MG decentralizzati.
Architettura Federata con Privacy: Un design a encoder condiviso/testina privata che consente l'apprendimento collaborativo mantenendo la privacy strutturale del posizionamento dei dispositivi di difesa locali.
Regola di Aggregazione Pesata sul Reward: Un meccanismo di aggregazione innovativo che penalizza i client che causano falsi allarmi o mostrano comportamenti compromessi, offrendo una robustezza superiore contro l'avvelenamento del modello rispetto ai filtri standard mediana o media troncata.
Islanding Adattivo Autonomo: Un meccanio di isolamento intelligente governato da un rilevatore multi-statistico e dal controllo di isteresi, che isola le minacce senza dipendere da comandi centralizzati.

4. Risultati Sperimentali

Il framework è stato valutato su due sistemi di test: un cluster interconnesso di quattro MG IEEE 30-bus e un cluster di quattro MG IEEE 118-bus.

Federato vs. Decentralizzato: L'approccio federato ha migliorato il recall medio di 1,33 punti percentuali (118-bus) e di 0,61 punti percentuali (30-bus) rispetto ai baseline decentralizzati. Fondamentalmente, ha dimostrato una forte generalizzazione cross-MG; quando applicato a una MG su cui non aveva mai addestrato, la politica FL ha perso solo 0,89–1,61 punti di recall, mentre le politiche decentralizzate hanno subito un degrado significativamente più elevato (1,17–5,36 punti).
Resilienza ai Guasti Bizantini: In condizioni di avvelenamento severo (es. attacchi Gaussiani scalati con deviazioni 130x rispetto al baseline), i metodi di aggregazione standard (FedAvg, Krum) sono falliti o hanno subito errori massicci. La regola pesata sul reward proposta ha ottenuto una riduzione dell'errore di aggregazione del 98,62%.
Controllo dei Falsi Positivi: Mentre i filtri robusti standard (Trimmed Mean, Median) massimizzavano aggressivamente i Veri Positivi, essi gonfiavano i tassi di Falsi Positivi (FPR). La regola pesata sul reward ha soppresso significativamente i falsi allarmi (es. 520 FP vs 914 per la Median sul sistema 118-bus), dando priorità alla stabilità del sistema.
Mitigazione degli Attacchi: Il framework ha raggiunto almeno il 95% di burst recall contro attacchi S-FDI in tutte le MG. Il meccanismo MTD ha costretto con successo i vettori di attacco pre-calcolati fuori dallo spazio degli stati valido.
Comportamento di Islanding: L'islanding adattivo è operato come un'azione di controllo correlata piuttosto che come un riflesso. Nel sistema 118-bus, il 77,8% degli eventi di islanding coincideva con attacchi reali. Il meccanismo di isteresi ha impedito con successo le commutazioni rapide, e le MG vicine sono state co-isolate solo nel 20,3% dei casi, prevenendo guasti a cascata.
Impatto sui Costi: Il framework ha ridotto gli incrementi dei costi operativi fino al 39,33% (30-bus) e al 12,34% (118-bus) rispetto ai baseline non federati. L'attivazione della difesa di isolamento ha comportato un incremento trascurabile dell'1,66% nei costi operativi aggregati delle reti vicine.

5. Significato e Rivendicazioni

Il documento afferma che BR-FedMAPPO colma una lacuna critica nella sicurezza cyber-fisica unificando privacy strutturale, resilienza ai guasti Bizantini e difesa fisica a superficie multipla all'interno di un unico framework decentralizzato.

Gli autori sostengono che il framework sia significativo perché:

Va oltre il rilevamento reattivo verso una difesa proattiva alterando dinamicamente la superficie di attacco fisica (matrice Jacobiana) e la topologia di controllo.
Risolve il paradosso della privacy nelle MG multi-proprietarie, permettendo l'apprendimento collaborativo senza esporre la topologia sensibile o le configurazioni dei dispositivi.
Introduce un ciclo di feedback comportamentale nell'aggregazione federata, dove il server scala dinamicamente l'influenza del client in base alla qualità del rilevamento nel mondo reale, neutralizzando efficacemente gli attori malevoli senza richiedere complessi overhead crittografici.
Dimostra che l'islanding adattivo può essere appreso come un'azione di controllo cooperativo che contiene le minacce cyber-fisiche senza causare guasti a cascata catastrofici, a patto che venga impiegato un meccanismo di isteresi.

Lo studio conclude che, sebbene il framework aumenti l'attività di islanding durante gli attacchi reali (una spesa difensiva necessaria), mantiene un alto equilibrio tra precisione del rilevamento e stabilità operativa, neutralizzando efficacemente le vulnerabilità stealth che le difese statiche tradizionali non possono rilevare.