⚡ electrical engineering

Byzantine-Resilient Federated Multi-Agent Optimization Framework for Cyber-Secure Interconnected Microgrids

Este artículo propone BR-FedMAPPO, un marco de aprendizaje por refuerzo multiagente federado con resiliencia bizantina que protege las microrredes interconectadas contra ataques sigilosos de inyección de datos falsos mediante la combinación de particionamiento de modelos que preserva la privacidad, estrategias de aislamiento adaptativas y una regla de agregación de dos etapas para mitigar las ciberamenazas mientras se mantiene un despacho rentable.

Autores originales: Ali Peivand, Seyyed Mostafa Nosratabadi

Publicado 2026-08-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Peivand, Seyyed Mostafa Nosratabadi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina la red eléctrica no como una máquina gigante y silenciosa, sino como una bulliciosa ciudad de pequeños vecindarios independientes llamados microredes. Cada vecindario tiene sus propios generadores de energía, baterías y luces, pero todos están conectados por caminos (líneas eléctricas) para que puedan compartir energía cuando uno de ellos se queda bajo en suministros. En el pasado, estos vecindarios eran simples y aislados. Hoy en día, son superinteligentes y están conectados a internet, lo que les permite hablar entre sí y equilibrar la potencia de forma automática. Esto es excelente para la eficiencia, pero abre una puerta para los ladrones digitales. Estos ladrones no entran rompiendo con palancas; usan la "Inyección de Datos Falsos Sigilosos". Piensa en esto como un hacker que le susurra una mentira a una cámara de tráfico, haciéndole creer que una carretera está despejada cuando en realidad está bloqueada. Debido a que la mentira es tan perfecta, el sistema de seguridad de la ciudad (el Detector de Datos Malos) ni siquiera lo nota, y el tráfico (la electricidad) se dirige hacia un choque peligroso.

Para detener a estos hackers invisibles, los científicos han estado intentando dos cosas principales. Primero, intentan construir mejores cerraduras (detección), pero los hackers siguen encontrando nuevas formas de forzarlas. Segundo, intentan usar la "Defensa de Objetivo Móvil", que es como un juego de sillas musicales donde las reglas del juego cambian constantemente para que los hackers no puedan memorizar el tablero. Sin embargo, la mayoría de estas soluciones requieren un jefe único y todopoderoso que controle todo, lo cual viola la privacidad de los vecindarios. Ellos no quieren compartir sus planos secretos con una autoridad central. Este artículo interviene con una idea ingeniosa: un equipo de vecinos aprendiendo juntos sin mostrar nunca sus planes secretos el uno al otro, siendo también lo suficientemente inteligentes como para ignorar a un vecino que intenta engañar al grupo.

Los autores de este artículo, Ali Peivand y Seyyed Mostafa Nosratabadi, proponen un sistema llamado BR-FedMAPPO. Es un nombre difícil de pronunciar, pero puedes pensarlo como un equipo "Federado Multi-Agente con Resiliencia Bizantina". Vamos a desglosarlo. "Federado" significa que los vecindarios aprenden juntos pero mantienen sus datos privados (como dónde están sus baterías) para sí mismos. "Multi-Agente" significa que cada vecindario tiene su propio pequeño cerebro robótico (un agente de IA) tomando decisiones. "Resiliencia Bizantina" es la parte más genial: significa que el sistema puede lidiar con un traidor. En el mundo de estos vecindarios, un fallo "Bizantino" ocurre cuando un vecindario es hackeado o se vuelve loco y trata de enviar instrucciones erróneas a todo el grupo para arruinar la fiesta. El sistema está diseñado para detectar a ese traidor e ignorarlo, manteniendo seguro al resto del equipo.

Así es como funciona su "superequipo". En lugar de tener solo un gran cerebro, cada microred tiene su propio cerebro local. Estos cerebros comparten un "entendimiento" común del mundo (un codificador compartido) pero mantienen sus propios "planes de acción" (cabezales privados) en secreto. De esta manera, aprenden de las experiencias de los demás sin revelar sus diseños únicos. Los cerebros robóticos tienen una estrategia de triple amenaza para confundir a los hackers:

Mover los cables: Cambian ligeramente la resistencia de las líneas de potencia (usando dispositivos llamados D-FACTS), haciendo que el mapa eléctrico se desplace constantemente.
Mover las baterías: Cambian la velocidad a la que las baterías del vecindario cargan o descargan, alterando la firma energética.
Cambiar el flujo: Ajustan cuánta potencia se envía a los vecinos, interrumpiendo cualquier patrón que un hacker pudiera intentar predecir.

Si un hacker intenta inyectar datos falsos basados en el mapa antiguo, el mapa ya ha cambiado, y la mentira queda expuesta instantáneamente. Pero, ¿qué pasa si un hacker toma el control del cerebro de un vecindario e intenta envenenar el aprendizaje del grupo? Ahí es donde entra en juego la regla de "Peso por Recompensa". El servidor central no solo promedia los consejos de todos. En su lugar, observa qué tan bien le va a cada vecindario. Si un vecindario comienza a dar falsas alarmas (diciendo "¡Ataque!" cuando no hay ninguno) o actúa de forma extraña, el sistema reduce automáticamente su poder de voto. Es como un proyecto grupal donde, si un estudiante sigue entregando respuestas incorrectas, el profesor deja de contar su nota para la calificación final.

Los investigadores probaron esta idea en una simulación por computadora utilizando dos modelos famosos de redes eléctricas: uno más pequeño con 30 puntos de conexión (buses) y uno más grande con 118. Simularon un escenario en el que los hackers lanzaban ataques coordinados y sigilosos. Los resultados fueron prometedores. El nuevo sistema logró detener a los hackers para que no ocultaran sus huellas, detectando aproximadamente el 95% de las ráfagas coordinadas de datos erróneos. También demostró que el sistema puede manejar un vecindario "traidor" que intenta arruinar el proceso de aprendizaje, reduciendo el error causado por tales ataques en un masivo 92.62% en comparación con los métodos estándar.

Una de las características más interesantes es el "Aislamiento Adaptativo" (Adaptive Islanding). Si el sistema detecta que un vecindario está verdaderamente comprometido y la amenaza es demasiado grande para manejarla, puede "aislarse" automáticamente. Esto es como un vecindario que corta sus líneas de energía al resto de la ciudad para evitar que el fuego se propague. El artículo muestra que esto sucede de manera inteligente; el sistema no entra en pánico y corta la energía por cada pequeño fallo. Espera hasta estar seguro, y cuando decide cortar la conexión, mantiene el vecindario estable por su cuenta. Las simulaciones mostraron que este método evitó que el caos se propagara a los pueblos vecinos, manteniendo su voltaje estable y sus luces encendidas.

El artículo también destaca un compromiso (trade-off). Si bien el sistema es muy bueno detectando las grandes mentiras coordinadas, es menos sensible al ruido aleatorio y diminuto. Los autores explican que esto es una característica, no un error. Si el sistema intentara detectar cada pequeño fallo, empezaría a entrar en pánico y a cortar la energía innecesariamente, lo cual sería costoso y molesto. En cambio, se enfoca en las grandes amenazas. Las simulaciones sugieren que este enfoque mantiene bajos los costos de funcionamiento de la red mientras mantiene la seguridad. Por ejemplo, en el sistema de prueba más pequeño, el nuevo método de hecho redujo los costos operativos para algunos vecindarios en casi un 40% en comparación con los métodos anteriores, demostrando que ser seguro no tiene por qué significar ser costoso.

En resumen, este artículo presenta una simulación de un sistema de defensa cooperativo y inteligente para las redes eléctricas. Muestra que, al permitir que los vecindarios aprendan juntos sin compartir secretos, y al tener un mecanismo integrado para ignorar a los "malos elementos" del grupo, podemos crear una red que sea tanto privada como increíblemente difícil de hackear. Los autores sugieren que esta defensa de "triple superficie" —cambiando cables, baterías y flujos al mismo tiempo— hace que sea casi imposible para los hackers permanecer ocultos. Aunque estos resultados son actualmente solo simulaciones por computadora, ofrecen un plano muy sólido de cómo podríamos proteger nuestros futuros sistemas eléctricos interconectados frente a las amenazas digitales del mañana.

Resumen Técnico: BR-FedMAPPO para Microredes Interconectadas Ciberseguras

1. Planteamiento del Problema

La rápida digitalización de las redes de distribución ha transformado los grupos de microredes (MG) interconectadas en sistemas ciberfísicos complejos vulnerables a Ataques de Inyección de Datos Falsos Sigilosos (S-FDIA, por sus siglas en inglés). A diferencia del ruido aleatorio, estos ataques se diseñan para eludir los Detectores de Datos Malos (BDD) convencionales mediante la manipulación de la estimación de estado sin activar las pruebas de residuo. La amenaza se ve exacerbada en las MG interconectadas, donde una unidad comprometida puede propagar mediciones corruptas a través de líneas de interconexión y algoritmos de control compartidos.

Las defensas existentes enfrentan tres limitaciones principales:

Control Centralizado: Las estrategias tradicionales de Defensa de Objetivo Móvil (MTD) suelen depender de la coordinación centralizada, lo que viola las restricciones de privacidad de los grupos de MG de múltiples propietarios.
Defensas Estáticas: Los esquemas de detección clásicos son inadecuados contra adversarios que entrenan modelos sustitutos basados en datos históricos para eludir los detectores de aprendizaje profundo.
Vulnerabilidades Federadas: Si bien el Aprendizaje Federado (FL) ofrece colaboración preservando la privacidad, las reglas de agregación estándar (por ejemplo, el Promedio Federado) son susceptibles a fallos Bizantinos, donde un único participante comprometido puede descarrilar la política global. Además, los enfoques actuales de Aprendizaje por Refuerzo Multi-Agente (MARL) federado a menudo ignoran el acoplamiento físico entre las MG y carecen de mecanismos para el aislamiento adaptativo o la privacidad estructural respecto a la ubicación de los dispositivos.

2. Metodología: BR-FedMAPPO

El artículo propone BR-FedMAPPO, un marco de Optimización de Política de Proximidad Multi-Agente Federada con Resiliencia Bizantina. El sistema modela el problema de defensa cooperativa como un juego de Markov parcialmente observable donde cada MG alberga un agente Actor-Crítico local.

Componentes Arquitectónicos Principales:

MTD de Triple Superficie: El espacio de acción se divide en tres superficies de control físico para alterar dinámicamente la superficie de ataque:
1. Control de Reactancia: Perturbación de las reactancias de las líneas D-FACTS para desplazar el Jacobiano de la medición, invalidando los vectores de ataque precalculados.
2. Despacho de Almacenamiento: Redirección de las inyecciones de Sistemas de Almacenamiento de Energía de Batería (BES) para alterar las firmas de inyección de potencia.
3. Intercambio entre MG: Remodelación de los intercambios de potencia en las líneas de interconexión para interrumpir los modelos de atacantes cuasi-estáticos.
- Nota: El vector de acción también incluye una señal de aislamiento continua ( $\alpha_{iso}$ ) que activa un estado de aislamiento binario mediante una regla de histéresis para prevenir fallos en cascada.
Arquitectura Federada con Privacidad Estructural:
- Codificador Compartido: Un codificador global ( $\Phi$ ) se distribuye de forma federada entre todas las MG para aprender representaciones comunes de los estados de la red.
- Cabezales Privados: Cada MG conserva un cabezal de Actor y Crítico privado ( $\psi_i$ ). Este diseño asegura que ninguna MG exponga la cardinalidad, ubicación o configuración de sus líneas D-FACTS específicas, unidades BES o capacidades de interconexión, preservando la privacidad estructural.
Agregación con Resiliencia Bizantina:
- El servidor emplea una regla de agregación robusta de dos etapas.
- Etapa 1: Filtrado de media recortada por coordenada ( $\beta$ -trimmed-mean) para eliminar valores atípicos extremos.
- Etapa 2: Un novedoso coeficiente de Agregación Ponderado por Recompensa ( $w_i$ ). Este peso se calcula basándose en la recompensa episódica del cliente y una puntuación de calidad de detección ( $\eta_{q,i}$ ), que combina la puntuación F1 y la Tasa de Falsos Positivos (FPR). Los clientes que generan excesivas falsas alarmas son penalizados automáticamente, evitando que envenenen el modelo global.
Privacidad Diferencial (DP): Para proteger aún más la privacidad, se añade ruido gaussiano a las actualizaciones del codificador antes de la transmisión, limitado por una norma $\ell_2$ .
Aislamiento Adaptativo: Tras detectar un compromiso crítico (mediante un detector de votación de múltiples estadísticas), el agente local aísla la MG. Un mecanismo de histéresis impone un tiempo de permanencia mínimo ( $T_{iso,min}$ ) para evitar oscilaciones de conmutación rápida, mientras que se aplica un deslastre de carga proporcional para mantener el equilibrio de potencia local.

3. Contribuciones Clave

El artículo identifica cuatro contribuciones primarias:

Marco de Resiliencia Bizantina: Un marco unificado que integra MTD de triple superficie (reactancia, almacenamiento, intercambio) con aislamiento adaptativo, diseñado específicamente para grupos de MG descentralizados.
Arquitectura Federada con Privacidad: Un diseño de codificador compartido/cabezal privado que permite el aprendizaje colaborativo manteniendo la privacidad estructural de la ubicación de los dispositivos de defensa locales.
Regla de Agregación Ponderada por Recompensa: Un mecanismo de agregación novedoso que penaliza a los clientes que causan falsas alarmas o exhiben un comportamiento comprometido, ofreciendo una robustez superior contra el envenenamiento de modelos en comparación con los filtros estándar de mediana o media recortada.
Aislamiento Adaptativo Autónomo: Un mecanismo de aislamiento inteligente gobernado por un detector de múltiples estadísticas y control de histéresis, que aísla las amenazas sin depender de comandos centralizados.

4. Resultados Experimentales

El marco fue evaluado en dos sistemas de prueba: un grupo interconectado de cuatro MG de IEEE 30-bus y un grupo de cuatro MG de IEEE 118-bus.

Federado vs. Descentralizado: El enfoque federado mejoró la recuperación media (recall) en 1.33 puntos porcentuales (118-bus) y 0.61 puntos porcentuales (30-bus) en comparación con las líneas base descentralizadas. Crucialmente, demostró una fuerte generalización entre MG; cuando se aplicó a una MG en la que nunca había entrenado, la política de FL perdió solo entre 0.89 y 1.61 puntos de recuperación, mientras que las políticas descentralizadas sufrieron una degradación significativamente mayor (1.17–5.36 puntos).
Resiliencia Bizantina: Bajo condiciones severas de envenenamiento (por ejemplo, ataques gaussianos escalados con desviaciones 130 veces superiores a la línea base), los métodos de agregación estándar (FedAvg, Krum) fallaron o sufrieron errores masivos. La regla Ponderada por Recompensa logró una reducción del 98.62% en el error de agregación.
Control de Falsos Positivos: Mientras que los filtros robustos estándar (Media Recortada, Mediana) maximizaban agresivamente los Verdaderos Positivos, inflaban las Tasas de Falsos Positivos (FPR). La regla Ponderada por Recompensa suprimió significativamente las falsas alarmas (por ejemplo, 520 FP frente a 914 para la Mediana en el sistema de 118-bus), priorizando la estabilidad del sistema.
Mitigación de Ataques: El marco logró al menos un 95% de recuperación de ráfagas (burst recall) contra ataques de inyección de datos falsos sigilosos en todas las MG. El mecanismo MTD forzó con éxito los vectores de ataque precalculados fuera del espacio de estado válido.
Comportamiento de Aislamiento: El aislamiento adaptativo operó como una acción de control correlacionada en lugar de un reflejo. En el sistema de 118-bus, el 77.8% de los eventos de aislamiento coincidieron con ataques genuinos. El mecanismo de histéresis evitó con éxito la conmutación rápida, y las MG vecinas solo sufrieron co-aislamiento en el 20.3% de los casos, evitando fallos en cascada.
Impacto en Costos: El marco redujo los incrementos de costos operativos hasta en un 39.33% (30-bus) y un 12.34% (118-bus) en comparación con las líneas base no federadas. La activación del aislamiento defensivo incurrió en un aumento insignificante del 1.66% en los costos operativos agregados de las redes vecinas.

5. Significancia y Reivindicaciones

El artículo sostiene que BR-FedMAPPO aborda una brecha crítica en la seguridad ciberfísica al unificar la privacidad estructural, la resiliencia bizantina y la defensa física de múltiples superficies dentro de un único marco descentralizado.

Los autores afirman que el marco es significativo porque:

Va más allá de la detección reactiva hacia una defensa proactiva al alterar dinámicamente la superficie de ataque física (matriz Jacobiana) y la topología de control.
Resuelve la paradoja de la privacidad en las MG de múltiples propietarios, permitiendo el aprendizaje colaborativo sin exponer la topología sensible o las configuraciones de los dispositivos.
Introduce un bucle de retroalimentación conductual en la agregación federada, donde el servidor escala dinámicamente la influencia del cliente basándose en la calidad de la detección en el mundo real, neutralizando eficazmente a los actores maliciosos sin requerir una sobrecarga criptográfica compleja.
Demuestra que el aislamiento adaptativo puede aprenderse como una acción de control cooperativo que contiene las amenazas ciberfísicas sin causar fallos en cascada catastróficos, siempre que se emplee un mecanismo de histéresis.

El estudio concluye que, si bien el marco aumenta la actividad de aislamiento durante ataques genuinos (un gasto defensivo necesario), mantiene un alto equilibrio entre la precisión de detección y la estabilidad operativa, neutralizando eficazmente las vulnerabilidades sigilosas que las defensas estáticas tradicionales no pueden detectar.