💻 computer science

Personalized Federated Intrusion Detection for Non-IID IIoT Traffic via DDPG-Guided Adaptive Aggregation

Este artículo propone PAEDDPG, un marco de aprendizaje federado personalizado que utiliza un agente de Gradiente de Política Determinista Profundo para agregar modelos de forma adaptativa y un decodificador de autoencoder específico para cada cliente para abordar eficazmente el tráfico de IIoT no IID y con desequilibrio de clases, mejorando significamente el rendimiento de detección para clases de ataques poco comunes mientras preserva la privacidad de los datos.

Autores originales: Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

Publicado 2026-10-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo industrial moderno, las fábricas y las redes eléctricas son gestionadas cada vez más por redes de sensores inteligentes y máquinas que se comunican entre sí constantemente. Este sistema interconectado, conocido como el Internet de las Cosas Industrial, permite la monitorización en tiempo real y la producción automatizada, pero también abre la puerta a ciberataques que pueden detener las operaciones o dañar equipos costosos. Para detener estas amenazas, los ingenieros utilizan sistemas de detección de intrusiones, que actúan como guardias de seguridad escaneando el tráfico de red en busca de signos de actividad maliciosa. Tradicionalmente, estos sistemas eran entrenados en una computadora central masiva que albergaba datos de todas las fábricas. Sin embargo, este enfoque plantea serias preocupaciones de privacidad, ya que las empresas a menudo no están dispuestas a compartir sus datos operativos brutos, y crea un punto único de falla si ese servidor central se ve comprometido.

Para resolver esto, los investigadores han recurrido a un método llamado aprendizaje federado. Imagine a un grupo de estudiantes tratando de resolver un problema matemático difícil. En lugar de traer todos sus cuadernos a un profesor para que este copie todo en un libro gigante, cada estudiante trabaja en su propia copia del problema en casa. Solo envían sus respuestas finales al profesor, quien las combina para crear una mejor solución para todos. De esta manera, los estudiantes mantienen seguros sus apuntes privados, pero aun así se benefician de la sabiduría colectiva del grupo. En el mundo industrial, esto significa que cada fábrica puede entrenar un modelo de seguridad con sus propios datos locales sin revelar nunca cómo lucran esos datos. El desafío, sin embargo, es que cada fábrica es diferente. Una podría ver mayoritariamente tráfico normal con ataques ocasionales, mientras que otra podría estar bajo un ataque constante de un tipo específico de virus. Cuando se intenta combinar estas experiencias tan diferentes en un único modelo global, el resultado suele fallar al proteger a los sitios más vulnerables, especialmente aquellos que enfrentan ataques raros o inusuales.

Un equipo de investigadores de la Universidad de Xinjiang ha desarrollado un nuevo enfoque para solucionar este problema, llamado PAEDDP $\text{D}PG$ . Su trabajo aborda el problema específico con el que los métodos estándar luchan cuando los datos de las diferentes fábricas no se ven iguales. En una configuración típica, el servidor central simplemente promedia las actualizaciones enviadas por cada fábrica, asumiendo que cada fábrica contribuye por igual a la solución. Los investigadores descubrieron que este promedio de "talla única" es defectuoso porque permite que las fábricas con patrones de tráfico más comunes ahoguen las señales únicas de las fábricas que enfrentan ataques raros. Para contrarrestar esto, crearon un sistema donde el servidor central aprende cómo ponderar las contribuciones de cada fábrica de forma dinámica, en lugar de usar una regla fija.

El núcleo de su solución involucra dos mecanismos ingeniosos trabajando en tándem. Primero, en el lado local, cada fábrica mantiene un componente privado del modelo de seguridad que nunca sale de sus instalaciones. Mientras que la parte principal del modelo se comparte con el servidor central para aprender patrones generales, esta pieza privada ayuda al modelo local a recordar las peculiaridades específicas de la red de esa fábrica. Actúa como un regularizador, asegurando que el modelo compartido no olvide las características únicas de los datos locales mientras aprende. Esto permite que la fábrica mantenga un detector personalizado que está altamente ajustado a su propio entorno, todo esto manteniendo los datos brutos y los componentes privados del modelo completamente seguros.

Segundo, en el servidor central, los investigadores introdujeron un agente de inteligencia artificial que decide cuánto confiar en la actualización de cada fábrica. En lugar de solo contar cuántos puntos de datos tiene una fábrica, este agente analiza los cambios que la fábrica realizó al modelo y los compara con los cambios realizados por otros. Busca señales de que una fábrica está contribuyendo con conocimiento útil sobre ataques raros frente a simplemente repetir lo que ya se sabe. El agente es entrenado usando un sistema de recompensa que valora específicamente la detección de tipos de ataques raros y difíciles, en lugar de solo la precisión general. Si una fábrica ayuda al grupo a mejorar en la detección de una amenaza rara, el agente aprende a darle a esa fábrica más influencia en la siguiente ronda de entrenamiento. Este proceso ocurre continuamente, permitiendo que el sistema se adapte a medida que las condiciones de la red cambian.

Los investigadores probaron este nuevo marco utilizando dos grandes conjuntos de datos de tráfico de red industrial, uno que contenía más de medio millón de muestras y otro de casi medio millón. Simularon un escenario donde seis fábricas diferentes tenían tipos de tráfico muy distintos, con algunas enfrentando ataques comunes y otras enfrentando ataques extremadamente raros. Bajo estas condiciones difíciles, su nuevo método superó consistentemente a las técnicas existentes. Más notablemente, cuando se trató de detectar los tipos de ataques más raros, su sistema mejoró la tasa de éxito en aproximadamente 18 puntos porcentuales en comparación con el mejor método anterior. Por ejemplo, en un conjunto de datos, el nuevo sistema identificó correctamente el 85.25% de los ataques más raros, mientras que el mejor método anterior solo detectó el 67%.

Más allá de ser simplemente más precisos, el nuevo sistema también fue más estable. Los investigadores observaron que su método alcanzó un alto nivel de desempeño más rápido y con menos fluctuación que los métodos antiguos. Esto sugiere que el sistema no es solo afortunado en sus resultados, sino que está aprendiendo genuinamente una mejor manera de colaborar. El estudio también mostró que eliminar ya sea el componente privado local o el agente inteligente del servidor causaba una caída en el desempeño, demostrando que ambas partes son necesarias para que el sistema funcione efectivamente. Los investigadores señalaron, sin embargo, que su trabajo actual asume que todas las fábricas participan y son honestas. Reconocieron que el trabajo futuro tendría que abordar qué sucede si una fábrica se desconecta o si un actor malicioso intenta engañar al sistema.

En última instancia, esta investigación ofrece un camino prometedor hacia la seguridad de las redes industriales sin comprometer la privacidad. Al permitir que las fábricas mantengan sus datos locales mientras aún se benefician de una colaboración inteligente y adaptativa, el sistema proporciona una defensa robusta contra el panorama evolutivo de las ciberamenazas. Los hallazgos sugieren que el futuro de la seguridad industrial no reside en un modelo único y monolítico, sino en una red flexible donde la experiencia única de cada participante es valorada y ponderada según su contribución real a la seguridad.

Resumen Técnico: Detección de Intrusiones Federada Personalizada para Tráfico IIoT No-IID mediante Agregación Adaptativa Guiada por DDPG

Planteamiento del Problema

El Internet de las Cosas Industrial (IIoT) se enfrenta a amenazas cibernéticas crecientes, lo que exige Sistemas de Detección de Intrusiones (IDS) robustos. Si bien el Aprendizaje Federado (FL) permite que los clientes distribuidos entrenen modelos colaborativamente sin compartir el tráfico bruto, los enfoques estándar de FL luchan contra la realidad de los datos de IIoT: estos son inherentemente No-IID (no independientes e independientemente distribuidos) y presentan un desequilibrio de clases.

Deriva del Cliente (Client Drift): Diferentes sitios industriales observan diversos comportamientos normales y exposiciones a ataques, lo que provoca que las direcciones de optimización diverjan. Un único modelo global suele fallar al generalizar a través de estas distribuciones heterogéneas.
Negligencia de Clases Minoritarias: La agregación estándar (p. ej., FedAvg) tiende a favorecer a las clases mayoritarias (tráfico normal) o a los clientes dominantes, lo que resulta en una baja capacidad de recuperación (recall) sobre clases de ataque poco comunes (p. ej., Man-in-the-Middle, malware específico).
Limitaciones de las Soluciones Existentes: Los métodos actuales de FL-IDS dependen de reglas de agregación fijas o estrategias de personalización estáticas (como la división de capas fija) que no se adaptan dinámicamente a la utilidad empírica de la contribución de cada cliente. Además, los enfoques de Aprendizaje por Refuerzo Profundo (DRL) existentes para la agregación a menudo carecen de integración con la personalización local preservadora de la privacidad o no están específicamente ajustados para objetivos de IDS sensibles a las minorías.

Metodología: Marco PAEDDPG

Los autores proponen PAEDDPG (AutoEncoder Personalizado–Deep Deterministic Policy Gradient), un marco que combina la personalización en el dispositivo con la agregación adaptativa en el servidor.

1. Lado del Cliente: Decodificador de Reconstrucción Privado
Cada cliente $k$ mantiene un modelo compartido (extractor de características $g_\theta$ y clasificador $h_\theta$ ) y un decodificador de reconstrucción privado del cliente $\psi_{\phi_k}$ .

Objetivo Local: El cliente minimiza una función de pérdida combinada:
$L_k^{local} = \ell_{ce}(h_\theta(g_\theta(x)), y) + \lambda_{rec} \| \psi_{\phi_k}(g_\theta(x)) - x \|_2^2$
El primer término es la pérdida de clasificación supervisada; el segundo es una pérdida de reconstrucción autosupervisada.
Privacidad y Personalización: El decodificador se entrena únicamente con los datos locales y nunca se sube. Actúa como un regularizador, obligando al codificador compartido a preservar las estadísticas de características específicas del cliente (crucial para las clases raras) sin exponer los datos brutos ni los parámetros del decodificador.
Comunicación: Solo se suben los parámetros actualizados del modelo compartido ( $\theta_k$ ), manteniendo la misma carga de comunicación que el FedAvg estándar.

2. Lado del Servidor: Agregación Adaptativa Guiada por DDPG
El servidor emplea un agente de Gradiente de Política Determinista Profunda (DDPG) para aprender las ponderaciones de agregación óptimas de forma dinámica.

Estado ( $s_t$ ): Construido a partir de las estadísticas de actualización del codificador de los clientes participantes, incluyendo:
- Ratio de muestra ( $\rho_k$ ): Contribución de la cantidad de datos.
- Norma de actualización ( $\nu_k$ ): Magnitud del cambio del modelo local.
- Distancia de actualización promedio ( $\bar{d}_k$ ) y similitud de coseno ( $\bar{c}_k$ ): Medidas de divergencia y consistencia con otros clientes.
Acción ( $a_t$ ): El agente genera un vector de simplex de probabilidad de pesos ( $w_k$ ) para agregar los modelos compartidos: $\theta_t = \sum w_k \theta_k$ .
Recompensa ( $r_t$ ): Una recompensa sensible a las minorías basada en la mejora de ronda a ronda de tres métricas en un conjunto de validación en el servidor:
$r_t = 100 \times (\beta_1 \Delta \text{Macro-F1} + \beta_2 \Delta \text{BalancedAcc} + \beta_3 \Delta \text{WorstClassRecall})$
Esto dirige explícitamente al agente para priorizar la colaboración que mejore la detección de clases de ataque raras en lugar de solo la precisión general.

Contribuciones Clave

Arquitectura Novedosa: Un diseño cliente-servidor que acopla un modelo global compartido con un decodificador de reconstrucción privado del cliente. Esto induce la personalización mediante aprendizaje autosupervisado mientras preserva la privacidad y mantiene los costos de comunicación idénticos al FL estándar.
Agregación Adaptativa vía DDPG: Formulación de la selección de pesos de agregación como un problema de control continuo. Un único agente en el servidor aprende a mapear las estadísticas de actualización del codificador hacia los pesos de agregación, evitando la sobrecarga de políticas por cliente y adaptándose al estado actual de la colaboración.
Diseño de Recompensa Sensible a las Minorías: Una función de recompensa orientada a IDS que combina Macro-F1, Precisión Balanceada (Balanced Accuracy) y el Recall de la Peor Clase (Worst-Class Recall). Esto asegura que la política de agregación aprendida mitigue activamente la transferencia negativa y mejore la detección de ataques raros bajo tráfico heterogéneo e imbalanced.

Resultados Experimentales

El marco fue evaluado en Edge-IIoTset y NF-ToN-IoT-v3 bajo condiciones IID y tres configuraciones Non-IID ( $\alpha \in \{1.0, 0.5, 0.1\}$ ).

Desempeño: PAEDDPG superó consistentemente a los modelos de referencia (FedAvg, FedProx, FedProto, MOON, FedGH) en Macro-F1, Precisión Balanceada y Recall de la Peor Clase.
Detección de Clases Raras: Bajo la configuración Non-IID más fuerte ( $\alpha=0.1$ $α = 0.1$ ) en Edge-IIoTset:
- PAEDDPG logró un Recall de la Peor Clase del 85.25%, una mejora de aproximadamente 18 puntos porcentuales sobre el mejor modelo de referencia (FedProto con 67.00%).
- Fue el único método capaz de mantener un recall por clase por encima del 85% para todas las clases de ataque.
Convergencia: El método demostró una convergencia rápida y estable, alcanzando el 90% de su desempeño final en aproximadamente 30 rondas con una fluctuación de ronda a ronda significativamente menor en comparación con los modelos de referencia.
Estudio de Ablación: Eliminar cualquier componente (Decodificador Privado, DDPG o la Recompensa completa) degradó el desempeño. Se identificó que la agregación basada en DDPG es el factor dominante, mientras que el decodificador privado y el diseño de recompensa específico proporcionaron mejoras consistentes y complementarias.

Significancia y Reivindicaciones

El artículo afirma que PAEDDPG aborda una brecha crítica en la detección de intrusiones federada No-IID al optimizar conjuntamente la adaptación local preservadora de la privacidad y la agregación adaptativa impulsada por tareas.

Significancia: A diferencia de los métodos existentes que o bien fijan la estructura de colaboración a priori o dependen de objetivos de robustez genéricos, PAEDDPG aprende dinámicamente cuánto debe contribuir cada cliente basándose en la retroalimentación empírica respecto a la detección de clases raras.
Modestia: Los autores reconocen las limitaciones, señalando que el marco actual aún no contempla las amenazas adversarias (p. ej., clientes maliciosos manipulando los pesos de agregación) o la participación dinámica de clientes (abandono/rotación de clientes), que son comunes en despliegues de IIoT reales. Se propone trabajo futuro para abordar estos desafíos de robustez y disponibilidad dinámica.