Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Resumen Técnico: Aprendizaje Federado en el Mundo Real: Un Estudio Comparativo para la Ciberseguridad bajo Entornos No-IID y Desbalanceados

Planteamiento del Problema
El Aprendizaje Automático (ML) ha demostrado un potencial significativo para el análisis de tráfico de red y la detección de intrusiones. Sin embargo, su eficacia suele verse limitada por la necesidad de conjuntos de datos representativos y actualizados, los cuales son difíciles de agregar debido a las regulaciones de privacidad y las restricciones de intercambio de datos. El Aprendizaje Federado (FL) ofrece una solución al permitir el entrenamiento colaborativo de modelos manteniendo los datos sensibles de forma local. A pesar de esta promesa, el algoritmo de FL canónico, Federated Averaging (FedAvg), exhibe una convergencia y un rendimiento deficientes en entornos heterogéneos caracterizados por datos no independientes e idénticamente distribuidos (non-i.i.d.) y conjuntos de datos desbalanceados. Estas condiciones son prevalentes en la ciberseguridad, donde diferentes clientes (por ejemplo, nodos de red) encuentran distintos patrones de ataque y volúmenes de tráfico variables. La literatura existente carece a menudo de una evaluación exhaustiva de algoritmos de FL alternativos específicamente dentro del contexto de los sistemas de detección de intrusiones de red (NIDS) bajo tales configuraciones "patológicas".

Metodología
Este estudio presenta una evaluación comparativa sistemática de siete algoritmos de FL aplicados a la detección de intrusiones de red para ataques de Denegación de Servicio Distribuido (DDoS). La evaluación se lleva a cabo bajo un entorno severo de non-i.i.d. y desbalanceado, descrito como un escenario "patológico". En esta configuración:

• Distribución de Datos: Se utilizan 15 clientes, donde cada cliente posee un conjunto de datos que contiene tráfico benigno y exactamente un tipo específico de ataque DDoS.
• Desbalance: El volumen de datos entre los clientes varía en más de cuatro órdenes de magnitud. Si bien los conjuntos de datos individuales de los clientes están localmente balanceados entre muestras benignas y maliciosas, la federación en su conjunto está altamente desbalanceada tanto en tamaño de conjunto de datos como en representación de tipos de ataque.
• Algoritmos Evaluados: El estudio compara el baseline FedAvg contra seis métodos avanzados:
  • De propósito general: FedProx (regularización), SCAFFOLD (variables de control) y FedALA (agregación local adaptativa).
  • Específicos de Ciberseguridad: DAFL (consciente de la disparidad), FedSBS (selección codiciosa de clientes) y FLAD (enfoque adaptativo para DDoS).
• Configuración Experimental: Los experimentos utilizan conjuntos de datos de referencia recientes (CIC-IDS2017, CIC-IDS2018 y CIC-DDoS2019), que cubren 15 tipos distintos de ataques DDoS. El modelo global es un Perceptrón Multicapa (MLP) entrenado utilizando el framework Flower en recursos de solo CPU para reflejar restricciones de ligereza.
• Métricas: El rendimiento se evalúa basándose en la precisión de detección (puntuación F1), la duración del entrenamiento, la sobrecarga de comunicación y los patrones de selección de clientes. Diez ejecuciones independientes con diferentes semillas aleatorias aseguran la fiabilidad de los resultados.

Contribuciones Clave

1. Adaptación y Revisión: Los autores revisan y adaptan algoritmos de FL de vanguardia, incluyendo aquellos diseñados originalmente para la visión por computadora, a los requisitos específicos de los NIDS para la detección de DDoS.
2. Evaluación Multidimensional: A diferencia de los estudios que se centran únicamente en la precisión final, este trabajo proporciona una comparación exhaustiva entre el rendimiento de detección, la generalización del modelo, el tiempo de entrenamiento y la sobrecarga de comunicación.
3. Análisis bajo Condiciones Patológicas: El estudio investiga el comportamiento algorítmico bajo una heterogeneidad extrema donde cada cliente observa un perfil de ataque único, resaltando las fortalezas y limitaciones de diversas estrategias de selección de clientes, agregación y entrenamiento local.
4. Reproducibilidad: Se proporciona una implementación de código abierto de los algoritmos evaluados y la configuración experimental (incluyendo la configuración del conjunto de datos) para permitir la reproducibilidad.

Resultados
El análisis comparativo arroja varios hallazgos críticos:

• Precisión y Generalización: La mayoría de los algoritmos luchan por generalizar eficazmente en todos los tipos de ataque, particularmente para los ataques WebDDoS, LDAP y LOIC, que están subrepresentados o tienen distribuciones de características distintas. FedAvg, FedProx, SCAFFOLD y FedSBS generalmente alcanzan puntuaciones F1 por debajo de 0.8 para estos ataques específicos. FedALA tiene un desempeño pobre en ataques basados en TCP. En contraste, FLAD demuestra una robustez superior, logrando altas puntuaciones F1 (media de 0.97) en todos los tipos de ataque mediante el ajuste dinámico del entrenamiento basado en el rendimiento del cliente.
• Tiempo de Entrenamiento y Eficiencia:
  • DAFL incurre en la mayor duración de entrenamiento porque requiere que los 15 clientes realicen el entrenamiento local en cada ronda, lo que hace que el proceso esté limitado por el cliente más lento.
  • FLAD reduce significamente el tiempo total de entrenamiento (a pesar de la alta sobrecarga de comunicación) al seleccionar adaptativamente menos clientes por ronda y asignar más pasos de entrenamiento solo a aquellos con menor precisión, excluyendo efectivamente a los clientes que ya han convergido.
  • Los métodos estándar (FedAvg, FedProx, SCAFFOLD, FedALA) muestran tiempos de entrenamiento comparables, donde las operaciones locales representan aproximadamente el 60% de la duración total.
• Sobrecarga de Comunicación:
  • FedAvg, FedProx, FedALA y FedSBS mantienen una baja sobrecarga de comunicación similar al baseline.
  • SCAFFOLD, DAFL y FLAD introducen una mayor sobrecarga. SCAFFOLD intercambia variables de control; DAFL requiere que todos los clientes descarguen el modelo global para validación; FLAD requiere la transmisión de puntuaciones de precisión y parámetros de entrenamiento adaptativos.
• Selección de Clientes: Los algoritmos que emplean una selección de clientes informada (DAFL, FLAD) o una distribución de carga de trabajo adaptativa superan a los que dependen de la selección aleatoria (FedAvg, FedProx, SCAFFOLD, FedALA) en términos de la precisión final del modelo bajo condiciones non-i.i.d.

Significancia y Reivindicaciones
El artículo sostiene que, para escenarios de ciberseguridad caracterizados por distribuciones de datos altamente heterogéneas y desbalanceadas, la selección informada de clientes y la distribución adaptativa de la carga de trabajo son mecanismos más efectivos para mejorar el rendimiento de la detección que las modificaciones al entrenamiento local o la agregación global por sí solas.

Los autores argumentan que tratar a todos los clientes por igual (mediante selección de probabilidad fija o carga de trabajo uniforme) no logra asegurar que los patrones de ataque raros o difíciles contribuyan suficientemente al modelo global. En su lugar, las estrategias que priorizan dinámicamente a los clientes basándose en su contribución actual al proceso de aprendizaje (como se ve en FLAD y DAFL) permiten que la federación utilice la información heterogénea de manera más efectiva. Si bien estos enfoques adaptativos incurren en costos adicionales de comunicación y coordinación, el estudio concluye que para la detección de intrusiones de red, donde las actualizaciones oportunas son críticas para mitigar amenazas en evolución, la compensación favorece la adaptabilidad sobre la eficiencia estricta de comunicación. Los hallazgos sugieren que las futuras soluciones de FL para la ciberseguridad deberían priorizar mecanismos que aborden directamente la heterogeneidad a nivel de cliente a través de la gestión de la selección y la carga de trabajo.