Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Résumé Technique : L'Apprentissage Fédéré en Conditions Réelles : Une Étude Comparative pour la Cybersécurité sous des Paramètres Non-IID et Déséquilibrés

Énoncé du Problème
L'apprentissage automatique (ML) a démontré un potentiel significatif pour l'analyse du trafic réseau et la détection d'intrusions. Cependant, son efficacité est souvent limitée par la nécessité de disposer de jeux de données représentatifs et actualisés, qui sont difficiles à agréger en raison des réglementations sur la confidentialité et des restrictions de partage de données. L'apprentissage fédéré (FL) offre une solution en permettant l'entraînement de modèles collaboratifs tout en maintenant les données sensibles localement. Malgré cette promesse, l'algorithme de FL canonique, le Federated Averaging (FedAvg), présente une convergence et des performances médiocres dans des environnements hétérogènes caractérisés par des données non indépendantes et identiquement distribuées (non-i.i.d.) ainsi que par des jeux de données déséquilibrés. Ces conditions sont prévalentes en cybersécurité, où différents clients (par exemple, des nœuds réseau) rencontrent des schémas d'attaque distincts et des volumes de trafic variables. La littérature existante manque souvent d'une évaluation complète des algorithmes de FL alternatifs spécifiquement dans le contexte des systèmes de détection d'intrusion réseau (NIDS) sous de tels scénarios « pathologiques ».

Méthodologie
Cette étude présente une évaluation comparative systématique de sept algorithmes de FL appliqués à la détection d'intrusions réseau pour les attaques par déni de service distribué (DDoS). L'évaluation est menée sous un cadre non-i.i.d. et déséquilibré sévère, décrit comme un scénario « pathologique ». Dans cette configuration :

• Distribution des données : 15 clients sont utilisés, où chaque client possède un jeu de données contenant du trafic bénin et exactement un type spécifique d'attaque DDoS.
• Déséquilibre : Le volume de données entre les clients varie de plus de quatre ordres de grandeur. Bien que les jeux de données individuels des clients soient localement équilibrés entre les échantillons bénins et malveillants, la fédération dans son ensemble est hautement déséquilibrée concernant à la fois la taille du jeu de données et la représentation des types d'attaques.
• Algorithmes évalués : L'étude compare l'algorithme de base FedAvg contre six méthodes avancées :
  • Usage général : FedProx (régularisation), SCAFFOLD (variates de contrôle) et FedALA (agrégation locale adaptative).
  • Spécifiques à la cybersécurité : DAFL (sensible à la disparité), FedSBS (sélection de clients gourmande/greedy) et FLAD (approche adaptative pour le DDoS).
• Configuration expérimentale : Les expériences utilisent des jeux de données de référence récents (CIC-IDS2017, CIC-IDS2018 et CIC-DDoS2019) couvrant 15 types distincts d'attaques DDoS. Le modèle global est un Perceptron Multicouche (MLP) entraîné à l'aide du framework Flower sur des ressources uniquement CPU pour refléter les contraintes de légèreté.
• Métriques : La performance est évaluée selon la précision de la détection (score F1), la durée d'entraînement, la surcharge de communication et les modèles de sélection de clients. Dix exécutions indépendantes avec différentes graines aléatoires garantissent la fiabilité des résultats.

Contributions Clés

1. Adaptation et Revue : Les auteurs passent en revue et adaptent des algorithmes de FL de pointe, y compris ceux conçus à l'origine pour la vision par ordinateur, aux exigences spécifiques des NIDS pour la détection DDoS.
2. Évaluation Multidimensionnelle : Contrairement aux études se concentrant uniquement sur la précision finale, ce travail fournit une comparaison complète entre la performance de détection, la généralisation du modèle, le temps d'entraînement et la surcharge de communication.
3. Analyse sous Conditions Pathologiques : L'étude examine le comportement algorithmique sous une hétérogénéité extrême où chaque client observe un profil d'attaque unique, mettant en évidence les forces et les limites de diverses stratégies de sélection de clients, d'agrégation et d'entraînement local.
4. Reproductibilité : Une implémentation en open-source des algorithmes évalués et de la configuration expérimentale (y compris la configuration du jeu de données) est fournie pour permettre la reproductibilité.

Résultats
L'analyse comparative produit plusieurs conclusions critiques :

• Précision et Généralisation : La plupart des algorithmes peinent à se généraliser efficacement à travers tous les types d'attaques, particulièrement pour les attaques WebDDoS, LDAP et LOIC, qui sont sous-représentées ou possèdent des distributions de caractéristiques distinctes. FedAvg, FedProx, SCAFFOLD et FedSBS atteignent généralement des scores F1 inférieurs à 0,8 pour ces attaques spécifiques. FedALA est peu performant sur les attaques basées sur le protocole TCP. En revanche, FLAD démontre une robustesse supérieure, atteignant des scores F1 élevés (moyenne de 0,97) sur tous les types d'attaques en ajustant dynamiquement l'entraînement en fonction de la performance des clients.
• Temps d'Entraînement et Efficacité :
  • DAFL entraîne la plus longue durée d'entraînement car il nécessite que les 15 clients effectuent l'entraînement local à chaque tour, rendant le processus dépendant du client le plus lent.
  • FLAD réduit considérablement le temps d'entraînement total (malgré une surcharge de communication élevée) en sélectionnant de manière adaptative moins de clients par tour et en assignant plus d'étapes d'entraînement uniquement à ceux ayant une précision plus faible, excluant ainsi efficacement les clients qui ont déjà convergé.
  • Les méthodes standards (FedAvg, FedProx, SCAFFOLD, FedALA) présentent des temps d'entraînement comparables, les opérations locales représentant environ 60 % de la durée totale.
• Surcharge de Communication :
  • FedAvg, FedProx, FedALA et FedSBS maintiennent une faible surcharge de communication similaire à la ligne de base.
  • SCAFFOLD, DAFL et FLAD introduisent une surcharge plus élevée. SCAFFOLD échange des variates de contrôle ; DAFL nécessite que tous les clients téléchargent le modèle global pour validation ; FLAD nécessite la transmission des scores de précision et des paramètres d'entraînement adaptatifs.
• Sélection de Clients : Les algorithmes employant une sélection de clients informée (DAFL, FLAD) ou une distribution de charge de travail adaptative surpassent ceux reposant sur une sélection aléatoire (FedAvg, FedProx, SCAFFOLD, FedALA) en termes de précision finale du modèle sous des conditions non-i.i.d.

Signification et Revendications
L'article affirme que pour les scénarios de cybersécurité caractérisés par des distributions de données hautement hétérogènes et déséquilibrées, la sélection de clients informée et la distribution adaptative de la charge de travail sont des mécanismes plus efficaces pour améliorer la performance de détection que les modifications de l'entraînement local ou de l'agrégation globale seules.

Les auteurs soutiennent que traiter tous les clients de manière égale (via une probabilité de sélection fixe ou une charge de travail uniforme) ne permet pas de garantir que les schémas d'attaque rares ou difficiles contribuent suffisamment au modèle global. Au lieu de cela, les stratégies qui priorisent dynamiquement les clients en fonction de leur contribution actuelle au processus d'apprentissage (comme observé avec FLAD et DAFL) permettent à la fédération d'utiliser plus efficacement les informations hétérogènes. Bien que ces approches adaptatives engendrent des coûts de communication et de coordination supplémentaires, l'étude conclut que pour la détection d'intrusions réseau, où les mises à jour rapides sont cruciales pour atténuer les menaces évolutives, le compromis favorise l'adaptativité plutôt que l'efficacité stricte de la communication. Les conclusions suggèrent que les futures solutions de FL pour la cybersécurité devraient prioriser les mécanismes qui traitent directement l'hétérogénéité au niveau des clients par le biais de la sélection et de la gestion de la charge de travail.