A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

Imaginez l'internet comme une ville immense et bouillonnante où les données circulent comme le trafic sur des autoroutes infinies. Dans cette ville, des gardes de sécurité (pare-feu et logiciels antivirus) se tiennent à chaque point de contrôle, vérifiant les pièces d'identité pour s'assurer que personne ne s'introduit clandestinement. Habituellement, ces gardes possèdent un carnet d'« Affiches de recherche » rempli de photos de criminels connus. Si un étranger ressemble à quelqu'un sur la liste, il est arrêté. Mais que se passe-t-il lorsqu'un tout nouveau criminel apparaît, un criminel qui n'a jamais été vu auparavant, avec un visage qui ne correspond à aucune photo du carnet ? C'est le cauchemar d'une attaque « zero-day » : un intrus numérique utilisant une toute nouvelle ruse que les systèmes de sécurité n'ont jamais rencontrée.

Pour attraper ces voleurs invisibles, les scientifiques se tournent vers un type spécial de détective appelé l'Apprentissage Automatique (Machine Learning). Considérez ces détectives comme des étudiants qui étudient des milliers d'exemples de « bon trafic » et de « mauvais trafic » pour apprendre les schémas. Cependant, il y a un problème délicat dans leur salle de classe : l'enseignant (la donnée) leur donne beaucoup trop d'exemples de bon trafic et très peu d'exemples de mauvais trafic. C'est comme essayer d'apprendre à repérer un animal rare et timide dans une forêt où 99 % des créatures sont de simples écureuils. L'étudiant pourrait devenir très doué pour repérer les écureuils mais passer complètement à côté de l'animal rare parce qu'il en a très peu vu pendant son entraînement. Ce document explore comment enseigner à ces détectives numériques à repérer ces menaces nouvelles et rares sans être confondus par le nombre écrasant d'écureuils normaux.

---

La Grande Course des Détectives Numériques

Dans cette étude, les chercheurs Zahra Lotfi et Mostafa Lotfi ont mis en place un terrain d'entraînement massif pour voir quel modèle d'apprentissage automatique pourrait devenir l'ultime détecteur d'attaques zero-day. Ils ne voulaient pas seulement savoir quel modèle était le plus intelligent ; ils voulaient aussi savoir lequel était le plus rapide. Après tout, dans le monde réel, un garde de sécurité qui met une heure à vérifier l'identité d'une seule personne est inutile, même s'il ne rate jamais un criminel.

Les chercheurs ont utilisé un immense ensemble de données appelé UNSW-NB15, qui contient plus de 1,4 million d'enregistrements de trafic réseau. Pour rendre le test réaliste, ils ont créé un scénario où les modèles étaient entraînés sur un mélange de trafic normal et d'attaques connues, mais étaient ensuite testés sur une attaque « zero-day » qu'ils n'avaient jamais vue auparavant. Pour rendre la tâche encore plus difficile, ils ont utilisé un ensemble de données fortement déséquilibré, où le trafic normal surpasse largement les attaques, tout comme dans la vie réelle.

Ils ont testé cinq « détectives » différents (modèles d'apprentissage automatique) :

1. Arbre de décision (DT) : Un modèle qui pose une série de questions par oui ou par non pour prendre une décision.
2. Régression logistique (LR) : Un modèle statistique qui calcule la probabilité qu'une chose soit une attaque.
3. Forêt aléatoire (RF) : Une équipe de nombreux arbres de décision qui votent sur la réponse.
4. XG Boost (XGB) : Une équipe puissante qui construit sur ses erreurs pour devenir plus intelligente, connue pour être très rapide.
5. MLP (Perceptron Multicouche) : Un modèle d'apprentissage profond qui imite les couches de neurones d'un cerveau humain.

La Magie de l'Équilibre des Balances

L'un des plus grands obstacles que les chercheurs ont affrontés est le « problème de déséquilibre des classes ». Comme il y avait si peu d'exemples d'attaques par rapport aux exemples normaux, les modèles avaient du mal à apprendre à quoi ressemble réellement une attaque. Pour corriger cela, l'équipe a utilisé une technique appelée SMOTE (Synthetic Minority Over-sampling Technique).

Imaginez que vous essayez d'apprendre à un enfant à reconnaître un oiseau bleu rare, mais que vous n'avez qu'une seule photo de lui. L'enfant oubliera probablement à quoi il ressemble. SMOTE est comme une photocopieuse magique qui crée de nouvelles photos légèrement différentes de cet oiseau bleu en mélangeant la photo originale avec ses voisines. Cela donne à l'enfant suffisamment d'exemples pour vraiment comprendre à quoi ressemble l'oiseau sans avoir besoin de trouver plus d'oiseaux réels dans la nature. Les chercheurs ont appliqué cela à leurs données, créant des exemples d'attaques synthétiques pour équilibrer l'ensemble d'entraînement.

Les Résultats : Qui a Gagné la Course ?

Les résultats étaient un mélange de « plus intelligent » et de « plus rapide », et le vainqueur dépendait de ce que vous valorisiez le plus.

Lorsque les modèles ont été testés sans l'astuce d'équilibrage (SMOTE), ils avaient du mal à repérer les attaques rares. Par exemple, le modèle Random Forest n'a capturé qu'environ 83,11 % des attaques, tandis que le modèle MLP était encore pire, ne capturant que 25,35 %.

Cependant, lorsqu'ils ont utilisé SMOTE pour équilibrer les données, les performances ont grimpé en flèche.

• Le Détective le plus Intelligent : Le modèle Random Forest (RF) était le champion incontesté en termes de précision. Avec les données équilibrées, il a réussi à capturer un énorme 94,38 % des attaques zero-day (Rappel) avec une précision de 98,91 %. Il était le plus fiable pour ne pas laisser passer les méchants.
• Le Sprinteur : Mais attention. Random Forest était incroyablement lent. Il lui a fallu 1 379,10 secondes (plus de 22 minutes) pour traiter les données de test. Dans une cyberattaque réelle, attendre 22 minutes pour arrêter un hacker, c'est comme attendre qu'un incendie détruise tout le bâtiment avant d'appeler les pompiers.
• Le Meilleur Polyvalent : Entrez en scène XG Boost (XGB). Bien qu'il n'ait pas capturé autant d'attaques que Random Forest (il en a capturé 81,40 %), il était fulgurant. Il a terminé la même tâche en seulement 5,08 secondes. Il maintenait également une précision élevée de 98,21 %.

Le Verdict

Les chercheurs ont conclu que bien que Random Forest soit techniquement le modèle le plus précis pour trouver ces attaques zero-day invisibles, il est trop lent pour être pratique pour les systèmes de sécurité en temps réel. Si vous avez besoin d'un garde qui ne dort jamais et ne rate jamais un battement, mais qui met une éternité à réfléchir, vous pourriez avoir un problème.

Au lieu de cela, ils ont couronné XG Boost comme le meilleur choix pour une utilisation dans le monde réel. Il offrait le meilleur équilibre, étant « extrêmement rapide et précis ». Il a prouvé qu'on n'a pas toujours besoin du détecteur absolument parfait ; on a besoin d'un détecteur assez rapide pour arrêter l'attaque avant qu'elle ne cause des dommages.

L'étude a également confirmé que la « photocopieuse magique » (SMOTE) était essentielle. Sans elle, les modèles étaient aveugles aux attaques rares. Avec elle, même les modèles les plus lents se sont considérablement améliorés, bien que la vitesse du modèle soit restée le facteur décisif pour déterminer lequel devrait être utilisé dans le monde réel.

En fin de compte, cette recherche montre que dans la course pour attraper les criminels numériques, être le plus intelligent ne suffit pas ; il faut aussi être rapide. Et parfois, le deuxième détective le plus intelligent qui peut parcourir un kilomètre en quelques secondes est celui qui sauve réellement la mise.