Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

Dans le monde à enjeux élevés de la cybersécurité, les défenseurs opèrent depuis longtemps en mode réactif, attendant qu'une alarme retentisse avant de pouvoir agir. Au moment où une brèche est détectée, le mal est souvent déjà fait. Pour changer cette dynamique, les chercheurs se sont tournés vers la prévision : la tentative de prédire quel type d'attaques surviendront, où elles frapperont et qui sera ciblé avant qu'elles ne se produisent. Ce domaine repose sur de vastes collections de données historiques, appelées référentiels d'incidents, qui enregistrent les détails des cyberattaques passées. Cependant, ces registres sont souvent éparpillés dans différentes bases de données, chacune utilisant son propre langage et son propre format, et beaucoup manquent de détails cruciaux. Pour construire une image utile du futur, les scientifiques doivent fusionner ces archives séparées en un récit unique et complet, comblant les lacunes par des suppositions éclairées dérivées des données dont ils disposent. Le défi consiste à s'assurer que ces suppositions ne trompent pas accidentellement les modèles mêmes conçus pour apprendre d'elles, créant un faux sentiment de sécurité là où il n'en existe aucun.

Une équipe de chercheurs de l'Université Islamique Internationale d'Islamabad, de l'Université Nationale de Séoul et de l'Université du Prince Mugrin s'est donné pour mission de tester la fiabilité de cette pratique courante. Ils ont combiné deux bases de données massives d'incidents cybernétiques : la base de données communautaire VERIS, qui offre des détails structurés et profonds sur les attaques mais dont l'enregistrement s'arrête en 2017, et Hackmageddon, qui fournit un flux continu d'incidents récents mais avec des informations moins détaillées. En harmonisant ces deux sources, ils ont créé un registre unifié de plus de 20 000 incidents s'étendant sur plus de cinquante ans. Pour rendre les données exploitables, ils ont dû remplir les champs manquants pour chaque incident, tels que le mobile spécifique de l'attaquant ou le type d'actif ciblé. Ils ont procédé en entraînant un modèle informatique pour prédire les détails manquants sur la base des informations disponibles dans l'autre base de données. Ce processus a produit un ensemble de données complet, mais il a également introduit un piège subtil. Parce que les étiquettes manquantes étaient générées par un modèle informatique utilisant les mêmes caractéristiques que les modèles de prévision qui seraient plus tard utilisés pour faire des prédictions, les modèles de prévision étaient essentiellement testés sur des réponses qu'ils avaient déjà été entraînés à reconnaître.

Lorsque les chercheurs ont évalué leurs modèles de prévision sur cet ensemble de données fusionné, les résultats semblaient initialement prometteurs. Les modèles semblaient prédire le type d'attaque future avec une précision qui paraissait surpasser les références standards. Cependant, l'équipe soupçonnait que ces scores élevés étaient une illusion causée par la manière dont les données avaient été construites. Pour enquêter, ils ont séparé les données de test en deux groupes : les enregistrements où le type d'attaque était initialement observé et enregistré par des humains, et les enregistrements où le type d'attaque avait été reconstruit par le modèle informatique lors du processus de fusion. La différence était frappante. Sur les enregistrements avec des étiquettes observées par l'humain, la performance du modèle chutait considérablement, révélant que les scores élevés sur l'ensemble du jeu de données étaient largement dus au fait que le modèle mémorisait simplement les schémas de l'ordinateur qui avait complété les données manquantes. En fait, l'écart entre les deux groupes était si important que la performance moyenne globale était gonflée de près de quarante-quatre points de pourcentage, une distorsion qui serait restée cachée si les chercheurs s'étaient contentés de regarder les chiffres combinés.

Pour confirmer que cette inflation était spécifiquement causée par l'acte de compléter les données manquantes, et non par d'autres différences entre les deux périodes de temps, les chercheurs ont réalisé une expérience contrôlée. Ils ont pris une seule période de temps où toutes les données étaient initialement observées, puis ont délibérément caché une partie des étiquettes et les ont remplacées en utilisant le même modèle informatique qu'ils avaient utilisé pour le jeu de données principal. Lorsqu'ils ont entraîné leur modèle de prévision sur ces données mixtes, la performance sur les étiquettes reconstruites était une fois de plus bien plus élevée que sur les étiquettes observées. Cela a prouvé que l'acte d'imputation crée elle-même une boucle circulaire où le modèle apprend à imiter le remplisseur plutôt que le phénomène réel. L'étude a également révélé un résultat contre-intuitif : plus le modèle informatique était mauvais pour compléter les données manquantes, plus la performance du modèle de prévision était artificiellement gonflée. Un imputateur médiocre crée un motif unique et idiosyncrasique dans les données manquantes, facile à apprendre pour un modèle en aval, tandis qu'un imputateur hautement précis se fond si bien qu'il ne crée pas de signal distinct et apprenable.

Au-delà du problème de fuite de données, les chercheurs ont exploré la meilleure façon de représenter l'information au sein de ces enregistrements. Les données d'incidents cybernétiques sont remplies de catégories à haute cardinalité, telles que les noms de centaines de pays différents ou de milliers d'organisations spécifiques. Les méthodes traditionnelles les traitent souvent comme de simples nombres, ce qui peut confondre les modèles. L'équipe a testé une technique appelée plongements d'entités (entity embeddings), qui apprend une représentation mathématique dense et unique pour chaque catégorie, permettant au modèle de comprendre les relations entre elles. Cette approche a considérablement amélioré la capacité du modèle à prédire les types d'attaques, augmentant sa performance de près de dix-neuf points de pourcentage par rapport à la méthode traditionnelle. Cette conclusion suggère que les études précédentes affirmant que les modèles d'apprentissage profond performent mal sur ce type de données étaient peut-être limitées par la manière dont les données leur étaient présentées, plutôt que par les modèles eux-mêmes.

L'étude a également examiné la difficulté de prédire le pays spécifique ciblé par une attaque. Bien que les modèles puissent atteindre une précision globale élevée en devinant simplement les pays les plus fréquents, ils éprouvaient des difficultés immenses à identifier correctement les cibles moins fréquentes. La performance sur cette tâche était si faible qu'elle dépassait à peine la ligne de base consistant à toujours deviner la classe majoritaire. Les chercheurs ont déterminé que cela n'était pas dû à un manque de données ou à un déséquilibre dans le nombre d'attaques, mais plutôt au fait qu'il n'y a tout simplement pas assez d'informations spécifiques dans les registrements disponibles pour distinguer entre les centaines de pays différents. Les caractéristiques présentes dans les données ne portent pas le signal géographique nécessaire pour rendre ces prédictions fines fiables.

Enfin, l'équipe a testé ses modèles sous une évaluation strictement chronologique, s'entraînant sur des données du passé et testant sur des données du futur, ce qui est la seule façon d'évaluer véritablement un système de prévision. Sous ces conditions réalistes, la performance a encore chuté, et les modèles d'apprentissage profond, qui traînaient auparavant derrière les modèles plus simples basés sur des arbres, ont finalement pris le dessus. Ce renversement suggère que les modèles profonds, aidés par une meilleure représentation des données, étaient plus aptes à se généraliser à de nouvelles périodes de temps non vues, tandis que les modèles plus simples ne faisaient que mémoriser des schémas spécifiques à la fenêtre d'entraînement. Les chercheurs ont conclu que, si la prévision du type général d'attaque est possible avec un succès modeste, prédire le pays spécifique ou le schéma exact d'une attaque reste hors de portée avec les données et les méthodes actuelles. Leur principale contribution n'était pas un nouvel algorithme de prédiction, mais un protocole rigoureux d'évaluation des ensembles de données fusionnés qui expose ces failles cachées, garantissant que les recherches futures en cybersécurité et dans d'autres domaines ne confondent pas les artefacts de la construction des données avec un véritable pouvoir prédictif.