SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis

Chaque jour, les systèmes informatiques modernes génèrent un volume colossal de registres numériques appelés journaux (logs). Ce sont des notes automatiques que les machines écrivent sur leurs propres activités, traçant tout, d'une connexion d'utilisateur au déplacement d'un fichier à travers un réseau. Dans une grande organisation, ces journaux s'accumulent par millions, créant un flux massif et chaotique d'informations. Les équipes de sécurité, connues sous le nom de centres d'opérations de sécurité (SOC), ont pour mission de surveiller ce flux afin de repérer les signes de problèmes. Le problème est que le volume est trop important pour être lu par des humains, et l'ancienne méthode de recherche de problèmes — vérifier des modèles spécifiques de comportements malveillants connus — échoue lorsque les attaquants utilisent des méthodes nouvelles et inédites. Lorsque les systèmes sont submergés, ils soit manquent de réelles menaces, soit déclenchent l'alarme pour des événements inoffensifs, laissant les analystes épuisés et confus. L'objectif de la recherche en sécurité moderne est de construire un système capable de filtrer automatiquement ce bruit, de trouver les événements rares et étranges qui signalent une attaque, et d'expliquer précisément pourquoi il les a trouvés, le tout sans nécessiter de matériel coûteux et spécialisé ou une équipe d'experts pour étiqueter chaque exemple de crime.

Une équipe de chercheurs a construit un outil appelé SOC Copilot pour résoudre ce problème spécifique. Ils ont créé un système complet qui fonctionne sur des processeurs informatiques standards, ce qui signifie qu'il ne nécessite pas les cartes graphiques massives et gourmandes en énergie que beaucoup d'outils d'intelligence artificielle avancés requièrent. Au lieu de s'appuyer sur une base de données d'attaques connues, leur système apprend à quoi ressemble un comportement « normal » et signale tout ce qui s'écarte de ce modèle. Les chercheurs ont testé leur moteur sur un ensemble de données massif de plus de onze millions de lignes de journaux provenant d'un système de fichiers distribués Hadoop, une technologie courante pour stocker de grandes quantités de données. Ils ont traité ces données dans un format gérable, regroupant les événements liés en blocs et les transformant en une liste de cinquante-huit caractéristiques différentes, telles que le nombre de fois qu'un type de message spécifique est apparu ou la durée d'une séquence d'événements.

Le cœur de leur système utilise deux méthodes différentes pour chercher les problèmes, travaillant ensemble comme deux experts ayant des spécialités différentes. La première méthode est un outil statistique qui recherche les valeurs aberrantes (outliers), identifiant les points de données qui se situent loin de la foule. La seconde méthode est un réseau de neurones, un type de programme informatique conçu pour apprendre à compresser l'information puis à la reconstruire. Si le programme rencontre un modèle qu'il n'a jamais vu auparavant, il peine à le reconstruire, et cette difficulté devient un signal indiquant que quelque chose ne va pas. Les chercheurs ont entraîné les deux méthodes uniquement sur des exemples de comportements normaux et sûrs. Ils ne leur ont montré aucun exemple d'attaque durant la phase d'apprentissage, ce qui permet au système de détecter de nouveaux types de menaces jamais rencontrés auparavant.

Pour rendre le système fiable, les chercheurs ne se sont pas contentés de laisser les deux méthodes voter sur une décision. Ils ont d'abord ajusté les scores de chaque méthode afin qu'ils puissent être comparés équitablement, puis les ont combinés en utilisant une stratégie de pondération spécifique déterminée par des tests sur un ensemble de données distinct. Le résultat final est un score unique qui indique à quel point un bloc de journaux est suspect. Si le score franchit une certaine limite, le système le signale comme une anomalie. Crucialement, le système ne se contente pas de dire « ceci est mauvais ». Il fournit une explication détaillée de sa décision, mettant en évidence précisément quelles caractéristiques de l'entrée du journal ont provoqué l'alarme. Il attribue également un niveau de gravité, allant de faible à critique, aidant ainsi les analystes humains à décider quels alertes doivent être investiguées en priorité.

Lorsque l'équipe a testé son système final sur un ensemble de données qu'il n'avait jamais vu, les résultats ont été remarquablement précis. Sur plus de soixante-quatre mille blocs de journaux, le système a correctement identifié presque toutes les anomalies, n'en manquant qu'une seule. Il a également maintenu les fausses alarmes très basses, ne signalant qu'une infime fraction de l'activité normale comme suspecte. La combinaison des deux méthodes s'est avérée plus forte que l'une ou l'autre prise isolément. Bien que le réseau de neurones ait été le meilleur détecteur individuel, la méthode statistique a capturé un petit nombre de menaces que le réseau avait manquées. En les fusionnant, le système a atteint un niveau de précision rare dans ce domaine, atteignant près de quatre-vingt-dix-neuf pour cent sur toutes les mesures de performance majeures.

Les chercheurs ont également construit un tableau de bord visuel qui permet aux analystes humains d'interagir avec le système. Cette interface affiche les alertes, les scores de gravité et les explications de pourquoi chaque alerte a été déclenchée. Elle montre les modèles de journaux spécifiques qui ont déclenché l'alarme ainsi que les caractéristiques qui ont le plus contribué à la décision. Cette transparence est vitale car elle permet à un humain de faire confiance au jugement de la machine et de comprendre le contexte de la menace. L'ensemble du système a été construit pour être léger et explicable, répondant aux critiques courantes selon lesquelles les outils de sécurité puissants sont trop coûteux à exploiter ou trop opaques pour être compris.

L'étude confirme qu'il est possible de construire un moteur de sécurité hautement efficace sans dépendre d'une puissance de calcul massive ou de vastes ensembles de données étiquetées d'attaques connues. En se concentrant sur l'apprentissage non supervisé, où le système apprend la forme du comportement normal, et en combinant plusieurs méthodes de détection, l'équipe a créé un outil qui est à la fois précis et compréhensible. Ils ont démontré qu'un système peut être entraîné sur des données normales, calibré avec soin et déployé pour capturer presque chaque anomalie dans un flux massif de journaux. Le travail ne prétend pas résoudre tous les problèmes de sécurité et reconnaît qu'il fonctionne actuellement de manière optimale sur ce type spécifique de données de journaux. Cependant, il constitue un exemple concret et fonctionnel de la manière de passer d'une vérification de règles réactive à une détection d'anomalies proactive et intelligente, qui peut être comprise et approuvée par les personnes qui doivent l'utiliser.