A structured event logging framework for language model assisted security event analysis

Dans le monde numérique, chaque action effectuée par un ordinateur laisse une trace. Lorsqu'un utilisateur se connecte, qu'un fichier est enregistré ou qu'un paramètre de sécurité est modifié, le système écrit un enregistrement de cet événement. Ces enregistrements, appelés journaux d'événements (event logs), sont le principal moyen pour les équipes de sécurité de comprendre ce qui se passe à l'intérieur d'un réseau. Pendant des décennies, la méthode standard pour analyser ces journaux a consisté à les injecter dans des logiciels spécialisés ou à les confier à des analystes humains qui recherchent des modèles suggérant une menace. Cependant, une nouvelle génération d'outils d'intelligence artificielle, plus précisément les modèles de langage étendus, a montré des promesses pour automatiser cette tâche. Ces modèles sont entraînés sur de vastes quantités de texte et peuvent comprendre le langage naturel, ce qui les rend théoriquement parfaits pour lire et interpréter les récits cachés dans les journaux de sécurité. Pourtant, un problème important est apparu : lorsque ces puissants outils d'IA sont sollicités pour lire des journaux informatiques standards, ils échouent souvent. Ils produisent des réponses incohérentes, manquent des détails critiques ou inventent des faits qui ne se sont jamais produits. Cette imprévisibilité les rend dangereux pour la sécurité réelle, où une mauvaise supposition pourrait signifier qu'une brèche passe inaperçue ou qu'une action anodine est confondue avec une attaque.

Des chercheurs de l'Université de Huddersfield et de l'Université Métropolitaine de Manchester ont entrepris de résoudre ce problème en posant une question différente. Au lieu d'essayer de rendre l'intelligence artificielle plus intelligente, ils se sont demandé si les journaux eux-mêmes n'étaient pas le problème. Ils ont émis l'hypothèse que la manière dont les ordinateurs rédigent actuellement ces enregistrements est simplement trop désordonnée et technique pour être comprise par l'IA. Pour tester cela, l'équipe a développé une nouvelle façon pour les ordinateurs d'enregistrer leurs activités, conçue spécifiquement pour être lisible par les modèles de langage. Ils ont construit un outil qui capture les événements provenant de diverses parties d'un système informatique, filtre le bruit, et réécrit les données dans un format clair et structuré avant même qu'elles ne soient analysées. Le résultat est un système où l'ordinateur effectue le travail de préparation de l'information, présentant à l'IA un récit cohérent et propre plutôt qu'un flux chaotique de code.

L'équipe a testé sa nouvelle approche en simulant vingt scénarios de sécurité différents, allant de simples changements de mot de passe à des intrusions réseau complexes. Ils ont enregistré les événements en utilisant leur nouvel outil et ont comparé les résultats aux méthodes de journalisation standard utilisées aujourd'hui dans l'industrie. Lorsqu'ils ont injecté ces journaux dans plusieurs modèles de langage différents, la différence était flagrante. Les modèles utilisant le nouveau format identifiaient systématiquement les problèmes corrects et fournissaient des solutions pertinentes. En revanche, lorsque les mêmes modèles recevaient les journaux traditionnels non structurés, leurs performances chutaient considérablement. Ils peinaient à distinguer l'activité normale des menaces potentielles, échouant souvent à reconnaître qu'un paramètre de sécurité critique avait été modifié. Le nouveau format éliminait le besoin pour l'IA de deviner ou d'interpréter des codes déroutants, conduisant à une amélioration spectaculaire de la précision.

L'une des découvertes les plus notables fut que le nouveau système fonctionnait si bien que les modèles inventaient rarement des faits, un phénomène connu sous le nom d'hallucination. Dans cette expérience spécifique, le taux d'erreur était pratiquement nul sur l'ensemble des tests, y compris ceux utilisant les formats traditionnels. Les chercheurs ont toutefois noté que ce résultat pourrait être influencé par le nombre relativement restreint de journaux utilisés par rapport à d'autres études, et qu'ils ne pouvaient pas conclure définitivement que les hallucinations étaient définitivement éliminées sans tests supplémentaires sur des ensembles de données plus vastes. Cela suggère que la cause principale de la confusion de l'IA n'était pas un manque d'intelligence, mais plutôt la mauvaise qualité des données d'entrée. En garantissant que les journaux soient structurés, cohérents et rédigés en langage clair dès leur création, les chercheurs ont supprimé les barrières qui faisaient trébucher l'IA. Le système parvenait également à lier les événements connexes entre eux. Au lieu d'attendre qu'un programme distinct détermine que deux journaux différents se sont produits au même moment et font partie de la même attaque, le nouvel outil connectait ces points automatiquement au fur et à mesure que les événements se produisaient.

Les chercheurs ont également exploré si l'entraînement des modèles d'IA sur davantage de données les aiderait à mieux performer avec les anciens journaux désordonnés. Ils ont constaté que même avec un entraînement supplémentaire, les modèles continuaient de lutter avec les formats traditionnels. Cependant, en utilisant le nouveau format, les modèles performaient exceptionnellement bien, même sans aucun entraînement additionnel. Cela indique que la structure des données est plus importante que la taille du jeu de données d'entraînement du modèle. L'équipe a mesuré le temps nécessaire pour analyser les journaux et a constaté que leur nouvelle méthode était nettement plus rapide que la plupart des méthodes traditionnelles. Alors que certains outils standards comme Sysmon terminaient l'analyse en quelques minutes, d'autres mettaient plusieurs heures pour traiter la même quantité d'informations. Cette vitesse, combinée à la haute précision, suggère que la nouvelle approche pourrait rendre l'analyse de sécurité pilotée par l'IA pratique pour un usage quotidien.

L'étude ne prétend pas avoir résolu tous les problèmes de la cybersécurité, et les chercheurs reconnaissent que leurs tests ont été menés sur un seul type de système informatique. Ils prévoient d'étendre leurs travaux à d'autres systèmes d'exploitation à l'avenir. Cependant, la découverte fondamentale est claire : la manière dont nous enregistrons les événements numériques doit changer si nous voulons que l'intelligence artificielle les comprenne. En traitant le format du journal comme un outil de communication plutôt que comme un simple enregistrement technique, les chercheurs ont créé un pont entre les machines humaines et l'intelligence artificielle. Ce simple changement de perspective permet à l'IA de faire ce qu'elle fait de mieux — comprendre le langage et trouver des modèles — sans se perdre dans le bruit des données brutes. Le résultat est une façon plus fiable, plus rapide et plus sûre de protéger les systèmes informatiques, prouvant que parfois, la meilleure façon d'améliorer un outil n'est pas de le rendre plus complexe, mais de rendre l'information qu'il reçoit plus claire.