Résumé technique : Évaluation et exploration des capacités des LLM pour les investigations d'attaques

Énoncé du problème

Les équipes de sécurité sont confrontées à un volume écrasant de fausses alertes et à une pénurie d'expertise spécialisée requise pour analyser les journaux d'audit système lors des investigations d'attaques. Bien que les modèles de langage de grande taille (LLM) aient montré un potentiel prometteur en forensique de sécurité, il existe un écart important dans les travaux publiés évaluant leurs capacités spécifiques pour l'analyse des journaux d'audit de sécurité et la conduite d'investigations d'attaques. Cet écart provient d'un manque de jeux de données diversifiés et bien étiquetés, ainsi que de la nature complexe et amorphe des investigations réelles, qui nécessitent de combler le fossé sémantique entre les appels système de bas niveau et les comportements d'attaquants de haut niveau.

Méthodologie

Le benchmark AuditBench

Pour remédier à ces limitations, les auteurs introduisent AuditBench, un nouveau benchmark d'évaluation conçu pour évaluer les capacités des LLM dans l'analyse de journaux de sécurité. Le benchmark englobe :

• Portée : Quatre tâches d'investigation de sécurité courantes :
  1. Classification (Tri d'alertes) : Déterminer si une alerte correspond à une attaque réelle ou à une fausse alerte.
  2. Investigation de la persistance : Identifier les mécanismes permettant aux attaquants de maintenir l'accès au système.
  3. Investigation du mouvement latéral : Identifier les connexions sortantes permettant l'accès et le contrôle à distance.
  4. Investigation de l'exfiltration de données : Identifier les événements où des données sensibles sont déplacées vers l'extérieur.
• Composition du jeu de données : Le benchmark contient 51 scénarios distincts (25 issus de données de "Laboratoire" nouvellement générées et 26 sélectionnées à partir du jeu de données public DARPA OpTC).
  • Données de Laboratoire : Générées sur des machines virtuelles Linux et Windows en utilisant le framework MITRE ATT&CK et Atomic Red Team (ART) pour simuler des techniques d'attaque spécifiques et des activités bénignes.
  • Données OpTC : Sélectionnées à partir du jeu de données DARPA OpTC, le plus grand jeu de données public de journaux d'audit système, avec une vérification manuelle des étiquettes de vérité terrain (ground truth).
• Représentations de données : Le benchmark évalue deux représentations de journaux distinctes :
  1. Brute (Raw) : Sortie directe des collecteurs de journaux natifs du système d'exploitation (ex: auditd, procmon).
  2. Arête (Edge) : Une représentation pré-traitée sous forme de graphe (graphe de provenance) où les lignes de journaux sont converties en arêtes représentant les relations sujet-action-objet. Cette représentation réduit la redondance et le volume, particulièrement pour les journaux Windows.
• Cadre d'évaluation : Un pipeline automatisé qui calcule le Taux de Vrais Positifs (TPR), le Taux de Faux Positifs (FPR) et les scores F1. Il évalue également la qualité des explications générées par le LLM à l'aide d'une approche d'inférence de langage naturel (NLI), où un LLM agit comme juge pour vérifier si l'explication est sémantiquement impliquée par la vérité terrain.

Configuration expérimentale

L'étude a évalué cinq LLM de pointe : GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash et Llama 4 Maverick. Les expériences ont testé diverses options de conception, notamment :

• Taille du modèle : Comparaison des grands modèles de pointe avec des modèles plus petits mais performants.
• Ingénierie de prompt (Prompt Engineering) : Comparaison de deux versions de prompts (un modèle général vs une version raffinée avec des contraintes de domaine spécifiques et des instructions de persona).
• Représentation des données : Évaluation des performances sur les représentations brutes vs les représentations d'arêtes.
• Découpage (Chunking) : Analyse de l'impact des différentes tailles de segments de journaux sur les performances.

Résultats clés

1. Performance mixte et faux positifs

Aucun modèle n'a obtenu une performance strictement supérieure sur toutes les tâches. Une tendance dominante observée a été une interprétation excessivement suspicieuse des journaux d'audit, entraînant des taux de faux positifs (FPR) élevés dans de nombreuses tâches.

• Exfiltration : Les modèles ont généralement mieux performé sur les tâches d'exfiltration de données, certains atteignant un TPR élevé et un FPR faible.
• Mouvement latéral : Cette tâche a produit les scores F1 médians les plus bas, les modèles classant fréquemment des activités bénignes comme des attaques.
• Classification : Bien que certains modèles aient atteint un TPR parfait, ils ont souvent souffert de FPR élevés, signalant des activités système bénignes comme malveillantes.

2. Taille du modèle vs Performance

Contrairement à l'attente selon laquelle les modèles plus grands sont toujours plus performants, l'étude a constaté que les modèles plus petits égalent ou dépassent souvent les performances des modèles plus grands.

• Sur plusieurs tâches (ex: persistance et mouvement latéral sur les données d'arêtes), des modèles plus petits comme GPT-5 mini et Llama 4 Maverick ont obtenu des scores F1 plus élevés ou équivalents à ceux de GPT-5 et Gemini 2.5 Pro.
• Cela suggère que pour les investigations de sécurité, les praticiens n'ont pas forcément besoin des modèles les plus coûteux et les plus volumineux pour obtenir des résultats optimaux.

3. Impact de la représentation des données

Le choix de la représentation des données a considérablement impacté la performance, mais l'effet était dépendant du modèle.

• Pour certains modèles (ex: Llama 4), la représentation compacte par arêtes (edge) a conduit à une performance strictement meilleure sur toutes les tâches par rapport aux journaux bruts.
• Pour d'autres (ex: Gemini 2.5 Pro), les journaux bruts ont parfois donné de meilleurs résultats.
• Cela indique que le pré-traitement et la transformation des données sont des leviers critiques pour optimiser à la fois le coût et la performance.

4. Effets de l'ingénierie de prompt

Les variations de prompts ont eu des effets dépendants du modèle. Bien qu'un prompt raffiné (Prompt v2) ait généralement amélioré les performances pour de nombreux modèles en réduisant les faux positifs grâce à des contraintes de domaine spécifiques, il a dégradé les performances pour d'autres (ex: Gemini 2.5 Flash sur la classification). Cela met en garde contre les stratégies de prompt "taille unique" lors de la comparaison de modèles.

5. Qualité de l'explication et analyse d'erreurs

• Qualité de l'explication : Lorsque les modèles identifiaient correctement les attaques (Vrais Positifs), leurs explications générées étaient de haute qualité (score d'implication moyen > 4.0/5.0), capturant avec précision les comportements clés de l'attaque sans détails superflus.
• Caractéristiques des erreurs : Les faux positifs étaient rarement partagés entre les modèles (faible chevauchement d'erreurs). Les principaux moteurs des faux positifs étaient :
  1. Noms d'objets système : Les modèles signalaient des activités basées sur des noms de fichiers ou de processus "non standards" ou à l'aspect suspect (ex: clear_logs, invis.vbs).
  2. Séquences d'événements et volume : Les modèles interprétaient des activités à haut volume ou des chaînes d'exécution spécifiques (ex: svchost engendrant cmd.exe) comme malveillantes sans contexte suffisant.

Signification et contributions

L'article affirme fournir une ressource fondamentale pour les communautés de la sécurité et de l'IA :

1. Benchmark novateur : Il contribue avec AuditBench, un jeu de données et un cadre d'évaluation en open-source couvrant divers scénarios d'attaque, des activités bénignes et de multiples représentations de journaux. Cela permet une étude systématique des LLM dans l'analyse des journaux de sécurité.
2. Perspectives empiriques : L'étude offre des conseils pratiques aux praticiens, suggérant que les modèles plus petits et les transformations de données spécifiques (comme les représentations d'arêtes) peuvent être plus rentables et performants que le simple passage à l'échelle de la taille du modèle.
3. Guide de conception : Il souligne que les choix de conception (prompts, représentation des données) sont hautement spécifiques au modèle, incitant les développeurs et les équipes de sécurité à éviter les comparaisons directes de modèles sans explorer l'espace de conception pour leur contexte spécifique.
4. Directions futures : Le travail identifie la nécessité d'atténuer les taux élevés de faux positifs causés par la sensibilité aux noms d'objets et au volume d'activité, et suggère d'explorer les ensembles de modèles (ensembles) pour tirer parti du faible chevauchement des erreurs afin d'améliorer la robustesse.

Les auteurs soulignent que leur travail est une étape initiale, fournissant les données et les outils nécessaires pour les recherches futures visant à améliorer la robustesse et l'utilité des LLM dans les opérations de sécurité.