🤖 AI

Evaluating LLM Generated Detection Rules in Cybersecurity

Cet article présente un cadre d'évaluation en code source ouvert et des métriques de référence conçus pour évaluer l'efficacité des règles de détection de cybersécurité générées par des LLM en les comparant à des règles générées par des humains à l'aide d'une méthodologie d'ensemble de test distinct.

Auteurs originaux : Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

Publié 2026-08-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une ville immense et bouillonnante où chaque e-mail est une lettre voyageant à travers le système postal. Dans cette ville, des acteurs malveillants tentent de faire passer des lettres truquées, des escroqueries et des virus déguisés en notes amicales. Pour les arrêter, nous employons des « détectives » qui écrivent des règles spécifiques pour repérer ces fauteurs de troubles. Par exemple, une règle pourrait dire : « Si une lettre provient d'une adresse suspecte et contient une pièce jointe étrange, signalez-la ! » Ces règles sont les gardiens de sécurité de notre ville numérique.

Pendant longtemps, seuls les détectives humains pouvaient écrire ces règles. Ils étudiaient des milliers de lettres, apprenaient les ruses du métier et rédigeaient des instructions précises pour attraper les méchants. Mais récemment, un nouveau genre de détective est arrivé : l'Intelligence Artificielle (IA). Ces agents d'IA sont comme des apprentis super rapides capables de lire des instructions et d'écrire leurs propres règles en quelques secondes. La grande question que tout le monde se pose est la suivante : ces apprentis de l'IA peuvent-ils réellement faire le travail ? Ou écrivent-ils simplement des règles qui semblent intelligentes mais qui échouent à attraper les vrais criminels, ou pire, commencent-ils à crier « Au feu ! » à des innocents ? C'est le casse-tête que une équipe de chercheurs de Sublime Security a entrepris de résoudre. Ils voulaient voir si une IA pouvait écrire des règles de sécurité aussi bien qu'un expert humain et, si oui, combien il en coûterait pour faire fonctionner cette IA.

L'article présente une nouvelle façon de tester ces détectives de l'IA, en se concentrant sur un agent d'IA spécifique nommé ADÉ (prononcé « Ah-Day »). ADÉ est conçu pour examiner un seul e-mail malveillant et écrire une règle pour attraper des e-mails malveillants similaires à l'avenir. Les chercheurs ne se sont pas contentés de demander : « Est-ce que ça fonctionne ? ». Ils ont construit un système de notation détaillé pour mesurer trois choses : la capacité de la règle à attraper les mauvais e-mails (précision), la probabilité que la règle se brise si un pirate modifie un détail infime (robustesse) et le montant d'argent nécessaire pour que l'IA écrive une règle fonctionnelle (coût économique).

Pour tester ADÉ, les chercheurs ont joué à un jeu de « cache-cache » complexe avec des règles écrites par des humains. Ils ont pris une liste d'excellentes règles créées par des humains de la collection de Sublime Security et en ont caché une secrètement de la mémoire d'ADÉ. Ensuite, ils ont montré à ADÉ un seul e-mail malveillant que la règle cachée était censée attraper et lui ont demandé : « Peux-tu écrire une règle pour attraper ceci ? ». Après qu'ADÉ a écrit sa règle, les chercheurs l'ont comparée à la règle humaine originale à l'aide d'une base de données massive de 45 000 e-mails.

Les résultats étaient un mélange de compétences impressionnantes et de limitations compréhensibles. En ce qui concerne l'écriture de règles difficiles à tromper (robustesse), ADÉ a performé de manière surprenante, obtenant un score presque aussi élevé que celui des experts humains. Par exemple, dans des tests impliquant des e-mails contenant du code JavaScript caché, les règles d'ADÉ étaient tout aussi difficiles à contourner que celles des humains. Cependant, ADÉ était beaucoup plus prudent. Alors que les experts humains écrivaient des règles larges conçues pour attraper des milliers de mauvais e-mails grâce à des années d'expérience, ADÉ écrivait des règles très étroites basées uniquement sur l'e-mail unique qui lui était présenté. En conséquence, ADÉ a attrapé moins d'e-mails malveillants au total (Vrais Positifs) mais a également commis beaucoup moins d'erreurs en signalant des e-mails sains (Faux Positifs). En fait, pour certains tests, les règles d'ADÉ n'ont généré aucune fausse alerte, alors que les règles humaines en ont parfois signalé quelques-unes.

L'étude a également examiné le « coût » de l'utilisation de l'IA. Écrire une règle n'est pas gratuit ; chaque fois que l'IA essaie d'écrire du code et échoue, cela coûte de l'argent pour faire fonctionner l'ordinateur. Les chercheurs ont constaté qu'ADÉ n'avait généralement besoin que de 1 à 3 tentatives pour écrire une règle qui passait les vérifications techniques. Cela se traduisait par un coût très faible, allant d'environ 1,51 $à 5,13$ par règle réussie, selon la complexité de la tâche. Curieusement, l'IA avait tendance à écrire des commentaires beaucoup plus détaillés expliquant sa logique que les auteurs humains, ce qui rend les règles plus faciles à lire.

En fin de compte, l'article suggère que les agents d'IA comme ADÉ deviennent capables d'écrire des règles de sécurité de haute qualité, surtout lorsqu'il s'agit d'éviter les fausses alertes et de respecter un budget. Cependant, ils ne sont pas encore prêts à remplacer entièrement les experts humains. Parce que l'IA ne voit qu'un seul e-mail à la fois, elle a du mal à écrire les règles larges et globales que les humains créent après avoir étudié des milliers de cas. Les chercheurs concluent que, bien que l'IA soit un outil puissant capable de gérer des tâches spécifiques efficacement, la meilleure sécurité provient probablement d'un partenariat où l'IA s'occupe du gros du travail de rédaction des règles, tandis que les experts humains guident la stratégie pour s'assurer que les règles lancent le filet le plus large possible.

Résumé technique : Évaluation des règles de détection générées par LLM en cybersécurité

Problématique

L'intégration des grands modèles de langage (LLM) et des agents d'IA dans les opérations de cybersécurité se heurte à un déficit de confiance significatif. Alors que les fournisseurs présentent les agents comme une révolution pour la détection, les ingénieurs expérimentés restent sceptiques, craignant la génération de « non-sens aux apparences plausibles ». Il existe une lacune critique due à l'absence de métriques standardisées et open-source pour évaluer l'efficacité des règles de sécurité générées par LLM. Sans une mesure rigoureuse, les organisations ne peuvent vérifier si un agent est capable d'accomplir le travail d'un ingénieur de détection humain, ni construire la confiance nécessaire pour déployer ces outils sans perdre de temps et d'énergie. De plus, les méthodes d'évaluation existantes pour la génération de code (par exemple, la correction fonctionnelle via des tests unitaires) et la détection d'intrusion (par exemple, la précision/rappel) ne répondent pas pleinement aux défis uniques de la génération de règles de sécurité, tels que la robustesse adversaire, le bruit opérationnel et le coût économique de la génération itérative.

Méthodologie

Les auteurs présentent un cadre d'évaluation et un benchmark open-source conçus pour mesurer la qualité des règles de cybersécurité générées par LLM par rapport à une base de référence humaine. La méthodologie utilise une approche par « ensemble de réserve » (holdout set), comparant un agent autonome à des experts humains.

L'Agent : ADÉ

Le cadre est illustré par ADÉ (Automated Detection Engineer), un système agentique développé par Sublime Security. ADÉ fonctionne selon une architecture agnostique du modèle, utilisant une base de connaissances organisée sur les meilleures pratiques de l'ingénierie de détection, les TTP et la documentation MQL, ainsi que des outils pour l'analyse dynamique de fichiers, la vision par ordinateur et la réputation de l'expéditeur.

Flux de travail : ADÉ reçoit un échantillon unique d'e-mail malveillant, l'analyse, recherche les lacunes de couverture dans les règles existantes et génère des règles de détection MQL candidates.
Raffinement itératif : Contraiment aux agents traditionnels qui luttent contre la dérive de contexte long, ADÉ emploie une boucle de rétroaction fermée. Il valide la syntaxe, exécute les règles contre l'échantillon et lance des recherches de menaces (threat hunts) sur les données historiques. Des sous-agents analysent ces résultats (Vrais Positifs, Faux Positifs et robustesse) pour fournir un feedback, permettant à ADÉ d'affiner itérativement la logique jusqu'à la convergence.

Métriques d'évaluation

Le cadre évalue les règles selon trois dimensions distinctes :

Précision de la détection :
- Utilise un ensemble de données étiquetées d'environ 45 000 e-mails (malveillants et bénins).
- Calcule un Score composite (Équation 1) qui fait la moyenne de la précision standard avec la précision des Vrais Positifs Uniques (TP non capturés par une autre règle dans le flux principal).
- Justification : En sécurité, les détections uniques sont très précieuses car elles augmentent le rappel global du système. Le cadre reconnaît la difficulté de mesurer les Faux Négatifs (les « inconnus inconnus ») et se concentre sur des métriques basées sur la précision.
Coût économique de la correction syntaxique :
- Adapte le cadre « coût-pour-réussir » (Erol et al., 2025) pour mesurer l'impact économique de la génération de règles valides.
- Calcule le Coût Total = (Coût par tentative) × (Nombre de tentatives, $k$ ).
- Utilise une métrique pass@k pour déterminer combien de tentatives sont nécessaires pour qu'un agent génère une règle MQL syntaxiquement correcte passant la validation.
Robustesse (Fragilité) :
- Développe un score heuristique de Fragilité ( $B \in [0, 100]$ ) basé sur le ratio des récompenses (motifs robustes comme les indicateurs comportementaux, le fuzzy matching) et des pénalités (motifs fragiles comme les correspondances directes de chaînes de caractères sur des IP, des domaines ou des hashs).
- Justification : Les correspondances directes sont facilement contournées par des évasions adverses triviales, tandis que les indicateurs comportementaux offrent des solutions généralisables. Le Score de Robustesse final est $1 - (B/100)$ .

Principales contributions

L'article introduit un nouveau cadre de benchmark traitant spécifiquement la génération autonome de règles de détection :

Pipeline de viabilité opérationnelle : Une évaluation de bout en bout combinant la correction fonctionnelle avec du rétro-hunting réel pour faire émerger les seuils de bruit, la maintenabilité et les garde-fous de performance.
Robustesse adversaire intégrée : Une métrique spécifique pour mesurer et fournir un feedback sur la fragilité des règles, visant à réduire les contournements adverses triviaux.
Cadre Open-Source : Les auteurs prévoient de publier le pipeline modulaire pour permettre la recherche reproductible et l'évaluation standardisée pour d'autres agents de génération de règles de sécurité (par exemple, YARA, DSL personnalisés).

Résultats

L'étude a comparé les règles générées par ADÉ aux règles écrites par des humains (issues du Sublime Core Feed) sur 11 scénarios d'attaque distincts (ex: BEC, HTML smuggling, phishing).

Portée vs Précision : Les règles d'ADÉ étaient nettement plus étroites en portée, détectant moins de messages totaux et moins de Vrais Positifs connus par rapport aux règles humaines. Cela est attribué au fait qu'ADÉ travaille à partir d'un seul échantillon d'e-mail, alors que les humains conçoivent des règles basées sur des comportements larges à travers de grands ensembles de données.
Faux Positifs : ADÉ a généré des règles avec nettement moins de Faux Positifs (souvent zéro dans l'ensemble de test), reflétant sa vision plus étroite de l'univers des menaces.
Scores de performance :
- Les règles humaines ont obtenu des scores allant de 0,711 à 0,996.
- Les règles d'ADÉ ont obtenu des scores allant de 0,557 à 1,000.
- Dans plusieurs cas (ex: « EML avec Javascript dans un fichier SVG »), ADÉ a obtenu un score plus élevé (0,998) que la base de référence humaine (0,996), grâce à une haute précision et des TP uniques.
Robustesse : Les règles d'ADÉ et les règles humaines se sont révélées « assez comparables » en termes de fragilité. Le LLM de base a réussi à combiner les outils disponibles pour produire des requêtes ayant une résilience similaire à l'évasion adverse par rapport aux experts humains.
Efficacité des coûts : La métrique pass@k était étroitement corrélée au coût réel en dollars de l'exécution du LLM. ADÉ a généralement nécessité 1 à 3 tentatives pour générer des règles syntaxiquement valides, avec des coûts allant d'environ 1,50 $à 5,13$ par règle.
Différences qualitatives : ADÉ avait tendance à générer des règles avec des commentaires plus étendus et utiles que les auteurs humains, bien que les règles humaines soient plus larges dans leur logique de couverture.

Signification et affirmations

L'article affirme que cette méthodologie fournit une évaluation réaliste et multidimensionnelle des générateurs de règles de sécurité basés sur les LLM. En allant au-delà de la simple correction fonctionnelle pour inclure le coût économique et la robustesse adversaire, le cadre offre une vue plus holistique de la viabilité opérationnelle d'un agent.

Les auteurs concluent modestement que, bien qu'ADÉ produise actuellement des règles dont le rappel est plus étroit que celui des experts humains (en raison de la contrainte de l'échantillon unique), il démontre la capacité de générer des règles de haute qualité, robustes et économiquement efficaces. Le cadre sert de fondation pour une amélioration itérative, suggérant que des travaux futurs pourraient utiliser ces métriques pour élargir la portée d'ADÉ afin de rivaliser avec le rappel humain tout en maintenant sa précision et sa robustesse. L'article ne prétend pas qu'ADÉ a pleinement remplacé les ingénieurs humains, mais plutôt qu'il est un composant viable et mesurable du flux de travail de détection qui peut être systématiquement amélioré.