Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

Résumé technique : Au-delà de la syntaxe : les experts en sécurité font-ils confiance aux LLM pour l'ingénierie de règles NIDS ?

Énoncé du problème
Alors que les menaces réseau évoluent avec une rapidité et une complexité croissantes (ex. : malwares polymorphes, exploits zero-day), l'ingénierie manuelle des règles de systèmes de détection d'intrusion réseau (NIDS) est devenue un goulot d'étranglement opérationnel critique. Bien que les solutions open-source comme Snort et Suricata reposent sur la détection par signature, l'efficacité de ces systèmes dépend de la qualité et de la rapidité de leurs jeux de règles. La création et la maintenance manuelles de ces jeux de règles sont laborieuses, non extensibles et sujettes à la « fatigue du SOC » en raison de taux élevés de faux positifs et de la complexité syntaxique des langages de règles. Bien que les grands modèles de langage (LLM) aient montré des promesses dans l'automatisation de la génération de règles, leur utilité pratique reste non validée. Plus précisément, il manque des preuves empiriques concernant la question de savoir si les experts en sécurité font confiance aux règles générées par les LLM, comment ils interagissent avec ces résultats, et si les règles syntaxiquement correctes sont sémantiquement déployables dans des scénarios réels.

Méthodologie
Les auteurs emploient une méthodologie centrée sur l'humain en quatre phases pour étudier la viabilité de l'ingénierie de règles NIDS basée sur les LLM :

1. Formalisation du système : Les auteurs ont mené une revue de la littérature de 11 travaux primaires et une étude préliminaire avec trois experts du domaine pour formaliser un cadre de génération ancré. Le système résultant (Figure 1) se compose d'un « Agent d'ingénierie de règles » et d'une « Boucle humaine ».

   • Entrées : L'agent ingère des données d'inventaire réseau, des inventaires de vulnérabilités (CVE, CPE) et des exploits de type Proof-of-Concept (PoC).
   • Traitement : Il utilise un moteur LLM (hébergé localement via Ollama pour garantir la confidentialité et la reproductibilité) avec un prompting basé sur des rôles et du few-shot prompting.
   • Validation : Un pipeline multi-étapes comprend un vérificateur de syntaxe (validation par compilateur natif) et un correcteur de syntaxe automatisé qui utilise un prompting adaptatif pour corriger les erreurs.
   • Humain dans la boucle (Human-in-the-Loop) : Les experts peuvent interagir avec le LLM via un prompting adaptatif pour affiner les règles de manière itérative.

2. Conception de l'étude utilisateur : L'étude a impliqué 137 participants recrutés, avec un sous-ensemble d'analyse finale de 10 experts hautement expérimentés (analystes SOC, chercheurs et ingénieurs). L'étude était structurée en trois phases : éthique/démographie, évaluation des règles (évaluation de la qualité et de la charge cognitive) et évaluation du système interactif.

   • Scénarios : Les participants ont évalué des règles générées à travers six scénarios réseau (deux synthétiques, quatre basés sur le jeu de données CIC-IDS 2017) présentant des densités de vulnérabilités et des complexités topologiques variables.
   • Tâches : Les experts ont effectué des évaluations en aveugle de la correction des règles, ont évalué l'utilité des explications générées par le LLM et ont interagi avec le système pour modifier les règles.

3. Analyse statistique : Les auteurs ont généré des règles en utilisant 27 moteurs LLM différents à travers les scénarios. Ils ont analysé la validité syntaxique, la nécessité des boucles de correction et le contenu sémantique des règles (distribution des champs, spécificité).

4. Évaluation centrée sur l'humain : Le moteur le plus performant (DeepSeek-R1 70B) a été sélectionné pour l'étude utilisateur. Les experts ont évalué la déployabilité des règles, les niveaux de confiance et l'utilisabilité du système à l'aide de l'échelle d'utilisabilité du système (SUS) et de questionnaires personnalisés.

Principales contributions

• Formalisation d'un cadre ancré : Le document formalise un système d'ingénierie de règles basé sur les LLM à l'état de l'art qui intègre des données de vulnérabilité, des PoC et un mécanisme de vérification par l'humain, comblant ainsi les lacunes de la littérature existante où le feedback humain est souvent absent.
• Caractérisation empirique de la confiance des experts : Il fournit les premières données empiriques sur la confiance des professionnels de la sécurité envers les règles NIDS générées par les LLM, révélant un décalage critique entre la validité syntaxique et la déployabilité sémantique.
• Aperçus sur les modèles d'interaction : L'étude identifie des modèles d'interaction spécifiques, des facteurs de charge cognitive et des barrières à l'utilisabilité lorsque les experts utilisent l'assistance des LLM pour l'ingénierie de règles.

Résultats
L'évaluation révèle un « paradoxe syntaxe-sémantique » :

• Syntaxe vs Sémantique : Bien que les modèles de grande taille (≥70B de paramètres) démontrent une grande compétence syntaxique (jusqu'à 87-90 % de règles valides), les petits modèles (≤4B) sont largement inefficaces. Cependant, même les meilleurs modèles nécessitent des modules de vérification et de correction de syntaxe ; seulement ~21 % des règles du meilleur modèle étaient valides dès la première tentative.
• Déployabilité sémantique : Malgré un succès syntaxique élevé, les experts ont jugé que seulement 37,5 % des règles générées étaient sémantiquement correctes et déployables. Les principales raisons de rejet étaient la faible spécificité (dépendance excessive à des variables génériques comme ANY), une forte dépendance à la correspondance de contenu pur (absence de champs tels que OFFSET, DEPTH ou de champs spécifiques au protocole), et des hallucinations logiques (ex. : associations incorrectes de ports/protocoles).
• Performance des modèles : DeepSeek-R1 70B et Llama-3.1/3.3 70B sont apparus comme les moteurs supérieurs. L'inclusion de données PoC a amélioré la précision syntaxique, mais uniquement pour les modèles capables de gérer de larges fenêtres de contexte.
• Confiance des experts et utilisabilité :
  • Le système a reçu un score SUS favorable de 67, indiquant qu'il est perçu comme utilisable et apprenable.
  • Cependant, les experts restent sceptiques quant aux capacités autonomes. Ils considèrent les LLM comme des outils de support pour la rédaction, la vérification de la syntaxe et l'explication, plutôt que comme des générateurs indépendants.
  • Adoption : Plus de 70 % des experts ont refusé de déployer les règles « telles quelles », citant la nécessité d'un raffinement humain substantiel (évaluation moyenne de l'effort : 4,25/5).
  • Charge cognitive : Bien que les experts puissent facilement identifier les défauts dans des scénarios simples, leur confiance et leur capacité à valider les règles ont diminué à mesure que la complexité du réseau augmentait, bien que les experts hautement expérimentés (3+ ans) aient maintenu une précision plus élevée dans l'identification des problèmes, même dans des contextes complexes.

Signification et affirmations
Le document affirme fournir une évaluation fondamentale des LLM dans le domaine de l'ingénierie de règles. Sa principale importance réside dans la délimitation des limites des LLM actuels : bien qu'ils puissent produire du code syntaxiquement correct, ils manquent actuellement des capacités de raisonnement profond nécessaires pour la précision sémantique et la conscience du contexte requises pour des règles NIDS prêtes pour la production.

Les auteurs concluent que la voie à suivre n'est pas la génération entièrement autonome, mais plutôt les architectures avec l'humain dans la boucle (human-in-the-loop). Ces systèmes doivent donner la priorité à l'agence de l'analyste, en utilisant les LLM pour assister la rédaction, la vérification et l'explication, tout en s'appuyant sur les experts humains pour la validation finale et la prise de décision afin d'atténuer les risques de faux positifs et d'hallucinations. Ce travail sert de feuille de route pour le développement de flux de travail d'ingénierie de règles plus robustes, fiables et alignés sur l'humain.