🤖 AI

GenTI: Benchmarking LLMs for Autonomous IDPS Rule Generation for Unseen Attacks

Cet article présente GenTI, un nouveau benchmark et cadre de travail piloté par les LLM qui exploite un ensemble de données à grande échelle de règles de détection annotées pour automatiser la génération de règles IDPS de haute qualité et sensibles au contexte, améliorant considérablement la détection d'attaques inédites tout en réduisant les faux positifs.

Auteurs originaux : Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hassan Jalil Hadi, Rehana Yasmin, Ali Shoker

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre réseau informatique soit une ville très animée, et que les systèmes de détection et de prévention des intrusions (IDPS) soient les agents de police patrouillant dans les rues. Leur travail est de repérer les méchants (les hackers) et de les arrêter.

Traditionnellement, ces agents de police travaillent avec un livre physique d'affiches « Recherché ». Si un criminel correspond à une photo dans le livre (une attaque connue), l'agent l'arrête. Mais si un criminel se présente avec un nouveau masque ou un nouveau déguisement (une attaque « zero-day » ou inédite), l'agent ne le reconnaît pas et le laisse passer.

Le problème est que la rédaction de nouvelles affiches « Recherché » est lente. Cela nécessite que des experts humains s'assoient, étudient le nouveau criminel et rédigent manuellement une description. Le temps qu'ils aient terminé, le criminel pourrait déjà avoir causé des dégâts.

Entrez en scène : GenTI, le répartiteur de police par IA.

Ce document présente un nouveau système appelé GenTI (Generative Threat Intelligence). Considérez-le comme un répartiteur d'IA super intelligent qui ne se contente pas de lire l'ancien livre « Recherché » ; il peut rédiger instantanément de nouvelles affiches « Recherché » précises pour des criminels qu'il n'a jamais vus auparavant, simplement en observant une description de leur comportement.

Voici comment cela fonctionne, décomposé en étapes simples :

1. La bibliothèque massive (Le jeu de données)

Avant que l'IA puisse apprendre, elle doit étudier. Les chercheurs ont construit une bibliothèque massive appelée GTI.

La collection : Ils ont rassemblé plus de 200 000 affiches « Recherché » réelles (des règles) provenant de bases de données policières existantes (Snort, Suricata, YARA).
L'ingrédient secret : Contrairement aux anciennes bibliothèques qui ne contenaient qu'une photo, cette bibliothèque inclut un contexte détaillé. Chaque affiche est liée à un « profil de criminel » (Cyber Threat Intelligence) qui explique qui est le méchant, quels sont ses tours et comment il opère habituellement.
L'analogie : Imaginez que chaque affiche « Recherché » ne dise pas seulement « Homme au chapeau rouge », mais aussi « Ce gars fait partie du "Gang du Chapeau Rouge", utilise un type spécifique de crochet et frappe généralement les mardis ». Ce contexte supplémentaire aide l'IA à comprendre la logique derrière la règle, et pas seulement le texte.

2. L'école de formation (La méthodologie)

L'IA (un grand modèle de langage) ne se contente pas de mémoriser ces affiches ; elle suit une école de formation rigoureuse avec quatre niveaux :

Niveau 1 (Grammaire) : Apprendre à écrire une affiche « Recherché » parfaite afin que les agents de police (le logiciel IDPS) puissent réellement la lire sans être confus.
Niveau 2 (Contexte) : Apprendre à relier l'affiche au profil du criminel (ex: « Cette règle arrête la technique de "Phishing" »).
Niveau 3 (Auto-correction) : On apprend à l'IA à penser à voix haute (Chain-of-Thought). Avant de finaliser une affiche, elle se demande : « Est-ce que cela fait sens ? Ai-je oublié un détail ? »
Niveau 4 (La double vérification) : Une boucle de « Vérification Spéciale » (Chain-of-Verification) agit comme un superviseur strict. Elle vérifie la nouvelle affiche trois fois :
1. La grammaire est-elle correcte ?
2. La logique correspond-elle au profil du criminel ?
3. Crucialement : Cette affiche va-t-elle accidentellement arrêter des innocents (Faux Positifs) ?

3. Le test de conduite (Les résultats)

Les chercheurs ont testé cette IA dans une simulation réelle. Ils lui ont donné des descriptions d'attaques nouvelles et inconnues et lui ont demandé de rédiger les règles.

L'ancienne méthode : Sans ce nouveau système, l'IA ne pouvait attraper qu'environ 45 % de ces nouvelles attaques inédites.
La méthode GenTI : Avec leur entraînement spécial et leur bibliothèque, l'IA a attrapé 87,4 % des nouvelles attaques.
Moins d'erreurs : L'ancienne méthode signalait souvent des innocents comme des criminels (taux d'erreur de 8,5 %). GenTI a réduit cela à seulement 2,3 %, ce qui signifie que la police est beaucoup plus précise.
Score global : Le système a obtenu un score presque parfait de 89,4 % lors d'un test de qualité complexe, battant même les modèles d'IA les plus célèbres (comme GPT-4) pour cette tâche spécifique.

L'essentiel

Le document affirme que GenTI est le premier système à avoir réussi à enseigner à une IA comment écrire ses propres règles de sécurité pour des menaces nouvelles et inédites en combinant une bibliothèque massive de données réelles avec un processus strict de « réflexion, vérification et correction ».

Au lieu d'attendre qu'un expert humain rédige manuellement une nouvelle règle pour chaque nouveau virus, ce système agit comme une force de police auto-évolutive capable de générer instantanément les outils nécessaires pour arrêter les nouveaux criminels dès qu'ils apparaissent.

Résumé Technique : GenTI – Évaluation des LLM pour la génération automatique de règles IDPS

1. Énoncé du Problème

Les systèmes de détection et de prévention d'intrusions (IDPS) basés sur des règles, tels que Snort et Suricata, restent le choix dominant dans les environnements de production en raison de leur précision et de leur interprétabilité. Cependant, leur dépendance à l'égard de règles créées manuellement et fondées sur des signatures limite leur adaptabilité face aux menaces émergentes et de type "zero-day". Les experts en sécurité doivent analyser manuellement les vulnérabilités et documenter les schémas d'attaque pour créer des règles, un processus qui ne peut suivre le rythme de la sophistication des attaques modernes, lesquelles emploient souvent l'obfuscation et des vulnérabilités non divulguées.

De plus, les jeux de données publics existants (par exemple, CICIDS2017, UNSW-NB15) sont principalement conçus pour la classification du trafic au niveau du flux ou de l'en-tête. Ils manquent d'informations structurées au niveau de la charge utile (payload), de métadonnées de règles et de cartographies de l'intelligence sur les cybermenaces (CTI) nécessaires pour entraîner les grands modèles de langage (LLM) à la synthèse automatique de règles. Par conséquent, il existe une lacune critique en termes de :

Données : L'absence d'un jeu de données de référence à grande échelle, disponible publiquement, et adapté à la génération de règles IDPS, incluant la sémantique de la charge utile et le contexte CTI.
Méthodologie : Les méthodes existantes de génération automatique de règles échouent souvent à capturer les comportements au niveau de la charge utile ou manquent de mécanismes systématiques pour vérifier la correction syntaxique et sémantique des règles générées.
Évaluation : Un manque de vérification systématique pour déterminer si les règles générées automatiquement peuvent fonctionner avec des taux de faux positifs acceptables dans des environnements de production réalistes.

2. Méthodologie

Les auteurs proposent GenTI (Generative Threat Intelligence), un cadre comprenant un nouveau jeu de données de référence (GTI) et un pipeline piloté par LLM pour générer, affiner et vérifier les règles IDPS.

A. Le jeu de données GTI

Le jeu de données GTI est un corpus enrichi par la CTI agrégeant plus de 200 000 règles :

Plus de 150 000 règles IDPS : Agrégées à partir de Snort, Suricata et Emerging Threats.
Plus de 50 000 règles YARA : Axées sur les signatures au niveau de la charge utile.

Caractéristiques clés de GTI :

Schéma structuré : Les règles sont normalisées dans un format unifié contenant des caractéristiques d'en-tête (IP, ports, protocoles), des caractéristiques de flux et des caractéristiques de charge utile.
Enrichissement CTI : Chaque règle est mappée vers des sources de renseignement externes, incluant MITRE ATT&CK (tactiques/techniques), D3FEND (techniques défensives), CVE/CWE, AlienVault OTX et MISP.
Annotation du contexte et des relations de règles (RCRA) : Annotations liant les règles à des contextes d'attaque spécifiques, des familles de malwares et des types de réponses exploitables (alerte, rejet, blocage).
Ingénierie de prompt : Le jeu de données comprend des prompts structurés (descriptions de type analyste) et des sorties cibles (règles canoniques), ainsi que des raisonnements de type "Chain-of-Thought" (CoT) et des annotations de "Chain-of-Verification" (CoVe).

B. Le pipeline du cadre GenTI

Le cadre fonctionne comme un pipeline de bout en bout transformant les prompts de l'analyste et les charges utiles malveillantes en règles vérifiées :

Prétraitement et construction de prompt : Les prompts de l'analyste et les charges utiles malveillantes représentatives sont analysés pour extraire des caractages (ex: en-têtes HTTP, marqueurs C2). Ils sont convertis en prompts structurés ( $P_{struct}$ ) et en prompts textuels ( $P_{user}$ ).
Synthèse de règles basée sur le LLM : Un LLM (spécifiquement le modèle DeepSeek-7B affiné) génère une règle candidate initiale ( $r_0$ ) et une trace CoT ( $C_0$ ) basée sur les prompts et le contexte CTI.
Cartographie de l'intelligence sur les menaces : Le système interroge le magasin CTI pour mapper la règle générée à des techniques ATT&CK spécifiques, des IoC et des familles de malwares.
Boucle d'affinement itératif : La règle candidate est évaluée par rapport à un trafic malveillant et bénin. Un mécanisme de rétroaction ( $F_{k+1}$ ) est généré basé sur des métriques (taux de détection, faux positifs, validité syntaxique) pour affiner la règle lors des itérations suivantes.
Chaîne de vérification (CoVe) : Un processus de vérification en trois étapes est appliqué à la meilleure candidate :
- Vérification syntaxique : Assure la compatibilité avec les moteurs Snort/Suricata.
- Vérification logique : Valide la cohérence entre les conditions de la règle et le contexte ATT&CK/CTI mappé.
- Analyse des faux positifs : Rejoue le trafic bénin pour s'assurer que la règle ne déclenche pas d'alertes excessives.
Apprentissage curriculaire (Curriculum Learning) : Le processus d'entraînement utilise un curriculum multi-étapes, commençant par des règles simples basées uniquement sur l'en-tête et introduisant progressivement des motifs de charge utile complexes et des cartographies CTI denses pour stabiliser l'entraînement et améliorer la généralisation.

3. Contributions Clés

Jeu de données de référence GTI : Le premier corpus à grande échelle, enrichi par la CTI, conçu pour la génération de règles NIDPS basée sur les LLM, consolidant plus de 200k règles avec des métadonnées riches, des cartographies CTI et RCRA.
Génération de règles au niveau de la charge utile : La capacité de traduire des signatures de charge utile de type YARA en une logique compatible avec les IDPS, permettant la génération automatique de règles de détection et de prévention (drop/reject) au niveau de la charge utile.
Pipeline d'entraînement en quatre étapes : Une méthodologie novatrice comprenant :
- L'ancrage syntaxique via l'apprentissage de la structure des règles.
- L'enrichissement sémantique via le raisonnement CoT augmenté par la CTI.
- La vérification pilotée par CoVe pour la réduction des faux positifs.
- L'intégration de pleine complexité via l'apprentissage par transfert.
Évaluation en temps réel : Un cadre d'évaluation complet testant les règles générées sur des moteurs open-source (Snort/Suricata) en utilisant un trafic réaliste, mesurant la précision syntaxique, la similitude sémantique, la couverture CTI et l'efficacité de la sécurité.

4. Résultats Expérimentaux

Le modèle GenTI (DeepSeek-7B affiné) a été évalué par rapport à des bases de référence solides, incluant GPT-4o, LLaMA-3-8B et Mistral-7B, sur un ensemble de test réservé.

Métriques de performance :

Score composite de qualité de règle : GenTI a atteint 89,4 %, surpassant de manière significative les bases de référence (ex: GPT-4o à 80,4 %, LLaMA-3-8B à 71,6 %).
Couverture CTI : A atteint 94,8 %, indiquant un alignement supérieur avec les cadres d'intelligence sur les menaces par rapport aux bases de référence (~75–83 %).
Précision syntaxique : 89,5 % des règles générées étaient syntaxiquement valides sans correction manuelle.
Similitude sémantique : 87,2 % de correspondance avec les règles de référence des experts-analystes.

Détection d'attaques inconnues :

Taux de détection : La capacité à détecter des attaques auparavant inconnues est passée de 45 % (base de référence) à 87,4 % (GenTI).
Taux de faux positifs : Réduit de 8,5 % à 2,3 %, démontrant que la boucle CoVe affine efficacement les frontières de décision sans sacrifier la précision.

Étude d'ablation :
L'étude a confirmé que l'ajustement fin par QLoRA a apporté le gain de performance individuel le plus important. L'apprentissage curriculaire a ensuite amélioré la similitude sémantique et l'efficacité de la sécurité, tandis que les augmentations CoT/CoVe ont été critiques pour réduire les erreurs résiduelles et améliorer la robustesse.

5. Signification et Revendications

L'article affirme que GenTI établit le premier benchmark à grande échelle qui couple étroitement la CTI au niveau des règles avec l'automatisation basée sur les LLM. Sa principale importance réside dans la possibilité de créer des systèmes IDPS adaptatifs et auto-évolutifs.

Contra-irement aux approches précédentes qui se contentent de reproduire des signatures existantes ou se concentrent sur la classification du trafic, GenTI démontre que les LLM peuvent agir comme des agents conscients de la CTI pour :

Générer de nouvelles règles fondées sur l'intelligence sur les menaces pour des attaques inconnues.
Opérer avec une haute correction syntaxique et de faibles taux de faux positifs dans des environnements de type production.
Combler le fossé entre le trafic réseau brut et une logique de prévention actionnable et vérifiée.

Les auteurs concluent que leur travail fait progresser le domaine au-delà de la simple copie de signatures, offrant une voie viable pour automatiser la maintenance et l'expansion des bases de règles IDPS face à l'évolution des menaces réelles.