DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

Résumé Technique : DEFENGRAPH

Énoncé du Problème
Les modèles de langage de grande taille (LLM) sont prometteurs pour la prise de décision en cybersécurité, mais ils souffrent de limitations critiques dans les environnements à enjeux élevés et en constante évolution. Plus précisément, ils sont sujets aux hallucinations, peinent avec le raisonnement temporel et manquent d'ancrage dans des contextes système spécifiques. Les approches traditionnelles de Génération Augmentée par Récupération (RAG), qui reposent sur une similitude de surface ou basée sur des plongements (embeddings), récupèrent souvent des documents non pertinents (par exemple, récupérer un ticket d'incident Windows pour une alerte Linux) qui troublent le raisonnement du LLM. De plus, les données de cybersécurité se caractérisent par un faible rapport signal/bruit, contenant de vastes quantités de journaux bénins ou trompeurs (par exemple, des mots de passe mal orthographiés) que les méthodes de récupération par Graphe de Connaissances (KG) standard ne parviennent pas à filtrer efficacement. Le défi central est de créer un système capable d'ancrer les sorties du LLM à la fois dans une connaissance métier à long terme et dans des contextes d'événements évolutifs en temps réel afin de fournir des stratégies de défense fidèles et temporellement conscientes.

Méthodologie : Le Framework DEFENGRAPH
Les auteurs proposent DEFENGRAPH, un framework RAG amélioré par un Graphe de Connaissances à double couche, conçu pour soutenir les défenseurs de l'équipe bleue (Blue Team). Le système intègre des représentations de connaissances structurées avec la génération basée sur LLM via le pipeline suivant :

1. Construction du Graphe de Connaissances à Double Couche :

   • Graphe de Connaissances Statique (SKG) : Encode les connaissances d'infrastructure à long terme, l'architecture du système, les comportements typiques des attaquants et les playbooks défensifs historiques dérivés des plans de cyber-ranges et de la documentation.
   • Graphe de Connaissances Dynamique (DKG) : Capture les événements de sécurité en évolution temporelle, les traces d'attaquants et les actions de tickets des défenseurs enregistrées lors d'exercices en direct. Les nœuds incluent des alertes, des tickets, des IP et des fichiers, avec des arêtes codant des relations temporelles et sémantiques.

2. Processus de Récupération Basé sur le Graphe (GRP) :
   Lors de la réception d'une alerte SIEM (Wazuh), le système construit un graphe de requête et récupère les sous-graphes pertinents du SKG et du DKG en utilisant :

   • Correspondance de Triples Sémantique (STM) : Utilise des modèles de langage pré-entraînés pour encoder et faire correspondre les triples (entité, relation, entité) entre la requête et la base de connaissances.
   • Score de Propagation de Chemin (PMC) : Agrège les caractéristiques des triplets voisins pour calculer des scores de correspondance de chemin, identifiant les chemins les plus probablement pertinents.
   • Composition de Sous-graphe : Fusionne les chemins correspondant le mieux pour former des sous-graphes, échantillonnant des voisins à 2 sauts pour capturer le contexte environnant.

3. Filtrage Contextuel et Reclassement par LLM :
   Pour traiter le bruit inhérent aux sous-graphes récupérés, DEFENGRAPH emploie deux modules pilotés par LLM :

   • Filtre Contextuel (CF) : Évalue les chemins récupérés par rapport au contexte spécifique de l'alerte pour scorer et sélectionner les entités et les chemins les plus pertinents, filtrant ainsi les nœuds « gris » non pertinents.
   • Re-classeur de Raisonnement (Reasoning Re-ranker) : Réordonne les chemins filtrés en fonction de leur pertinence vis-à-vis de l'alerte et des connaissances historiques, en incorporant une Attribution de Poids Temporel. Cela attribue des poids plus élevés aux entités proches dans le temps de la requête, garantissant que le système donne la priorité aux menaces récentes et évolutives.

4. Génération d'Activités de Défense :
   Les chemins de raisonnement finaux et classés sont intégrés dans le prompt du LLM pour générer des stratégies de mitigation exploitables et sensibles au contexte, qui s'alignent sur les pratiques défensives humaines.

Contributions Clés

• Framework DEFENGRAPH : Un nouveau framework KG-RAG temporel qui combine les connaissances statiques du domaine avec des données d'événements dynamiques en temps réel pour générer des stratégies de défense sensibles au contexte.
• Dataset ACDC Cyber Range : La construction et la publication d'un ensemble de données de cybersécurité complet dérivé d'exercices réels de Red vs Blue team dans un environnement de port maritime simulé. Il comprend plus de 8,2 millions de journaux de pare-feu, 6,1 millions d'alertes Wazuh, 326 tickets de réponse aux incidents et des traces de Red Team, représentant une source de données réaliste, bruitée et hétérogène.
• Gains de Performance : Démonstration que DEFENGRAPH améliore significativement la fidélité et l'interprétabilité des sorties de LLM à travers plusieurs modèles (GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3), produisant des recommandations de défense qui s'alignent plus étroitement sur la vérité terrain rédigée par des humains.

Résultats Expérimentaux
Le framework a été évalué sur le dataset ACDC en utilisant quatre LLM de pointe et comparé à des bases de référence incluant LLM-only, Hybrid RAG et GraphRAG. Les principales conclusions incluent :

• Rappel de Raisonnement (RAR) : Sur GPT-4o, DEFENGRAPH a amélioré le rappel de raisonnement de 61,45 % (SKG seul) à 73,49 % (Complet). Des gains similaires ont été observés sur d'autres modèles (ex. LLaMA-3 : 46,99 % → 61,45 %).
• Rappel d'Action de Ticket (TAR) : Le système a récupéré une proportion nettement plus élevée d'actions de défense de vérité terrain. Sur GPT-4o, le TAR est passé de 52,17 % à 72,46 %.
• Précision et Taux de Faute : Bien que la précision (TAP) ait connu des gains modérés (24,49 % → 29,24 % sur GPT-4o), le système a maintenu un faible taux d'action erronée (inférieur à 4 %), les erreurs consistant principalement en des sur-réactions ou des faux positifs facilement identifiables par les défenseurs humains.
• Robustesse au Démarrage à Froid (Cold-Start) : Dans les scénarios sans historique de ticket préalable (réinitialisation du DKG), le système a maintenu de fortes capacités de raisonnement, bien que le rappel d'action ait chuté, soulignant l'importance du contexte dynamique pour l'alignement précis des actions.
• Études d'Ablation : Les résultats ont confirmé que les deux graphes, Statique et Dynamique, sont essentiels ; supprimer le DKG a réduit le TAR d'environ 20 %, tandis que supprimer le SKG a provoqué une chute d'environ 25 %, démontrant la nécessité de la structure historique et du contexte en temps réel.

Signification
L'article positionne DEFENGRAPH comme une solution de pointe pour le support à la décision en cybersécurité ancré et temporellement conscient. Contrairement aux systèmes basés sur les KG précédents qui se concentrent sur la détection d'intrusion, le traçage d'attaque ou la structuration de l'intelligence sur les menaces, DEFENGRAPH cible directement la génération de étapes de mitigation exploitables et alignées sur les tickets. En intégrant un graphe à double couche avec un filtrage et un reclassement par LLM, le framework répond à la fragilité du RAG traditionnel dans des domaines structurés et bruités, permettant aux LLM de fournir un raisonnement fidèle qui reflète à la fois la topologie statique du système et l'évolution dynamique d'une attaque. Les auteurs affirment que cette approche comble le fossé entre la compréhension assistée par KG et l'orientation opérationnelle utile pour les équipes Bleues.