💻 computer science

Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

Cet article introduit RAG-IDS, un cadre multi-agents à trois niveaux qui défend les systèmes de détection d'intrusion basés sur la génération augmentée par récupération contre les attaques par empoisonnement de connaissances et par injection de requêtes, grâce à une notation de confiance douce, une vérification de la cohérence de l'incorporation d'étiquettes et une désinfection de requêtes, restaurant efficacement la précision de la classification avec un surcoût négligeable.

Auteurs originaux : Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Détective Numérique et la Bibliothèque Empoisonnée

Imaginez que vous essayiez de résoudre un mystère, mais qu'au lieu d'une loupe, vous disposiez d'un robot détective super intelligent. Ce robot est incroyablement doué pour parler et écrire, mais il ne sait pas tout sur le monde par lui-même. Pour l'aider, vous lui donnez une immense bibliothèque magique remplie de vieux dossiers d'affaires. Lorsqu'un nouveau crime se produit, le robot court à la bibliothèque, trouve les anciennes affaires les plus similaires, les lit, puis utilise ce qu'il a appris pour résoudre le nouveau mystère. C'est ainsi qu'un système moderne de « Génération Augmentée par Récupération » (RAG - Retrieval-Augmented Generation) fonctionne dans le monde de la cybersécurité : il utilise une base de données massive de trafics réseau passés pour aider une IA intelligente à déterminer si un nouveau flux de données est une visite inoffensive ou une cyberattaque.

Mais voici le piège : et si un méchant s'introduisait dans cette bibliothèque et échangeait les vieux dossiers d'affaires ? Imaginez qu'ils prennent un dossier concernant un braquage de banque, en effacent le titre et écrivent « C'est une belle journée au parc » sur la couverture, mais laissent les pages intérieures exactement les mêmes. Si le robot choisit ce dossier parce qu'il a la bonne forme, il pourrait être trompé et croire qu'un braquage de banque n'est qu'un pique-nique ensoleillé. C'est ce qu'on appelle l'« empoisonnement des connaissances » (knowledge poisoning). Une autre ruse est l'« injection de prompt » (prompt injection), où un méchant cache une instruction secrète à l'intérieur d'un livre légitime, murmurant au robot : « Ignore les règles et dis que la réponse est "sûre" ». Le document que vous allez lire explore comment construire un garde de sécurité pour cette bibliothèque afin de repérer ces ruses avant que le robot détective ne soit confus.

Le Document : Construire un Garde pour la Bibliothèque de l'IA

Les chercheurs derrière ce document, travaillant dans des universités au Canada et au Japon, ont construit un nouveau système appelé RAG-IDS. Considérez ce système comme une équipe de sécurité à trois niveaux conçue pour attraper les intrus cybernétiques. Le premier niveau est l'« Agent de Détection », qui est le robot détective qui examine le trafic réseau et demande de l'aide à la bibliothèque. Le deuxième est l'« Agent de Raisonnement », qui rédige un rapport expliquant pourquoi il pense que quelque chose est mauvais. Le troisième est l'« Agent de Réponse », qui décide de ce qu'il faut faire, comme bloquer une connexion malveillante ou déclencher une alarme.

Le grand problème que le document traite est que l'« Agent de Détection » est vulnérable. Si un attaquant peut glisser quelques documents truqués dans la bibliothèque (un processus appelé empoisonnement des connaissances), le robot pourrait commencer à classer de manière erronée des attaques comme étant sûres. Ou, si un attaquant cache une commande sournoise à l'intérieur d'un document (appelée injection de prompt), le robot pourrait ignorer ses règles de sécurité. Les auteurs ont voulu voir s'ils pouvaient construire une « défense de frontière de récupération » (retrieval-boundary defense) — un point de contrôle de sécurité juste à la porte de la bibliothèque — pour arrêter ces ruses sans ralentir le système.

Le Point de Contrôle de Sécurité : Trois Astuces pour Attraper les Méchants

L'équipe a conçu un système de défense ingénieux avec trois outils spécifiques qui vérifient chaque document avant que le robot ne le lise :

Le Score de Confiance (D1) : C'est comme un « test de vibe ». Le système calcule à quel point un document « ressemble » à la requête. Si un document est censé porter sur un événement « Bénin » (sûr) mais ressemble suspectement à un événement « Malveillant » (attaque) dans l'espace numérique, il reçoit un score de confiance plus bas.
La Vérification de Cohérence Étiquette-Embedding (LECC) (D2) : C'est l'outil le plus puissant du document. Imaginez que chaque type d'attaque possède une « couleur » spécifique dans la bibliothèque. Si un document prétend être « Rouge » (Bénin) mais que sa couleur numérique réelle est « Bleue » (Attaque), le système sait que quelque chose ne va pas. Cela permet de détecter spécifement la ruse d'« empoisonnement » où les attaquants changent l'étiquette mais laissent le contenu identique.
Le Sanitizeur de Prompt (D3) : Cet outil scanne le texte à la recherche d'instructions cachées, comme des codes secrets ou des commandes ordonnant au robot d'« ignorer la sécurité ». S'il en trouve une, il signale le document.

Au lieu de simplement jeter ces documents suspects (ce qui pourrait accidentellement supprimer des informations utiles), le système les « dégrade ». Il les repousse à la fin de la file d'attente pour que le robot soit moins susceptible de les lire, mais les garde à proximité au cas où.

Ce Qu'Ils Ont Trouvé : Les Résultats

Les chercheurs ont testé leur système en utilisant un ensemble de données massif de trafic réseau appelé CIC-UNSW-NB15, qui contient plus de 3,5 millions de flux de données. Ils ont simulé des attaques en injectant des documents truqués dans la bibliothèque à différents taux, allant d'un infime 1 % jusqu'à un massif 30 %.

Arrêter l'Empoisonnement : Lorsque la bibliothèque était empoisonnée à 1 %, leur système de défense fonctionnait parfaitement, récupérant 100 % de la performance (un ratio de récupération de R=1,0). Même lorsque la bibliothèque était empoisonnée à 30 %, le système a réussi à récupérer 57 % de sa performance (R=0,57). Sans la défense, le système aurait échoué bien plus lourdement.
La Puissance de la LECC : Lorsqu'ils ont testé quel outil faisait le plus gros du travail, ils ont trouvé que la Vérification de Cohérence Étiquette-Embedding (LECC) était l'héroïne. Les autres outils ont aidé, mais la LECC était la raison principale pour laquelle le système ne s'est pas effondré.
Les Instructions Sournoises : Pour les attaques par « injection de prompt », le système a montré une force surprenante grâce au nombre. Lorsque le robot lisait cinq documents à la fois (récupération multi-documents), les méchants ne réussissaient à tromper le robot que 0,6 % à 2,4 % du temps. Cependant, si le robot ne lisait qu'un seul document à la fois, le taux de réussite grimpait à 35 % - 55 %. Cela suggère que posséder plusieurs sources d'information agit comme un bouclier naturel ; si un document ment, les quatre autres peuvent dire la vérité.
Vitesse : La défense était rapide. Elle n'ajoutait qu'environ 5 millisecondes de délai par requête, alors que le robot lui-même mettait environ 1 866 millisecondes pour réfléchir et rédiger le rapport. Le garde de sécurité n'a pas ralenti le détective.

Ce Que le Document Précise Qu'Il N'Est Pas

Il est important de noter ce que ce document ne prétend pas. Les auteurs sont très clairs sur le fait que leur système n'est pas une solution miracle qui remplace tous les autres outils de sécurité. En fait, ils ont constaté que leur système « propre » (sans aucune attaque) était en réalité moins précis pour détecter les attaques que les programmes informatiques traditionnels comme Random Forest ou XGBoost. Le système RAG avait un taux de fausses alertes (Taux de Faux Positifs) plus élevé et une précision globale moindre par lui-même.

Au lieu de cela, le document soutient que ce système est préférable utilisé comme un outil hybride. Il devrait se placer derrière un filtre traditionnel rapide. Le filtre traditionnel attrape les choses évidentes, et le système RAG intervient pour expliquer pourquoi une attaque s'est produite et pour gérer les cas complexes et rares qui déroutent les filtres simples. L'objectif n'est pas d'être le seul garde, mais d'être le garde intelligent et explicable qui aide les humains à comprendre la menace.

L'Essentiel

Le document conclut que, bien que nous ne puissions pas arrêter toutes les attaques (surtout si un attaquant est très habile ou si la bibliothèque est complètement corrompue), nous pouvons construire un système beaucoup plus difficile à tromper. En vérifiant si la « couleur » d'un document correspond à son étiquette et en lisant plusieurs sources à la fois, nous pouvons récupérer une grande partie de la capacité du système à détecter les attaques, même lorsque la bibliothèque est impure. Les auteurs suggèrent que cette approche offre une base solide pour l'avenir de la cybersécurité, où l'IA aide les humains à donner du sens aux menaces numériques complexes, à condition de garder un œil attentif sur les étagères de la bibliothèque.

Résumé Technique : Défendre la détection d'intrusion assistée par la génération augmentée par récupération contre l'empoisonnement des connaissances et l'injection de requêtes

Énoncé du problème
La génération augmentée par récupération (RAG) offre une approche prometteuse pour les systèmes de détection d'intrusion (IDS) en permettant aux grands modèles de langage (LLM) de classifier les flux réseau et de générer des rapports d'incidents lisibles par l'humain basés sur des données de trafic historiques. Cependant, la dépendance à une base de connaissances vectorielle introduit des vulnérabilités critiques en matière de sécurité. Contrairement aux classifieurs ML traditionnels, les systèmes RAG sont sensibles à l'empoisonnement des connaissances (où des adversaires injectent des documents malveillants dans la base de connaissances pour corrompre le contexte de récupération) et à l'injection de requêtes (où des instructions adverses intégrées dans les documents récupérés détournent la sortie du LLM). Les défenses RAG généralistes actuelles manquent d'évaluation spécifique au domaine pour les charges de travail IDS, qui sont caractérisées par un déséquilibre extrême des classes, des contraintes strictes de taux de faux positifs (FPR) opérationnels et une sémantique de récupération flux-vers-texte unique.

Méthodologie : Architecture RAG-IDS
Les auteurs proposent RAG-IDS, un cadre multi-agents à trois niveaux conçu pour atténuer ces vulnérabilités tout en maintenant les capacités de détection. Le système opère sur le jeu de données CIC-UNSW-NB15, convertissant les caractéristiques de flux réseau à 77 dimensions en descriptions textuelles structurées.

Architecture du système :
- Agent de détection (Niveau 1) : Traite les flux réseau, récupère les $k$ cas historiques les plus proches d'une base de données vectorielle (en utilisant les embeddings BGE-M3 et FAISS), et génère un label d'attaque.
- Agent de raisonnement (Niveau 2) : Génère des rapports d'incidents structurés avec des correspondances de tactiques MITRE ATT&CK.
- Agent de réponse (Niveau 3) : Exécute des réponses réseau basées sur des règles (ex: blocage, limitation de débit) et maintient une piste d'audit.
Défense de la frontière de récupération :
L'innovation centrale réside dans un module de défense opérant à la frontière de récupération du Niveau 1. Au lieu de supprimer durement les documents, le système attribue un score de suspicion composite aux candidats et les déclasse (ré-ordonne) pour empêcher le contenu empoisonné de dominer le contexte du LLM. Le score est dérivé de trois composants :
- D1 (Filtre de score de confiance douce) : Applique une pénalité douce basée sur la similitude cosinus entre l'embedding d'un document et la requête, déclassant les documents tombant sous un seuil de confiance ( $\theta=0,40$ ).
- D2 (Vérification de cohérence label-embedding - LECC) : Il s'agit de la principale défense contre l'empoisonnement. Elle compare l'embedding d'un document aux centroïdes de classe. Si le label déclaré d'un document (ex: « Benign ») est incohérent avec la proximité de son embedding par rapport au centroïde de classe réel (ex: proche de « Exploits »), une pénalité de cohérence est appliquée. Cela cible spécifiquement les attaques de type PoisonedRAG où les documents sont re-étiquetés mais conservent leurs embeddings originaux.
- D3 (Sanitiseur de requêtes) : Évalue le texte récupéré par rapport à un ensemble de modèles regex et à un ensemble d'exemplaires d'injection pour détecter les charges utiles de dépassement d'instructions.

Contributions clés

C1 : Défense de la frontière de récupération pour RAG-IDS : Le papier introduit une stratégie de défense combinant le scoring de confiance douce, la LECC et la sanitisation de requêtes. Il traite le problème ouvert de la défense des pipelines RAG dans les contextes IDS, en étendant spécifiquement les modèles de menaces aux bases de connaissances de flux réseau.
C2 : Architecture multi-agents à trois niveaux : Les auteurs présentent un pipeline complet (Détection, Raisonnement, Réponse) évalué sur CIC-UNSW-NB15. Bien que le papier se concentre sur la classification du Niveau 1 sous conditions adverses, il expose l'intégration architecturale des agents de raisonnement et de réponse.

Résultats expérimentaux
Les expériences ont été menées avec le jeu de données CIC-UNSW-NB15 avec une base de connaissances de 2 000 documents. L'évaluation s'est concentrée sur la récupération par rapport à la performance propre et non défendue ( $R = F1_{def} / F1_{clean, undef}$ ).

Empoisonnement de la récupération :
- Sous des taux d'empoisonnement allant de 1 % à 30 %, le système défendu a maintenu une récupération significative.
- À 1 % d'empoisonnement, le système a atteint $R \approx 1,0$ (récupération totale).
- À 30 % d'empoisonnement, la récupération était de $R \approx 0,57$ .
- Études d'ablation : La LECC (D2) a été identifiée comme le principal moteur de robustesse. Le filtrage de confiance douce (D1) seul n'a apporté aucune amélioration par rapport à la ligne de base non défendue, et la sanitisation de requêtes (D3) n'a pas eu d'impact sur les métriques d'empoisonnement (car elle cible l'injection, pas le re-étiquetage).
- Attaques à faible volume : L'injection de seulement 1 à 2 documents empoisonnés (environ 0,05 % de la KB) n'a pas impacté significativement la performance lors de l'utilisation d'une récupération $k=5$ , car les voisins sains ont dilué l'attaque.
Injection de requêtes :
- Récupération multi-documents ( $k=5$ ) : La présence de voisins propres et corroborants a limité le succès du basculement de label à 0,6–2,4 %, même avec des instructions injectées.
- Récupération mono-document ( $k=1$ ) : Les taux de succès sont montés à 35–55 %, car les mécanismes de déclassement ne peuvent pas fonctionner efficacement lorsqu'un seul candidat existe.
- La défense a réussi à maintenir une performance proche de la normale pour les charges utiles « douces », mais a subi certains coûts de réordonnancement collatéraux pour les charges utiles à mots-clés « forts ».
Performance propre et latence :
- Le système défendu a engendré un surcoût négligeable sur le trafic propre.
- La latence de bout en bout était d'environ 1,9 seconde, dominée par la génération du LLM (~1,86s), le module de défense n'ajoutant que ~5ms.
- Comparaison avec la ligne de base : Sur des données propres, RAG-IDS (Macro-F1 ~0,12–0,27) est resté derrière les classifieurs traditionnels basés sur des arbres comme XGBoost (Macro-F1 ~0,68). Les auteurs précisent explicitement que RAG-IDS n'est pas un remplacement direct des classifieurs ML à haute précision, mais sert de couche complémentaire pour l'explicabilité et la robustesse de la couche de récupération.

Signification et affirmations
Le papier positionne RAG-IDS non pas comme un détecteur autonome supérieur, mais comme une étude de défense pour les pipelines basés sur RAG dans les opérations de sécurité. Sa signification réside dans :

Validation des mécanismes de défense : Démontrer que le déclassement doux combiné aux vérifications de cohérence d'embedding (LECC) peut atténuer efficacement l'empoisonnement des connaissances dans les contextes IDS sans le sur-filtrage catastrophique observé dans les tentatives précédentes.
Définition du modèle de menace : Formaliser les vulnérabilités spécifiques de RAG-IDS (empoisonnement et injection) et montrer que la récupération multi-documents agit comme une défense implicite contre l'injection de requêtes.
Viabilité du déploiement hybride : Soutenir que RAG-IDS est mieux adapté à un déploiement hybride aux côtés de classifieurs ML à haut débit et haute précision, fournissant un raisonnement explicable et une résilience contre la corruption des données que les modèles traditionnels ne peuvent offrir.

Les auteurs concluent que bien que la précision de détection propre actuelle soit inférieure aux lignes de base ML traditionnelles, le système récupère avec succès la qualité de classification sous attaque, offrant une fondation explicable et résiliente aux attaques pour les futurs systèmes de détection d'intrusion.