🤖 machine learning

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

Cet article présente RAGuard, un cadre de défense à deux couches pour les systèmes de génération augmentée par récupération qui combine l'ajustement fin d'un récupérateur adverse avec un correctif d'inférence à connaissance nulle (ZKIP) sans étiquette et en boîte noire afin de neutraliser efficacement les attaques par empoisonnement de données factuelles tout en maintenant une grande précision de récupération.

Auteurs originaux : Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Publié 2026-07-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui sait presque tout, mais qui est aussi un peu distrait et qui invente parfois des choses. Pour l'aider à se souvenir des dernières nouvelles et des faits, vous lui donnez une bibliothèque magique où il peut chercher des réponses avant de parler. Cette configuration est appelée Génération Augmentée par Récupération, ou RAG pour faire court. C'est comme donner une antisèche à un génie pour qu'il n'ait pas à compter uniquement sur sa mémoire. Mais voici le piège : et si un farceur sournois s'introduisait dans cette bibliothèque pour remplacer les vrais livres par des faux remplis de mensonges ? Si le robot fait confiance à ces faux livres, il vous donnera de mauvaises réponses, et il pourrait même ne pas se rendre compte qu'il a été trompé. C'est ce qu'on appelle l'« empoisonnement de données » (data poisoning), et c'est une grande préoccupation pour quiconque utilise ces systèmes intelligents pour des choses importantes comme des conseils médicaux ou des faits juridiques.

Rencontrez maintenant RAGuard, la nouvelle équipe de super-héros de l'article conçue pour protéger cette bibliothèque magique. Les chercheurs ont construit un système de défense à deux couches pour arrêter ces menteurs dans leur élan. La première couche est comme un videur robuste à la porte de la bibliothèque. Ce videur a été entraîné en lisant des milliers de faux livres afin de pouvoir repérer l'« ambiance » d'un mensonge et les expulser avant même qu'ils n'atteignent le robot. Mais le videur n'est pas parfait ; parfois, un très bon faux livre parvient à se faufiler. C'est là que la deuxième couche intervient : un détective astucieux nommé ZKIP (Zero-Knowledge Inference Patch). ZKIP n'a pas besoin d'une liste de menteurs connus ou d'une « clé de correction ». Au lieu de cela, ZKIP joue au jeu du « et si ? ». Pour chaque livre que le robot est sur le point de lire, ZKIP demande : « Que dirait le robot si nous n'avions pas ce livre spécifique ? » Si le retrait d'un livre fait que la réponse du robot change soudainement ou devient beaucoup plus confuse, ZKIP sait que ce livre est probablement un menteur et le jette.

Les chercheurs ont testé ce système sur un ensemble massif de questions et ont obtenu des résultats incroyables. Lorsque nous avons rempli la bibliothèque de faux livres (jusqu'à 30 % du total), le videur seul pouvait en attraper certains, mais pas tous. Cependant, lorsqu'ils ont ajouté le détective ZKIP à l'équipe, le système est devenu presque parfait dans leurs tests. Dans chaque série de tests où la défense était active, ZKIP a fait descendre le « taux de réussite de l'attaque » à 0,000, ce qui signifie qu'aucune ruse réussie n'a été détectée parmi les échantillons spécifiques qu'ils ont testés. Il est important de noter que ce résultat s'applique aux échantillons testés et ne garantit pas que le robot ne donnera jamais de mauvaise réponse dans tous les scénarios possibles du monde réel. Le seul coût ? Le robot a dû faire un peu plus de réflexion. Pour chaque question, il a dû lire les livres 6 fois (une fois avec tous les livres, puis une fois pour chaque livre pour voir ce qui se passe s'il manque) afin de s'assurer qu'il n'était pas trompé. Bien que cela prenne plus de temps, les chercheurs ont montré que le robot trouvait toujours les bonnes réponses aussi souvent que dans une bibliothèque propre, prouvant que l'on peut avoir à la fois la sécurité et la précision.

Cependant, l'article prend soin de souligner là où ce bouclier pourrait présenter des failles. Le système fonctionne mieux lorsque les faux livres tentent de changer les faits (comme dire que « le ciel est vert » au lieu de « bleu »). Il rencontre des difficultés si le farceur utilise un groupe de faux livres qui racontent tous le même mensonge ensemble, car retirer un seul d'entre eux ne change pas l'avis du robot. De plus, le système est conçu pour les faits, pas pour les opinions ; si la question porte sur ce que les gens pensent plutôt que sur ce qui est vrai, le détective pourrait être confus car les réponses des gens varient naturellement. Les chercheurs ont également noté que leurs faux livres ont été créés en réécrivant du texte réel pour garder les mêmes mots-clés, ce qui signifie qu'un outil de recherche plus simple qui cherche simplement des mots correspondants (comme une recherche par mots-clés basique) n'a pas été dupe. Cela suggère que, bien que RAGuard soit un nouvel outil puissant, la bataille contre les menteurs rusés est continue, et les travaux futurs devront le tester contre des attaques plus intelligentes et plus coordonnées.

Résumé Technique : RAGuard

Énoncé du Problème

Les systèmes de Génération Augmentée par Récupération (RAG) ancrent les Grands Modèles de Langage (LLM) dans des corpus externes pour fournir des informations actualisées et vérifiables. Cependant, cette dépendance crée une vulnérabilité critique : l'empoisonnement de corpus. Un adversaire disposant d'un accès en écriture au corpus de récupération peut injecter des passages malveillants contenant des faits fabriqués, des contradictions ou un raisonnement corrompu. Ces documents empoisonnés, même en petites quantités (5 à 30 % du corpus), peuvent être récupérés et utilisés par le générateur pour produire des réponses trompeuses ou fausses.

Les défenses existantes souffrent de lacunes structurelles :

Les filtres basés sur la détection reposent sur des exemples de poison étiquetés ou des heuristiques, échouant face à de nouveaux styles d'attaque.
Le durcissement du générateur entraîne des coûts d'inférence élevés et se dégrade lorsque les passages empoisonnés dominent le contexte.
Les récupérateurs entraînés de manière adversaire risquent de surapprendre (overfitting) des types de poisons synthétiques spécifiques vus durant l'entraînement et ne peuvent garantir l'élimination du succès de l'attaque.

Aucun mécanisme actuel ne couvre efficacement à la fois les étapes de récupération et de génération sans nécessiter de réponses de vérité terrain ou d'étiquettes de poison.

Méthodologie : RAGuard

RAGuard introduit un cadre de défense à deux couches conçu pour fonctionner sans étiquettes de poison, sans réponses de vérité terrain et sans accès aux internes du modèle (boîte noire).

Couche 1 : Récupérateur Entraîné de Manière Adversaire

La première couche se concentre sur la défense proactive lors de l'étape de récupération.

Données d'entraînement : Des documents empoisonnés synthétiques sont générés à l'aide de LLM pour créer trois familles d'attaques : la fabrication (énoncés hallucinés), la contradiction (inversion de jetons factuels) et les pièges de raisonnement (étapes logiques trompeuses).
Mécanisme : Un récupérateur dense (initialisé à partir de all-MiniLM-L6-v2) est affiné (fine-tuned) en utilisant une perte de marge de triplet (triplet margin loss). Il apprend à distinguer les passages d'or de leurs réécritures adverses spécifiques, déclassant le contenu malveillant avant qu'il n'atteigne le générateur.
Limitation : Cette couche est limitée aux distributions de poison vues lors de l'entraînement et peut ne pas se généraliser à des styles d'attaque ou des domaines non vus.

Couche 2 : Patch d'Inférence à Connaissance Nulle (ZKIP)

La seconde couche est un filtre réactif, sans étiquette, opérant au moment de la génération. Elle fonctionne comme un filet de sécurité autoréférentiel.

Mécanisme : Pour une requête $q$ $q$ et un ensemble de $k$ $k$ documents récupérés $D = \{d_i\}$ $D = {d_{i}}$ , ZKIP effectue une analyse de type Leave-One-Out (LOO) (exclusion d'un élément) :
1. Générer une réponse de référence $y_{all}$ en utilisant le contexte complet $D$ .
2. Générer une réponse contrefactuelle $y_{-i}$ pour chaque document $d_i$ en le retirant du contexte.
Scoring : Un document est marqué comme anomal si son retrait induit un décalage sémantique significatif dans la réponse ou une réduction de l'entropie de sortie (incertitude). Le score d'anomalie $A_i$ est calculé comme suit :
$A_i = (1 - s_i) + \lambda [\Delta H_i]_+$
Où $s_i$ est la similitude cosinus entre les plongements (embeddings) de la réponse de référence et de la réponse contrefactuelle, et $\Delta H_i$ est le différentiel d'entropie.
Action : Les documents présentant les scores d'anomalie les plus élevés sont supprimés avant la passe de génération finale.
Propriété Clé : ZKIP ne compare pas avec une réponse d'or ou une étiquette de poison ; il repose uniquement sur la stabilité de la propre sortie du modèle sous des contextes contrefactuels.

Contributions Clés

Filtre Sans Étiquette et Boîte Noire : ZKIP est le premier filtre au moment de l'inférence qui ne nécessite ni étiquettes de poison, ni réponses d'or, ni internes du modèle. Il réduit le Taux de Succès d'Attaque (ASR) à 0.000 sur toutes les configurations testées sur le jeu de données Natural Questions (NQ).
Défense par Couches avec Contributions Mesurées : L'article démontre que l'entraînement du récupérateur de manière adversaire réduit mais n'élimine pas l'ASR (laissant un succès résiduel de 0,072 pour 10 % d'empoisonnement). ZKIP seul élimine l'ASR mais peut légèrement dégrader la qualité de la récupération. La combinaison préserve la haute qualité de classement du récupérateur entraîné de manière adversaire tout en atteignant un succès d'attaque nul.
Délimitation du Modèle de Menace : L'étude établit que les poisons préservant les mots-clés (réécritures par LLM qui altèrent la sémantique mais conservent les mots-clés) laissent les récupérateurs lexicaux comme BM25 largement peu affectés (ASR 0,000 à 5–20 % d'empoisonnement). Cela délimite la frontière du modèle de menace, montrant que les attaques exploitent spécifiquement les sémantiques des plongements denses.

Résultats Expérimentaux

Évalué sur des variantes empoisonnées de Natural Questions (NQ) et BEIR (NFCorpus) avec des ratios de poison de 5 % à 30 % :

Taux de Succès d'Attaque (ASR) : ZKIP ramène l'ASR mesuré à 0,000 pour chaque configuration défendue (récupérateurs propres et entraînés de manière adversaire) à 10 % et 30 % d'empoisonnement sur NQ.
Qualité de Récupération : La défense maintient une haute qualité de récupération. À 10 % d'empoisonnement, le récupérateur entraîné de manière adversaire et défendu atteint un Recall@5 de 0,314, contre 0,319 pour la version non défendue (une baisse de seulement 0,005). Cela reste à moins de 0,03 de la ligne de base du corpus propre (0,282).
Ligne de Base BM25 : Sans défense, BM25 montre un ASR proche de zéro (0,000 à 5–20 % d'empoisonnement) car les poisons synthétiques préservent les mots-clés, confirmant que la menace est spécifique à la récupération dense.
Structure Apprenable : Une analyse supervisée confirme que les signaux contrefactuels utilisés par ZKIP (stabilité de la réponse et décalages d'entropie) contiennent une structure de poison apprenable, validant la base théorique de l'approche.

Signification et Revendications

L'article positionne RAGuard comme une étape significative vers des systèmes RAG robustes en abordant les "lacunes structurelles" des défenses existantes. Sa principale importance réside dans :

Sécurité Autoréférentielle : En s'appuyant sur la stabilité de la propre sortie du modèle plutôt que sur des étiquettes externes, ZKIP est applicable à des types d'attaques non vus qui contournent les simulations de l'entraînement.
Modularité : Le cadre permet de remplacer indépendamment les récupérateurs, les générateurs et les couches de défense.
Compromis Pratiques : Les auteurs reconnaissent le coût computationnel ( $k+1$ passes de générateur par requête, par exemple 6× de surcharge pour $k=5$ ) mais proposent le lotage (batching) et des approximations d'arrêt précoce pour atténuer la latence.

Limites et Portée

L'article est modeste dans ses revendications, affirmant explicitement que :

Portée : La défense cible la réponse à des questions factuelles sous l'empoisonnement de la récupération dense. Elle exclut explicitement la manipulation d'opinions, le détournement de prompt (prompt hijacking) et les attaques de gradient boîte blanche.
Attaques Coordonnées : ZKIP en passage unique est structurellement aveugle aux coalitions multi-poisons coordonnées où plusieurs documents empoisonnés se renforcent mutuellement ; la suppression d'un seul ne change pas la réponse. Un protocole de suppression itérative est proposé mais n'est pas pleinement évalué.
Faux Positifs : Le filtre peut signaler des documents bénins mais exprimant une opinion ou hors distribution, entraînant une légère réduction du Recall@5.
Fragilité de la Distribution : Le récupérateur entraîné de manière adversaire peut faire du surapprentissage (overfitting) sur les familles de poisons synthétiques spécifiques utilisées pendant l'entraînement et peut ne pas se généraliser à des domaines non vus (ex: corpus médical BEIR) ou à des attaques optimisées par gradient.
Évaluation : L'ASR de 0,000 reflète l'ensemble spécifique d'attaques et d'échantillons testés, et non une garantie universelle. L'évaluation repose sur des réécritures synthétiques par LLM plutôt que sur des injections adverses optimisées par gradient (ex: PoisonedRAG), ce qui pourrait sous-estimer la force des attaques réelles.

Les auteurs concluent que bien que RAGuard élimine efficacement le succès d'attaque mesuré dans leur modèle de menace spécifique, les travaux futurs doivent aborder les attaques multi-poisons coordonnées, les bases d'attaque standardisées (PoisonedRAG, FlippedRAG) et la réduction supplémentaire de la surcharge d'inférence.