💬 NLP

SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning

L'article présente SilentRetrieval, une attaque par empoisonnement de données en deux étapes qui détourne les systèmes de génération augmentée par la récupération en injectant des documents adverses soigneusement conçus pour maintenir un classement élevé dans les résultats de récupération et manipuler avec succès les sorties des grands modèles de langage tout en échappant à la détection grâce au maintien de la cohérence sémantique.

Auteurs originaux : Jiachen Qian

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiachen Qian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un système de Génération Augmentée par la Récupération (RAG) comme un bibliothécaire très intelligent, mais légèrement oublieux. Lorsque vous posez une question, ce bibliothécaire ne se contente pas de s'appuyer sur sa propre mémoire (qui pourrait être obsolète ou inventer des choses) ; il se précipite rapidement vers une immense bibliothèque de livres (le « corpus ») pour trouver les pages les plus pertinentes, les lire, puis rédiger une réponse pour vous basée sur ce qu'il a trouvé.

L'article « SilentRetrieval » décrit une nouvelle méthode sournoise pour pirater ce bibliothécaire. Au lieu de crier ou de briser les vitres de la bibliothèque (ce qui serait évident), l'attaquant glisse un seul livre faux, parfaitement rédigé, sur les étagères. Lorsque le bibliothécaire cherche la réponse, il trouve d'abord ce livre faux, le lit, puis vous dit avec assurance un mensonge qui semble tout à fait vrai.

Voici comment fonctionne l'attaque, décomposée en étapes simples :

1. Le Problème : La Bibliothèque « Faites-moi confiance »

Le bibliothécaire fait confiance aux livres sur les étagères. Si les livres sont fiables et précis, le bibliothécaire donne de bonnes réponses. Mais si quelqu'un glisse un faux livre qui ressemble exactement à un vrai, le bibliothécaire pourrait saisir ce faux livre plutôt que les faits réels, conduisant à une « hallucination » (un mensonge assuré).

2. L'Attaque : « SilentRetrieval »

Les chercheurs ont créé une méthode en deux étapes pour créer ce faux livre sans se faire prendre.

Étape 1 : Le « Ajustement Parfait » (Recherche par Faisceau Coordonnée)
Imaginez que vous vouliez remplacer un paragraphe dans une entrée d'encyclopédie réelle par un mensonge, mais que vous ne pouvez pas simplement griffonner des absurdités par-dessus, sinon le bibliothécaire le jettera immédiatement.

L'Ancienne Façon : Les pirates précédents écrivaient du charabia ou des absurdités évidentes. Le « filtre de fluidité » du bibliothécaire (un outil qui vérifie si le texte semble naturel) le repérait instantanément et le rejetait.
La Façon SilentRetrieval : L'attaquant utilise un algorithme sophistiqué pour modifier les mots d'un vrai article juste assez pour y inclure son mensonge, tout en conservant une structure de phrase et un flux si fluides qu'il ressemble toujours à une entrée d'encyclopédie normale. C'est comme modifier une recette pour dire « ajoutez du poison » au lieu de « ajoutez du sel », mais en le faisant si subtilement que la recette ressemble toujours à un plat normal et délicieux.
L'Objectif : S'assurer que le faux livre reste le plus pertinent que le bibliothécaire trouve lorsque vous recherchez le sujet.

Étape 2 : La « Transition Fluide » (Génération de Déclencheurs Adaptatifs au Contexte)
Une fois le faux paragraphe prêt, l'attaquant doit s'assurer que le bibliothécaire croit réellement au mensonge en le lisant.

Au lieu de simplement coller une phrase aléatoire à la fin (comme « Le ciel est vert ! »), le système utilise une autre IA pour rédiger une phrase « déclencheur » qui s'intègre parfaitement au faux paragraphe.
Elle ressemble à une conclusion naturelle ou à un « fait vérifié » qui correspond au ton de l'article. C'est la différence entre un mot maladroit collé sur une page et une phrase qui s'écoule naturellement comme faisant partie de l'histoire.

3. Les Résultats : Quelle est l'Efficacité du Piratage ?

Les chercheurs ont testé cela sur deux immenses bibliothèques numériques (l'une contenant 361 000 pages et l'autre 8,8 millions).

Furtivité : Les faux documents étaient presque indistinguables des vrais. Lorsque des examinateurs humains les ont regardés, ils les ont signalés comme « suspects » seulement environ 15 % du temps, contre 83 % pour les anciennes méthodes de piratage maladroites. Pour un ordinateur vérifiant les « motifs de mots étranges », les faux livres semblaient presque aussi normaux que les vrais livres.
Succès : Lorsque le bibliothécaire a été interrogé, le faux livre a été trouvé 84,6 % du temps (dans la petite bibliothèque). Une fois trouvé, le bibliothécaire a cru au mensonge et a donné la mauvaise réponse 57,5 % du temps.
Le Test de la « Grande Bibliothèque » : Même lorsqu'ils ont testé cela dans une bibliothèque de 21 millions de pages (une échelle énorme), le faux livre a encore atteint le sommet des résultats de recherche 74,2 % du temps.

4. La Défense : Comment l'Arrêter

L'article a également testé comment protéger le bibliothécaire :

La « Deuxième Opinion » (Reclassement) : Si le bibliothécaire vérifie les meilleurs résultats avec un « deuxième bibliothécaire » plus strict et plus critique (un encodeur croisé), le faux livre a moins de chances d'être choisi.
Le « Vote de Groupe » (Isolement des Passages) : Au lieu de laisser le bibliothécaire lire une seule page et décider, vous lui faites lire cinq pages différentes et voter sur la réponse. Si le faux livre est le seul à contenir le mensonge, les quatre autres vrais livres l'emporteront par le vote.
Le Résultat : L'utilisation d'une combinaison de ces défenses (un deuxième bibliothécaire + un vote de groupe) a réduit le succès de l'attaque de 57,5 % à 21,3 %. Cependant, cela rend le bibliothécaire plus lent (environ 6 fois plus lent).

La Conclusion

Cet article montre que les systèmes RAG ont une faiblesse cachée : l'Intégrité du Corpus. Si un attaquant peut injecter quelques faux documents parfaitement rédigés et « furtifs » dans une base de données, ils peuvent détourner les réponses du système sans que celui-ci réalise qu'il y a un problème.

L'enseignement clé est que la fluidité est une arme à double tranchant. Rendre le texte de l'attaque trop parfait le rend plus difficile à attraper pour les filtres simples, mais le rend aussi beaucoup plus dangereux car l'IA (et les humains) sont plus susceptibles d'y faire confiance. L'article suggère que pour rester en sécurité, nous avons besoin de défenses « en couches » — utilisant plusieurs contrôles et équilibres — plutôt que de compter sur une seule méthode pour repérer les fausses nouvelles.

Résumé Technique : SilentRetrieval

Énoncé du Problème

Les systèmes de Génération Augmentée par Récupération (RAG) dépendent de l'intégrité de leurs corpus de connaissances externes pour atténuer les hallucinations des Modèles de Langage à Grande Échelle (LLM). Cependant, cette dépendance crée une vulnérabilité critique : si un adversaire peut injecter des documents malveillants dans le corpus, il peut détourner le processus de récupération et manipuler par la suite la génération du LLM.

Les attaques adverses précédentes sur les systèmes RAG font face à un compromis persistant entre l'efficacité de la récupération, la manipulation de la génération et la discrétion. Les méthodes existantes produisent souvent des sorties facilement détectables :

L'optimisation basée sur le gradient (par exemple, AGGD, GASLITE) atteint un détournement de récupération puissant mais échoue souvent à manipuler efficacement la phase de génération ou manque de contraintes de fluidité.
Les attaques conjointes récupérateur-générateur (par exemple, Joint-GCG, PoisonedRAG) manipulent bien la génération mais génèrent des textes à haute perplexité (PPL > 150), les rendant vulnérables à de simples filtres basés sur la perplexité.
Le décodage adversaire préserve la fluidité mais opère au moment de la génération plutôt que par empoisonnement du corpus.

Le défi central consiste à construire une attaque par empoisonnement de données qui réalise simultanément le détournement de la récupération, la manipulation de la sortie du LLM, et reste substantiellement moins suspecte que les références précédentes, tant sous les filtres automatisés que lors de l'inspection humaine.

Méthodologie : SilentRetrieval

Les auteurs proposent SilentRetrieval, un cadre d'empoisonnement de données en deux étapes conçu pour optimiser le détournement de la récupération et la manipulation de la génération tout en respectant strictement un budget de fluidité.

Étape 1 : Recherche en Faisceau Coordonnée (CBS)

Cette étape optimise un document « hôte » topiquement pertinent pour garantir qu'il reste récupérable après l'insertion d'une charge utile malveillante. Contrairement aux approches antérieures à un seul token et gourmandes, la CBS effectue une optimisation conjointe multi-token.

Objectif : Un problème de maximisation pénalisée qui arbitre entre la similarité des embeddings et une pénalité de violation de fluidité :
$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$
Mécanisme :
1. Candidats guidés par le gradient : Les gradients provenant du récupérateur et un signal heuristique du modèle de Perplexité (PPL) proposent des modifications de tokens candidates.
2. Recherche en Faisceau Coordonnée : L'algorithme sélectionne les $M$ meilleures positions basées sur l'amplitude du gradient et construit un faisceau sur l'espace conjoint de $M \times K$ remplacements candidats.
3. Évaluation : Une évaluation complète de l'objectif (incluant le PPL via GPT-2) est effectuée sur les candidats du faisceau. Les candidats dépassant le budget PPL ( $\tau_{ppl} = 50$ ) sont rejetés.
Objectif : Préconditionner le document hôte afin que l'insertion ultérieure d'une charge utile porteuse de la cible ne provoque pas l'effondrement du rang de récupération du document.

Étape 2 : Génération de Déclencheur Adaptative au Contexte (CATG)

Plutôt que d'ajouter des modèles de déclencheurs fixes, cette étape exploite un LLM figé (Llama-2-7B-Chat) pour générer un déclencheur intégré contextuellement au document optimisé.

Synthèse : Le LLM est invité à poursuivre le document optimisé ( $d_{opt}$ ) par une phrase incorporant naturellement l'affirmation cible ( $a_{target}$ ), en épousant le style du passage, le vocabulaire du domaine et la voix narrative.
Filtrage : Les déclencheurs générés subissent trois contrôles de qualité :
1. Enchaînement : Doit impliquer la réponse cible (vérifié via un modèle NLI).
2. Cohérence : La similarité cosinus entre les embeddings de l'hôte et du déclencheur doit dépasser 0,7.
3. Porte PPL : Le document adversaire concaténé doit satisfaire le budget PPL.
Cadrage : L'invite encourage un langage autoritaire (par exemple, « sources vérifiées ») pour exploiter la tendance du LLM à se fier au langage confiant dans les contextes récupérés.

Contributions Clés

Cadre d'Attaque en Deux Étapes : L'introduction de la CBS pour l'optimisation multi-token contrainte par la fluidité et de la CATG pour la fusion légère et consciente du contexte des déclencheurs.
Évaluation Complète : Évaluation sur Natural Questions (NQ, 361K passages) et MS MARCO (8,8M passages) sous un protocole unifié de document unique. L'étude inclut la généralisabilité inter-modèle (4 LLM), des attaques de transfert contre des récupérateurs non vus (incluant des embeddings commerciaux), et une analyse de l'évolutivité jusqu'à 21M de passages.
Défense et Analyse Adaptative : Évaluation empirique des défenses côté récupération (reclassement, récupération hybride) et côté génération (isolement des passages), ainsi qu'une attaque adaptative incorporant une optimisation consciente de la défense.
Évaluation Humaine : Une étude ( $n=600$ documents) démontrant que les documents SilentRetrieval ont des taux de signalement significativement plus faibles que les références disfluentes.

Résultats Expérimentaux

Performance Principale

Sur le jeu de données NQ (corpus de 361K), SilentRetrieval atteint :

HR@10 : 84,6 % (le plus élevé parmi les références).
ASR-LLM (Taux de Succès de l'Attaque via LLM-comme-Juge) : 57,5 %.
Perplexité (PPL-G2) : 32,4 (proche du bénin, comparé à 28,4 pour les documents bénins).
Discrétion : Seuls 8,7 % des documents SilentRetrieval sont détectés par un audit PPL indépendant ( $\tau=50$ ), contre 94,2 % pour Joint-GCG et 83,3 % pour la référence de Zhong et al.

Généralisabilité et Transfert

Inter-Modèle : L'attaque maintient une efficacité non triviale sur quatre LLM cibles (Llama-2, Mistral, Qwen, GPT-3.5), avec un ASR-LLM variant de 48,6 % à 57,5 %.
Transfert de Surrogate : Lorsqu'optimisée contre un récupérateur de substitution (Contriever) et testée contre des systèmes cibles non vus (incluant ColBERTv2 et des embeddings commerciaux comme text-embedding-ada-002), l'attaque conserve un HR@10 moyen de 64,7 %.
Évolutivité : Dans une évaluation échantillonnée de 21M de passages, le HR@10 chute à 74,2 % à un ratio d'empoisonnement de 0,016 %, indiquant que bien que l'expansion du corpus offre une défense naturelle partielle, elle est insuffisante pour neutraliser complètement l'attaque.

Efficacité de la Défense

Défenses Combinées : Une stratégie de défense en couches (Récupération Hybride + Reclassement par Cross-Encoder + Isolement des Passages) réduit l'ASR-LLM à 21,3 % (à une latence de 11×) ou 25,6 % (à une latence de 6×).
Attaques Adaptatives : Une attaque adaptative optimisée contre un reclasseur spécifique (MiniLM-L6-v2) récupère environ 6,2 % de HR@10 par rapport à l'attaque non adaptative sous la même défense, soulignant une course aux armements émergente.

Évaluation Humaine

Dans une étude avec 10 annotateurs, les documents SilentRetrieval ont été signalés comme suspects dans 14,7 % des cas, un taux significativement inférieur à PoisonedRAG (56,7 %) et à Zhong et al. (83,3 %). Bien que la différence entre SilentRetrieval (14,7 %) et le contenu bénin (7,3 %) ne soit pas statistiquement significative à $\alpha=0,05$ ( $p \approx 0,064$ ), la tendance suggère un écart détectable qui pourrait s'élargir avec des tailles d'échantillon plus importantes.

Signification et Revendications

L'article revendique que SilentRetrieval établit un nouvel état de l'art dans le compromis discrétion-efficacité pour l'empoisonnement des systèmes RAG. Sa signification principale réside dans la démonstration que :

L'intégrité du corpus est une préoccupation de sécurité de premier ordre : Les attaques préservant la fluidité peuvent contourner les audits PPL simples et sont beaucoup plus difficiles à signaler pour les humains que les attaques disfluentes précédentes.
Des défenses en couches sont nécessaires : Aucune défense unique n'est suffisante ; la combinaison du reclassement côté récupération, de la récupération hybride et de l'isolement des passages côté génération est requise pour atténuer substantiellement la menace.
La frontière discrétion-efficacité est un angle d'évaluation critique : Les comparaisons brutes du Taux de Succès de l'Attaque (ASR) sans normalisation de la perplexité obscurcissent la détectabilité pratique des attaques. SilentRetrieval atteint de fortes performances tout en maintenant une perplexité proche du bénin, remettant en cause l'hypothèse selon laquelle les attaques à haute efficacité doivent être bruyantes ou évidentes.

Les auteurs soulignent que leur travail est une divulgation responsable utilisant des cibles synthétiques sur des benchmarks standards pour motiver des défenses plus robustes, plutôt qu'une démonstration de la faisabilité d'injections dans le monde réel.