Résumé technique : ADMIT – Attaques d'empoisonnement de connaissances en few-shot sur la vérification des faits basée sur RAG

1. Définition du problème

Les systèmes de Génération Augmentée par la Recherche (RAG) améliorent les Modèles de Langage à Grande Échelle (LLM) en intégrant des connaissances externes pour atténuer les hallucinations et les limites temporelles des connaissances. Cependant, ces systèmes sont vulnérables à l'empoisonnement des connaissances, où des attaquants injectent du contenu adversaire dans les bases de connaissances pour manipuler les sorties des LLM.

La littérature existante sur l'empoisonnement des connaissances repose souvent sur des hypothèses irréalistes pour les scénarios réels de vérification des faits :

1. Domination par le volume : Elle suppose que le contenu malveillant domine le contexte récupéré, alors que les systèmes réels récupèrent généralement des preuves autoritaires provenant de sources fiables (par exemple, médias d'information, bases de données médicales) où l'information crédible prévaut.
2. Absence de justification : Elle suppose que les LLM génèrent des réponses incorrectes sans exiger de justifications cohérentes, ignorant les pipelines RAG modernes qui emploient un raisonnement piloté par des agents pour produire des conclusions bien étayées.
3. Accès au système : Elle suppose souvent que l'attaquant a accès au récupérateur ou aux internals du LLM, alors que les attaques réelles sont typiquement en boîte noire.

L'article aborde la question critique : Les systèmes RAG modernes basés sur des LLM peuvent-ils rester robustes lorsque du contenu empoisonné coexiste avec des preuves de soutien crédibles dans le contexte récupéré ?

2. Méthodologie : ADMIT

Les auteurs proposent ADMIT (ADversarial Multi-Injection Technique), une attaque d'empoisonnement en few-shot, alignée sémantiquement, conçue pour inverser les décisions de vérification des faits et induire des justifications trompeuses, sans accès aux LLM cibles, aux récupérateurs ou au contrôle au niveau des tokens.

2.1 Modèle de menace

• Accès en boîte noire : L'attaquant n'a aucun accès au récupérateur ou au LLM de la victime.
• Injection en few-shot : L'attaquant injecte un nombre minimal de passages adversaires ($m$) dans la base de connaissances, où $m \le k$ (le nombre de passages récupérés). Dans le cadre 1-shot, un seul passage malveillant doit remplacer potentiellement quatre passages propres.
• Alignement sémantique : Le contenu injecté ne peut être ni absurde ni contenir d'instructions malveillantes explicites (par exemple, « ignorez les instructions précédentes »). Il doit s'agir d'un passage cohérent, lisible par un humain, imitant des nouvelles légitimes ou des preuves.

2.2 Composantes principales

ADMIT fonctionne via une configuration de vérification par proxy pour simuler l'environnement cible :

1. Construction de passages proxy :

   • Basée sur la recherche : L'attaquant utilise un LLM léger pour générer des requêtes diverses à partir d'une affirmation, récupère des documents à partir de sources web ouvertes, et les filtre pour trouver des passages qui contredisent l'affirmation cible.
   • Basée sur LLM : Pour des scénarios contraints, l'attaquant demande à un LLM de générer un passage soutenant la position opposée de l'affirmation cible.
   • Ces passages proxy servent de contexte « propre » contre lequel le passage adversaire est optimisé.

2. Injection multiple adversaire (La boucle d'attaque) :

   • Génération en un tour : Un premier passage adversaire est généré sur la base du contexte proxy.
   • Optimisation multi-tours : Si la génération en un tour échoue, l'attaquant emploie une boucle de rétroaction itérative. Un LLM attaquant ($A$) met à jour le passage adversaire ($p$) en fonction du résultat de vérification précédent ($\tilde{V}$) et du contexte proxy ($R_{proxy}$).
   • Effacement de la mémoire : Pour éviter la dégradation du contexte, la mémoire est réinitialisée toutes les $L$ itérations, réinitialisant la génération de passages pour explorer de nouvelles directions sémantiques.
   • Objectif : Le but est de trouver un passage $p$ tel que $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$, inversant efficacement le verdict tout en maintenant la cohérence sémantique.

3. Augmentation par préfixe adversaire :

   • Pour garantir que le passage adversaire soit récupéré malgré la présence de preuves propres, l'attaquant préfixe les requêtes de recherche utilisées pour construire les passages proxy au texte adversaire. Cela exploite la tendance du récupérateur à faire correspondre les mots-clés de la requête, augmentant ainsi la probabilité de récupération du contenu malveillant.

3. Contributions clés

• Nouveau paradigme d'attaque : ADMIT est la première étude à démontrer un empoisonnement de connaissances efficace dans des configurations few-shot où des preuves crédibles dominent le pool de récupération. Elle remet en question l'hypothèse selon laquelle une injection à grande échelle est nécessaire pour réussir.
• Justification trompeuse : Contrairement aux attaques antérieures qui reposent sur des instructions explicites ou génèrent du texte incohérent, ADMIT produit de la désinformation sémantiquement cohérente et lisible par un humain, incluant des justifications trompeuses pour le verdict inversé.
• Applicabilité en boîte noire : La méthode ne nécessite aucun accès en boîte blanche au système victime, reposant uniquement sur des vérificateurs proxy et des moteurs de recherche publics.
• Évaluation complète : L'attaque est évaluée sur 4 benchmarks interdomaines (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLM (incluant des modèles open-source, commerciaux et de raisonnement) et 4 récupérateurs différents.

4. Résultats expérimentaux

• Taux de réussite élevé (ASR) : ADMIT atteint un ASR moyen de 86 % sur tous les paramètres avec un taux d'empoisonnement extrêmement faible de $0,93 \times 10^{-6}$.
• Supériorité par rapport aux références : Comparé aux méthodes de l'état de l'art (par exemple, PoisonedRAG, CorruptRAG, Prompt Injection), ADMIT améliore l'ASR de 11,2 % en moyenne. Notamment, alors que les références échouent souvent sur les LLM commerciaux (par exemple, GPT-4o), ADMIT maintient une efficacité élevée.
• Robustesse face aux contre-preuves : Même lorsque le contexte récupéré contient de fortes contre-preuves factuelles (par exemple, 4 passages propres contre 1 malveillant), ADMIT inverse avec succès le verdict dans 80 % des cas sur les LLM open-source et 65 % sur les systèmes commerciaux.
• Transférabilité : L'attaque se transfère efficacement vers des récupérateurs et des LLM non vus. Les modèles orientés vers le raisonnement (par exemple, o1-mini), malgré leur conception pour la cohérence factuelle, se sont révélés vulnérables, avec des ASR atteignant 60–70 %.
• Évasion des défenses : ADMIT contourne systématiquement les défenses existantes, notamment :
  • Détection des fausses nouvelles : Les classificateurs basés sur des LLM échouent à distinguer les passages ADMIT des vraies nouvelles (scores AUC proches du hasard).
  • Détection statistique : La perplexité (PPL) et les métriques de similarité ROUGE-N échouent à séparer les passages adverses des passages propres en raison de la cohérence sémantique du contenu généré.
  • Consolidation des connaissances : Des stratégies comme « diviser et voter » ou le clustering amplifient souvent l'influence adversaire plutôt que de l'atténuer.
  • Défenses basées sur des agents : Les agents ReAct, qui décomposent les tâches en étapes de recherche et de réflexion, restent hautement vulnérables, avec un ASR augmentant à 88–94 % à mesure que le volume d'injection augmente.

5. Signification et revendications

L'article affirme que la robustesse factuelle ne découle pas automatiquement de l'échelle ou de la capacité de raisonnement d'un LLM. L'existence d'ADMIT expose des fragilités structurelles significatives dans les systèmes réels de vérification des faits basés sur RAG.

• Vulnérabilité des systèmes hybrides : L'étude révèle que même lorsque les systèmes agrègent des sources diverses et fiables, un seul passage adversaire bien conçu peut annuler des preuves autoritaires.
• Limites des défenses actuelles : Les défenses existantes (filtrage statistique, détection de fausses nouvelles et consolidation des connaissances) sont insuffisantes face à un empoisonnement en few-shot aligné sémantiquement.
• Implications pour la sécurité de l'IA : Les résultats soulignent le besoin urgent de défenses allant au-delà de la cohérence de surface, telles que le suivi de la provenance, l'évaluation de l'incertitude et le raisonnement au-delà du contexte récupéré.

Les auteurs soulignent que leur travail est purement défensif, visant à informer la conception de systèmes de vérification des faits plus robustes en évaluant systématiquement les vulnérabilités. Ils notent que, bien que l'attaque soit efficace, elle repose sur des conditions spécifiques (par exemple, la capacité d'injecter dans des bases de connaissances publiques) et ne prétend pas briser tous les systèmes RAG universellement, mais expose plutôt une surface d'attaque critique et sous-explorée.