Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

Résumé technique : L'architecture compte : Comparaison des systèmes RAG face à l'empoisonnement de la base de connaissances

Énoncé du problème
Les systèmes de Génération Augmentée par Récupération (RAG) sont vulnérables à l'empoisonnement de la base de connaissances, où un adversaire injecte un document conçu pour manipuler les sorties du système. Alors que la littérature existante a largement évalué ces attaques contre des pipelines « classiques » de type « récupération puis génération », un vide critique subsiste : les architectures explicitement conçues pour gérer les informations contradictoires — telles que le débat multi-agents, la récupération par agents autonomes et les modèles de langage récursifs — n'ont jamais été testées face à des contradictions optimisées de manière adversaire. De plus, les évaluations antérieures reposent souvent sur des scénarios où les documents empoisonnés dominent le contexte de récupération (par exemple, $N=5$ documents empoisonnés parmi $K=5$ récupérés), échouant à tester la capacité du système à raisonner face à un seul document adversaire coexistant avec des sources légitimes ($N=1$).

Méthodologie
L'étude évalue quatre architectures RAG distinctes sous une menace contrôlée d'empoisonnement $N=1$ sur 921 paires question-réponse issues du jeu de données Natural Questions (NQ), récupérées à partir d'un corpus Wikipédia de 2,68 millions de passages utilisant Contriever. Tous les systèmes utilisent GPT-5-mini comme modèle de langage (LLM) de base afin d'isoler les effets architecturaux des différences de capacités du modèle.

Les quatre architectures testées sont :

1. RAG classique : Un pipeline standard de récupération puis génération en un seul passage.
2. RAG par agents autonomes : Implémenté via PydanticAI, permettant à un agent de rechercher itérativement, de reformuler les requêtes et de rassembler des preuves avant de répondre.
3. MADAM-RAG : Un système de débat multi-agents où chaque document récupéré est assigné à un agent indépendant pour délibération, suivi d'un agrégateur synthétisant la réponse finale.
4. Modèles de langage récursifs (RLM) : Un système qui traite le contexte thématique complet (récupération des 100 premiers passages et expansion à tous les passages partageant les titres d'articles, typiquement $\sim$2 600 passages) via une décomposition programmatique et des appels récursifs.

Les systèmes sont testés dans trois conditions :

• Référence propre : Aucun document empoisonné.
• Injection naïve : Un passage contradictoire rédigé naturellement sans optimisation de récupération.
• CorruptRAG-AK : Une attaque adversaire employant un « cadrage méta-épistémique » (par exemple, « de nombreuses sources obsolètes indiquent à tort... les données les plus récentes confirment... ») conçu pour miner la crédibilité des sources correctes. Cette attaque inclut une composante optimisée pour la récupération afin de garantir que le document empoisonné soit récupéré.

Les métriques d'évaluation incluent le taux de réussite de l'attaque (ASR), conditionné à la précision sur les données propres pour assurer une comparaison équitable entre architectures, et une taxonomie comportementale à sept catégories (par exemple, Correct avec confiance, Correct avec détection, Prudence, Incorrect avec confiance) évaluée via un juge LLM.

Contributions clés

1. Première évaluation des architectures avancées : L'article fournit la première évaluation adversaire des architectures par agents autonomes, de débat multi-agents et récursives face à l'empoisonnement de la base de connaissances, comblant le fossé entre la littérature sur l'empoisonnement et celle sur la gestion des conflits.
2. L'architecture comme variable de premier ordre : L'étude démontre que les choix de conception architecturale seuls produisent un écart d'environ 58 points de pourcentage dans les taux de réussite des attaques (de 81,9 % pour le RAG classique à 24,4 % pour les RLM) parmi des systèmes ayant une précision propre comparable ($\sim$92 %).
3. Décomposition de la réussite de l'attaque : Les auteurs décomposent l'écart de performance entre les attaques naïves et adverses en « effets de récupération » (obtenir la récupération du poison) et « effets de contenu » (persuasivité du cadrage). Ils constatent que pour trois des quatre architectures, la majorité de l'avantage adversarial provient du cadrage méta-épistémique au stade de la génération, et non de l'optimisation de la récupération.
4. Taxonomie comportementale : L'introduction d'une taxonomie à sept catégories capture les modes de défaillance au-delà de la précision binaire, incluant la détection des contradictions, la prudence et les niveaux de confiance.

Résultats

• Variance de robustesse : Sous CorruptRAG-AK, le RAG classique subit un ASR de 81,9 % (conditionné à la précision propre), tandis que le RAG par agents autonomes chute à 43,8 %, et les RLM atteignent la robustesse la plus élevée à 24,4 %. Le MADAM-RAG affiche un ASR de 45,5 % mais est compliqué par un taux élevé de non-réponses (41,4 % sur des entrées propres), suggérant un compromis « sûr mais inutile » où le système refuse fréquemment de répondre plutôt que de risquer une erreur.
• Résultats de la décomposition :
  • RAG classique : L'avantage de l'attaque est réparti entre la récupération ($\sim$18 pp) et le contenu ($\sim$32 pp).
  • RAG par agents autonomes : L'avantage est massivement piloté par le contenu ($\sim$30 pp), avec une contribution minimale de la récupération. Notamment, la boucle d'agent amplifie le cadrage adversaire, répétant les marqueurs méta-épistémiques dans 63 % des réponses incorrectes.
  • RLM : Tout l'écart de vulnérabilité est localisé au stade du raisonnement sur le contenu ; l'optimisation de la récupération n'apporte aucun avantage supplémentaire à l'attaquant.
  • MADAM-RAG : L'effet de contenu est statistiquement indiscernable de zéro. Une fois le poison récupéré, le cadrage adversaire n'offre aucun avantage par rapport à une contradiction naïve, suggérant que la structure de débat filtre le langage persuasif. Cependant, l'agrégateur échoue à résoudre les contradictions de manière fiable, quel que soit le cadrage.
• Analyse comportementale : Les défaillances du RAG classique sont majoritairement « Incorrect avec confiance ». Le RAG par agents autonomes présente des défaillances plus distribuées incluant la prudence. Le MADAM-RAG affiche des taux élevés de prudence et de réponses « Inconnu », supprimant les erreurs confiantes mais réduisant également l'utilité. Les RLM maintiennent le taux le plus bas de réponses incorrectes avec confiance.

Signification et affirmations
L'article soutient que le choix architectural est une variable à fort impact, sous-explorée, dans la robustesse adversaire des systèmes RAG, potentiellement plus significative que de nombreux mécanismes de défense dédiés. Les auteurs affirment que :

• Priorité de conception : Le choix d'une architecture de raisonnement devrait être une décision de conception équivalente au choix des mécanismes de défense. Un pipeline classique avec des défenses sophistiquées peut sous-performer un pipeline par agents autonomes ou récursif nu face à des menaces réalistes.
• Contingence du modèle de menace : Pour la corruption organique (documents obsolètes), le RAG par agents autonomes offre un bon compromis coût-robustesse. Cependant, face à un cadrage adversaire sophistiqué, le RAG par agents autonomes est insuffisant seul, et les modèles de langage récursifs (RLM) offrent une robustesse supérieure, bien qu'au prix d'une latence significative.
• Vulnérabilité au niveau de la génération : La vulnérabilité principale pour la plupart des architectures avancées réside au stade de la génération/raisonnement (effet de contenu), et non dans la récupération. Cela motive les défenses au niveau de la génération (par exemple, prompting défensif, vérifications de cohérence) comme cible d'intervention principale pour les systèmes par agents autonomes et RLM.
• Limites du MADAM-RAG : Bien que la structure de débat multi-agents montre des promesses pour filtrer le langage adversaire et détecter les contradictions, l'implémentation spécifique testée n'a pas réussi à résoudre les conflits de manière fiable, entraînant des taux élevés de non-réponses. L'article suggère qu'une logique d'agrégation améliorée est nécessaire pour réaliser le potentiel de cette architecture.

L'étude conclut que si les RLM offrent actuellement la robustesse la plus forte, la latence élevée et l'asymétrie d'information (contexte plus large) posent des défis de déploiement. Les auteurs postulent que les travaux futurs devraient investiguer si un prompting défensif léger peut combler l'écart de robustesse entre les architectures par agents autonomes et récursives au point de coût inférieur des systèmes par agents autonomes.