ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search

Titre : ReliabilityRAG : Défense efficace et prouvablement robuste pour la recherche Web basée sur RAG

1. Problématique

Les systèmes de Génération Augmentée par Récupération (RAG) améliorent les modèles de langage (LLM) en ancrant leurs réponses dans des documents externes. Cependant, ces systèmes sont vulnérables aux attaques adverses ciblant le corpus de récupération, notamment :

• L'injection de prompt (Prompt Injection) : L'adversaire insère des instructions malveillantes dans les documents récupérés pour manipuler la réponse du LLM.
• L'empoisonnement du corpus (Corpus Poisoning) : L'adversaire injecte des faits faux ou trompeurs.

Les défenses existantes (comme RobustRAG) présentent des limites majeures :

1. Elles traitent les documents récupérés comme un ensemble non ordonné, ignorant les signaux de fiabilité inhérents aux moteurs de recherche (comme le classement/ranking).
2. Elles souffrent d'une perte d'information significative (ex: vote majoritaire basé sur des mots-clés) et ont des performances médiocres sur des tâches de génération longue (long-form generation).
3. Elles manquent souvent de garanties théoriques de robustesse.

L'opportunité réside dans le fait que les moteurs de recherche disposent de mécanismes de défense sophistiqués contre le référencement (SEO) depuis des décennies, rendant la corruption des documents hautement classés (top-ranked) beaucoup plus difficile que celle des documents de rang inférieur.

2. Méthodologie

L'approche proposée, ReliabilityRAG, exploite explicitement les signaux de fiabilité (classement ou scores de confiance) pour filtrer les documents malveillants avant la génération. Elle propose deux algorithmes principaux selon la taille de l'ensemble de documents :

A. Approche basée sur le Maximum Independent Set (MIS) – Pour petits ensembles (k ≤ 20)
Cette méthode adopte une perspective théorie des graphes pour identifier une "majorité cohérente".

1. Réponses isolées : Pour chaque document récupéré $x_i$, le LLM génère une réponse isolée $y_i$ basée uniquement sur ce document.
2. Construction du graphe de contradiction : Un graphe non orienté $G=(V, E)$ est construit où les sommets sont les documents. Une arête $(i, j)$ existe si un modèle d'Inférence Linguistique Naturelle (NLI) détecte une contradiction entre les réponses $y_i$ et $y_j$.
3. Sélection du MIS : L'algorithme cherche le Maximum Independent Set (MIS) (le plus grand sous-ensemble de documents sans contradictions mutuelles).
   • Innovation clé : En cas de plusieurs MIS de même taille, l'algorithme privilégie celui contenant les documents les mieux classés (plus fiables), en utilisant un ordre lexicographique sur les indices de classement.
4. Génération finale : Le LLM génère la réponse finale en utilisant uniquement les documents du MIS sélectionné.

B. Cadre d'échantillonnage pondéré et d'agrégation (Weighted Sample and Aggregate) – Pour grands ensembles (k > 20)
Pour les scénarios où le nombre de documents est trop grand pour un calcul exact de MIS (complexité exponentielle), l'approche utilise un échantillonnage probabiliste.

1. Échantillonnage pondéré : On tire aléatoirement des sous-ensembles de documents (contextes) où la probabilité de sélection d'un document est proportionnelle à son poids de fiabilité (dérivé de son rang).
2. Agrégation : Pour chaque échantillon, une réponse intermédiaire est générée. Ces réponses sont ensuite agrégées (par exemple, en appliquant à nouveau la logique MIS sur les réponses intermédiaires).
3. Garantie : Ce cadre préserve les garanties de robustesse avec une haute probabilité tout en étant scalable.

3. Contributions Clés

1. Algorithme de sélection de documents basé sur le MIS : Une méthode novatrice qui identifie un sous-ensemble cohérent de documents en maximisant la taille du groupe tout en priorisant les documents les plus fiables.
2. Garanties de robustesse prouvables : Le papier fournit des preuves théoriques (Théorème 1) démontrant que la probabilité de sélectionner un document malveillant tend vers zéro lorsque le nombre de documents récupérés augmente, sous des hypothèses naturelles sur les erreurs du modèle NLI et la borne du nombre d'attaques.
3. Cadre scalable : Introduction d'un mécanisme d'échantillonnage pondéré permettant d'appliquer ces principes de robustesse à de grands volumes de documents sans sacrifier la sécurité.
4. Utilisation des signaux de fiabilité : C'est la première défense RAG qui intègre systématiquement le classement des documents (ranking) comme signal de confiance pour contrer les attaques, créant une défense en profondeur.

4. Résultats Expérimentaux

Les auteurs ont évalué ReliabilityRAG sur plusieurs jeux de données (RealtimeQA, Natural Questions, TriviaQA, et génération de biographies) avec différents LLM (Mistral, Llama3, GPT-4o-mini).

• Robustesse aux attaques :
  • ReliabilityRAG surpasse significativement les méthodes de base (Vanilla RAG) et les défenses existantes (RobustRAG, AstuteRAG, InstructRAG) face aux attaques par injection de prompt et empoisonnement.
  • Il maintient une haute précision même lorsque l'attaque cible des documents de rang inférieur (plus faciles à corrompre), là où les autres méthodes échouent.
  • Sur les tâches de génération longue (Biographies), ReliabilityRAG conserve une haute qualité (score LLM-Judge 73), tandis que RobustRAG chute drastiquement (53).
• Performance en conditions normales (Benign) :
  • La méthode ne dégrade pas la précision sur des données non attaquées, contrairement à certaines défenses qui filtrent trop agressivement.
• Analyse de la position d'attaque :
  • La méthode est "consciente du rang" : la précision reste élevée même si des documents de rang inférieur sont corrompus, car ils sont moins susceptibles d'être inclus dans le MIS final.
• Latence :
  • Bien que l'étape de "réponse isolée" ajoute une latence (environ < 1 seconde par requête sur un GPU A100), elle reste négligeable par rapport aux temps de traitement des workflows RAG complexes modernes.

5. Signification et Impact

Ce travail représente une avancée majeure pour la sécurité des systèmes RAG :

• Théorique : Il établit des garanties formelles de robustesse pour les systèmes RAG, un domaine où de telles preuves étaient rares.
• Pratique : Il propose une solution viable qui utilise les signaux existants des moteurs de recherche (classement) sans nécessiter de réentraînement coûteux des LLM.
• Sociétal : En réduisant la vulnérabilité aux désinformations et aux injections de prompt, ReliabilityRAG renforce la fiabilité des assistants IA dans des domaines critiques (santé, finance, droit) et améliore la confiance des utilisateurs.

En résumé, ReliabilityRAG transforme la faiblesse des systèmes RAG (la dépendance à des corpus externes) en une force défensive en exploitant intelligemment la hiérarchie de fiabilité des documents récupérés.