Résumé Technique : PRA-RAG

Énoncé du Problème

Les systèmes de Génération Augmentée par Récupération (RAG) améliorent les Grands Modèles de Langage (LLM) en intégrant des connaissances externes, mais restent vulnérables aux attaques par corruption de la récupération. Dans ces scénarios, des adversaires injectent des textes malveillants (documents empoisonnés) dans la base de données de connaissances externes. Lorsque la requête d'un utilisateur est traitée, le récupérateur peut sélectionner ces textes empoisonnés, orientant le LLM vers la génération de sorties incorrectes spécifiées par l'attaquant (par exemple, répondre « Mont Fuji » à la question « Quel est le plus haut sommet ? »).

Les mécanismes de défense existants présentent des limitations significatives :

• Absence de garanties théoriques : La plupart des méthodes (par exemple, AstuteRAG, TrustRAG) reposent sur une détection heuristique ou sur les connaissances internes du LLM, n'offrant aucune certification formelle de robustesse.
• Dépendance aux connaissances du LLM : Les défenses qui exigent que le LLM reconnaisse un contenu empoisonné échouent lorsque le modèle manque de connaissances de domaine suffisantes pour distinguer les entrées malveillantes.
• Surcharge de calcul élevée : Les méthodes fournissant des garanties théoriques, telles que RobustRAG, nécessitent souvent plusieurs générations de LLM, ce qui entraîne une latence prohibitive.
• Fiabilité non vérifiée : Les approches actuelles manquent d'un cadre quantitatif pour mesurer l'impact maximal de l'empoisonnement ou pour certifier la robustesse du système dans des conditions adverses.

Méthodologie : PRA-RAG

Les auteurs proposent PRA-RAG (Aggregation Provably Robust in Retrieval-Augmented Generation), un algorithme d'agrégation agnostique au modèle conçu pour atténuer l'empoisonnement lors de l'étape de récupération sans dépendre des connaissances internes du LLM.

Flux de Travail Principal

1. Récupération Diversifiée : Le système récupère intentionnellement un ensemble plus large de documents Top-$K$ (où $K$ dépasse le besoin standard) pour accroître la diversité informationnelle et diluer l'influence d'un texte malveillant unique.
2. Échantillonnage Combinatoire : L'ensemble récupéré est décomposé en plusieurs sous-ensembles de taille $n$. Chaque sous-ensemble est encodé en un vecteur de plongement (embedding) de haute dimension.
3. Agrégation Géométrique Robuste :
   • L'algorithme opère dans l'espace des plongements pour identifier une boule de rayon minimum qui englobe plus de la moitié des plongements du sous-ensemble.
   • Le centre de cette boule représente un « sous-ensemble robuste » qui capture le consensus des textes (sains) majoritaires tout en excluant les valeurs aberrantes (textes empoisonnés).
   • Cette approche repose sur une majorité combinatoire : tant que le nombre de textes empoisonnés $\epsilon$ est inférieur à un certain seuil par rapport à $K$ et $n$, le nombre de sous-ensembles sains excède le nombre de sous-ensembles empoisonnés.
4. Agrégation Pondérée : Une moyenne pondérée des plongements dans le sous-ensemble robuste sélectionné est calculée pour générer le contexte final destiné au LLM.

Cadre Théorique

Le document introduit une métrique de Déviation Moyenne Prouvable (PAD - Provable Average Deviation). En modélisant le décalage sémantique causé par l'empoisonnement comme un problème de perturbation d'ensemble, les auteurs dérivent une borne théorique supérieure sur la déviation entre la représentation agrégée des données saines et des données empoisonnées.

• Certification : La méthode fournit une borne certifiée ($d \le (1+\beta)\hat{R}$) sur la déviation sémantique, garantissant que la sortie agrégée reste dans une plage contrôlable même sous attaque.
• Scalabilité : Pour gérer l'explosion combinatoire des sous-ensembles ($\binom{K}{n}$), les auteurs emploient une stratégie d'échantillonnage de Monte Carlo. Ils prouvent que l'échantillonnage d'un sous-ensemble de combinaisons fournit une approximation statistiquement bornée du rayon de robustesse optimal sans dégradation significative des performances.

Principales Contributions

1. Certification Théorique : Ce travail fournit la première caractérisation et certification théorique de la déviation sémantique maximale causée par des récupérations empoisonnées dans les systèmes RAG, offrant une métrique fondée (PAD) pour évaluer la robustesse.
2. Algorithme Prouvablement Robuste : PRA-RAG introduit une méthode d'agrégation géométrique qui atténue efficacement l'influence de la récupération empoisonnée en sélectionnant le centre d'une Boule Englobante Minimale (MEB) couvrant la majorité, préservant ainsi la précision de la génération sans nécessiter de détection basée sur le LLM.
3. Validation Empirique : Des expériences approfondies sur plusieurs jeux de données (Natural Questions, MS-MARCO, HotpotQA) et divers LLM (Mistral, Llama, Vicuna, variantes de GPT) démontrent que PRA-RAG surpasse significativement les défenses de l'état de l'art.

Résultats Expérimentaux

• Robustesse : Sous un taux d'empoisonnement de 20 %, PRA-RAG a réduit le Taux de Succès d'Attaque (ASR) à seulement 1 % tout en maintenant une précision (ACC) de 71 % sur le jeu de données MS-MARCO.
• Comparaison : La méthode a systématiquement surpassé les bases de référence comme RobustRAG, InstructRAG et TrustRAG, obtenant un ASR plus faible et une ACC plus élevée à travers diverses stratégies d'attaque (PoisonedRAG, Adversarial Decoding, DoS, CorruptRAG).
• Efficacité : Contrairement aux méthodes nécessitant plusieurs générations de LLM, PRA-RAG a démontré la latence d'inférence la plus faible parmi les défenses comparées (par exemple, ~6 secondes contre ~27 secondes pour RobustRAG sur MS-MARCO), ce qui la rend pratique pour un déploiement réel.
• Études d'Ablation : Les résultats ont confirmé que l'augmentation du nombre de textes récupérés ($K$) et de la taille du sous-ensemble ($n$) améliore la robustesse (scores PAD plus bas), tandis que l'échantillonnage de Monte Carlo maintient les performances avec une charge de calcul réduite.

Signification et Revendications

Le papier affirme que PRA-RAG comble une lacune critique dans la sécurité du RAG en déplaçant le paradigme de défense de la détection (compter sur le LLM pour repérer les mensonges) vers l'agrégation (filtrer mathématiquement les mensonges via le consensus géométrique).

• Garantie Agnostique au Modèle : La garantie de robustesse est dérivée des propriétés géométriques des plongements de récupération, et non des capacités spécifiques du LLM, ce qui la rend efficace même lorsque le modèle possède des connaissances limitées sur le contenu récupéré.
• Sécurité Quantitative : En fournissant une borne supérieure certifiée sur la déviation sémantique, ce travail permet une évaluation quantitative de la fiabilité du système dans des conditions adverses, allant au-delà des simples observations empiriques.
• Viabilité Pratique : Les auteurs soulignent que leur approche permet d'obtenir une défense forte avec une faible surcharge de calcul, équilibrant sécurité et utilisabilité sans le « sur-refus » ou la latence élevée observés dans les méthodes robustes précédentes.

Les auteurs reconnaissent des limites, notant que la défense repose sur le fait que le nombre de textes empoisonnés reste inférieur à un seuil spécifique et que la construction des sous-ensembles introduit une certaine surcharge de calcul, bien que celle-ci soit gérable et puisse faire l'objet d'un arbitrage par rapport aux besoins de sécurité.