Résumé Technique : À travers le prisme de la furtivité : Défenses conscientes de l'attention contre l'empoisonnement dans les RAG

Énoncé du Problème

Les systèmes de Génération Augmentée par la Recherche (RAG), qui intègrent des Modèles de Langage à Grande Échelle (LLM) avec des bases de connaissances externes, sont vulnérables aux attaques de corruption de la recherche. Dans ces attaques, des adversaires injectent des passages empoisonnés dans la base de connaissances (par exemple, via des pages Wikipédia manipulées ou des réseaux sociaux) pour corrompre le contexte récupéré. Même avec des taux de corruption faibles (par exemple, un passage empoisonné sur dix), des attaques existantes comme PoisonedRAG peuvent manipuler avec succès la réponse du LLM vers une réponse cible.

Le défi central abordé dans cet article est la furtivité. Bien que les attaques existantes atteignent des taux de réussite élevés, les auteurs soutiennent qu'elles ne sont pas conçues pour être furtives. Pour outrepasser le consensus des passages bénins, les passages adverses doivent influencer de manière disproportionnée le processus d'inférence du LLM. Cette exigence inhérente crée une « trace malveillante » détectable dans les états internes du modèle, spécifiquement dans la distribution des poids d'attention. L'article postule que les défenses actuelles négligent souvent ces signaux intermédiaires, s'appuyant plutôt sur la sémantique de surface ou la perplexité, qui sont moins efficaces contre un empoisonnement sophistiqué.

Méthodologie

1. Formalisation de la Furtivité : Le Jeu SADG

Les auteurs formalisent le concept de furtivité à travers le Jeu de Distinguabilité des Attaques Furtives (SADG). Dans ce jeu de sécurité, un défenseur tente de distinguer un ensemble récupéré bénin d'un ensemble corrompu (contenant jusqu'à une fraction $\epsilon$ de passages empoisonnés). Une attaque est considérée comme $\tau$-furtive si l'avantage du défenseur à distinguer les ensembles est au plus $\tau$. L'article soutient que les attaques à faible corruption réussies échouent intrinsèquement à ce test car elles concentrent leur influence sur un petit sous-ensemble de passages, créant une anomalie statistique détectable.

2. Score d'Attention Normalisé des Passages (NPAS)

Pour quantifier l'influence des passages individuels sur la réponse générée, l'article introduit le Score d'Attention Normalisé des Passages (NPAS).

• Mécanisme : La méthode agrège les poids d'attention des couches et des têtes du décodeur du LLM. Pour un passage récupéré $z_t$, elle somme les scores d'attention de tous les tokens de réponse générés vers les $\alpha$ tokens les plus attendus au sein de $z_t$.
• Normalisation : Le score est normalisé par l'attention totale sur l'ensemble des $k$ passages récupérés pour permettre la comparaison entre différentes requêtes et modèles.
• Raison d'être : Dans les scénarios bénins, l'attention est distribuée de manière relativement uniforme sur les passages pertinents. Dans les attaques d'empoisonnement réussies, le modèle concentre fortement l'attention sur le passage empoisonné (spécifiquement les tokens correspondant à la cible adverse), résultant en une distribution à haute variance du NPAS.

3. Le Filtre à Variance d'Attention (AV Filter)

S'appuyant sur l'observation que les ensembles empoisonnés présentent une forte variance dans le NPAS, les auteurs proposent le Filtre à Variance d'Attention (AV Filter).

• Processus : Le filtre retire itérativement le passage ayant le NPAS le plus élevé de l'ensemble récupéré.
• Condition d'arrêt : Le processus se poursuit jusqu'à ce que la variance des scores NPAS restants descende en dessous d'un seuil $\delta$ ou que le nombre de passages retirés atteigne le budget de corruption $\epsilon$.
• Implémentation : Pour atténuer le biais de position (effets de récence), les passages sont réordonnés par leur NPAS avant le filtrage. Le seuil $\delta$ est estimé à partir de données propres (moyenne + 1 écart-type).

4. Attaques Adaptatives

Pour tester les limites de cette défense, les auteurs développent des attaques adaptatives optimisées pour la furtivité. En utilisant des méthodologies de contournement (extension de GCG et AutoDAN), ces attaques minimisent une fonction de perte composite :
$$L_t = L_1 + \lambda \cdot L_2$$
Où $L_1$ est la perte d'entropie croisée pour la réponse cible (efficacité) et $L_2$ est la variance du NPAS (furtivité). Cela force l'attaquant à trouver des passages empoisonnés qui induisent la réponse cible sans créer une signature d'attention à haute variance.

Contributions Clés

1. Formalisation de la Furtivité : Introduction du SADG pour définir et mesurer rigoureusement la furtivité des attaques d'empoisonnement RAG.
2. Métrique NPAS : Développement du Score d'Attention Normalisé des Passages pour quantifier l'influence passage-réponse, démontrant qu'il devient biaisé sous corruption.
3. Défense AV Filter : Proposition d'un filtre léger basé sur la variance d'attention qui distingue et retire de manière fiable les passages corrompus sans altérer le pipeline d'inférence.
4. Évaluation Complète : Expériences extensives sur 4 jeux de données, 5 LLM et 5 types d'attaques, incluant le développement d'attaques adaptatives pour sonder les limites de la défense.
5. Applicabilité Boîte Blanche/Noire : Démonstration que la défense fonctionne dans des contextes boîte blanche (accès direct aux internals du modèle) et boîte noire (utilisation d'un modèle open-source auxiliaire pour approximer les signaux d'attention).

Résultats

• Capacité de Détection (RQ1) : Le défenseur utilisant la variance du NPAS ($D_{AV}$) identifie avec succès les ensembles corrompus dans les attaques existantes avec un taux de victoire moyen de 0,78 dans le SADG, surpassant significativement le hasard.
• Robustesse (RQ2) : Le Filtre AV améliore significativement la précision robuste (RACC) par rapport aux bases de référence.
  • Il atteint jusqu'à 23 % de précision en plus que les défenses de base dans des contextes bénins.
  • Sous attaque, il génère jusqu'à 20 % de RACC en plus que les bases de référence comme Certified Robust RAG (Mots-clés/Décodage).
  • Il réduit le Taux de Succès de l'Attaque (ASR) du RAG standard (qui peut atteindre ~88 % sur certains jeux de données) à une moyenne de 6,6 % sur RQA-MC, comparable ou supérieur aux méthodes robustes existantes.
• Limites des Attaques Adaptatives (RQ3) : Les attaques adaptatives peuvent contourner le Filtre AV, atteignant un ASR allant jusqu'à 35 %. Cependant, cela s'accompagne d'un coût prohibitif :
  • Elles nécessitent un accès complet aux internals du modèle et à la base de connaissances.
  • Elles impliquent une optimisation spécifique à la requête, augmentant le temps d'exécution d'environ $10^3$ à $10^4$ fois par rapport aux attaques standard (par exemple, ~18 000 secondes par requête).
  • Les auteurs concluent que cela représente une limite théorique extrême plutôt qu'une menace pratique.

Signification et Revendications

L'article revendique que la furtivité et l'efficacité sont fondamentalement des compromis dans l'empoisonnement RAG. Pour manipuler avec succès une réponse avec une minorité de passages empoisonnés, un adversaire doit exercer une influence disproportionnée, ce qui laisse une signature détectable dans les poids d'attention.

• Efficacité de la Défense : Le Filtre AV offre une défense pratique à faible surcharge qui préserve l'utilité des systèmes RAG (chute minimale de la précision sur les données propres) tout en atténuant efficacement les attaques actuelles à faible furtivité.
• Limites : La défense repose sur des hypothèses spécifiques : la corruption doit être une minorité ($\epsilon < 0,5$), les connaissances correctes doivent être représentées de manière redondante dans les passages bénins, et l'attaque doit cibler le contenu de la réponse (et non le style ou la fuite de données).
• Perspectives Futures : Bien que les attaques adaptatives montrent que la furtivité peut être améliorée, elles restent coûteuses en calcul et en ressources. L'article suggère que parvenir à une véritable furtivité efficace dans l'empoisonnement RAG reste un défi ouvert majeur, et que des défenses en temps polynomial comme le Filtre AV sont actuellement suffisantes pour les scénarios pratiques.

Les auteurs soulignent que leur double contribution (défense et attaque adaptative) vise à stimuler le développement de systèmes RAG plus robustes en exposant les vulnérabilités actuelles et le coût élevé de leur surmontement.