Résumé technique : Traçage des réponses cibles dans les corpus de recherche empoisonnés via l'attribution d'influence des jetons

Énoncé du problème

Les systèmes de génération augmentée par recherche (RAG), bien qu'ils améliorent les grands modèles de langage (LLM) grâce à des connaissances externes, sont vulnérables aux attaques par empoisonnement de corpus. Dans ces attaques, des adversaires injectent des documents trompeurs dans le corpus de recherche pour manipuler la sortie du LLM vers une réponse cible erronée et spécifique. Les méthodes de détection existantes reposent généralement sur des classifieurs auxiliaires ou une vérification supplémentaire basée sur un LLM (par exemple, interroger un modèle distinct pour vérifier les sorties). Ces approches introduisent une surcharge de calcul substantielle et des coûts de maintenance élevés, ce qui les rend peu pratiques pour de nombreux déploiements en entreprise qui nécessitent des mécanismes de défense légers et en temps réel.

Méthodologie : Cadre TRACE

Les auteurs proposent TRACE, un cadre de détection léger qui identifie les attaques par empoisonnement en traçant les jetons liés à la réponse via l'attribution d'influence des jetons. Contrairement aux méthodes qui classent les documents comme bénins ou malveillants, TRACE analyse la mécanique interne du LLM cible pour identifier les jetons exerçant la plus forte influence sur les prédictions. Le cadre fonctionne en deux phases distinctes :

Phase 1 : Recherche de mots-clés

1. Calcul de l'influence : Pour chaque document récupéré, le système calcule les scores d'influence par jeton via la rétropropagation. La chaîne cible est une affirmation prédéfinie (par exemple, « Oui, la réponse est : »). L'influence d'un embedding de jeton $x_i$ est calculée comme la norme au carré du gradient de la log-probabilité de l'affirmation par rapport à ce jeton : $\|\nabla_{x_i} \log P_\theta(y|x_{1:n})\|^2$.
2. Filtrage : Le système extrait les $k_1$ jetons les plus influents, en excluant strictement la ponctuation, les mots fréquents (mots vides/stopwords) et les jetons déjà présents dans la requête de l'utilisateur afin de réduire le bruit.
3. Construction de phrases : Les indices de haute influence contigus sont concaténés en phrases candidates.
4. Filtrage par consensus : Ces phrases sont agrégées à travers tous les documents récupérés. Une phrase n'est admise dans l'ensemble des mots-clés candidats $K$ que si elle réapparaît dans un nombre de documents respectant un seuil $a_1$. Cela permet d'isoler la charge utile malveillante consolidée et synchronisée à travers le corpus empoisonné.

Phase 2 : Vérification secondaire

1. Réévaluation ciblée : Pour chaque mot-clé candidat $p \in K$, le système réévalue les documents récupérés. Contrairement à la Phase 1, la phrase candidate $p$ elle-même est définie comme la prédiction cible pour calculer de nouveaux gradients d'influence par jeton.
2. Identification du déclencheur : L'algorithme identifie les $k_2$ jetons les plus influents au sein de chaque document qui correspondent à la phrase candidate.
3. Vérification finale : Ces jetons sont agrégés, et un jeton est ajouté à l'ensemble cible final $T$ uniquement s'il apparaît comme un déclencheur à haute influence dans au moins $a_2$ documents distincts.
4. Indicateur de détection : Si l'ensemble cible final $T$ n'est pas vide, le corpus récupéré est marqué comme empoisonné.

Contributions clés

1. Cadre léger : TRACE introduit un mécanisme de détection qui ne nécessite aucun classifieur auxiliaire et aucune vérification supplémentaire par LLM, réduisant considérablement la surcharge de calcul.
2. Paradigme d'attribution de jetons : L'article propose une nouvelle approche de détection qui identifie l'empoisonnement en traçant les jetons récurrents à haute influence à travers les documents récupérés, liant directement l'influence des jetons aux prédictions du modèle.
3. Révélation de la réponse cible : Au-delà de la simple détection, TRACE démontre la capacité de révéler les réponses cibles spécifiées par l'attaquant avec un faible coût de calcul, fournissant une intelligence exploitable pour l'analyse défensive.

Résultats expérimentaux

Les auteurs ont évalué TRACE sur trois benchmarks de questions-réponses (Natural Questions, HotpotQA, MS-MARCO) en utilisant six LLM divers (Llama-3.1-8B, Gemma-3-4b, Qwen-3.5-4B, Vicuna-7b, Mistral-7B, et Phi-4-mini) contre la ligne de base d'attaque PoisonedRAG.

• Performance de détection : TRACE a systématiquement atteint un taux de vrais positifs (TPR) de plus de 90 % sur presque tous les modèles évalués. Sur le modèle Phi-4-mini, il a obtenu un TPR moyen de 98,87 %.
• Contrôle des faux positifs : En ajustant les hyperparamètres, le cadre a maintenu le taux de faux positifs (FPR) en dessous de 10 % dans les scénarios bénins, démontant un contrôle robuste des fausses alertes.
• Identification de la réponse cible : Le cadre a réussi à identifier la réponse cible de l'attaquant dans environ 90 % des cas sur les ensembles de données NQ et MS-MARCO, et plus de 70 % sur HotpotQA.
• Efficacité : Comparé à RAGForensics (une ligne de base utilisant la vérification par LLM), TRACE a obtenu une performance de détection supérieure avec un temps d'exécution nettement inférieur (par exemple, ~1,0s contre ~9,0s par question pour Llama-3.1-8B).

Signification et affirmations

L'article affirme que TRACE offre une défense de première ligne en temps réel pour les pipelines RAG. Sa signification réside dans :

• Aucune connaissance préalable : Contrairement aux défenses réactives qui nécessitent de connaître la réponse cible pour vérifier les sorties, TRACE identifie les jetons de la réponse cible avant la génération sans connaissance préalable de l'attaque.
• Viabilité opérationnelle : En éliminant la nécessité d'entraîner des modèles auxiliaires ou de répéter l'inférence par LLM, TRACE répond aux contraintes pratiques du déploiement en entreprise.
• Transparence : La capacité de révéler les jetons spécifiques qui pilotent la prédiction malveillante permet aux organisations d'intercepter les sorties malveillantes et de limiter les risques réputationnels.

Les auteurs reconnaissent des limites, notant que la méthode repose sur la récurrence statistique des réponses cibles et peut être moins sensible aux attaques impliquant très peu de documents empoisonnés. Cependant, ils soutiennent que de telles injections éparses réduisent intrinsèquement le taux de réussite de l'attaque (ASR), faisant de TRACE un filtre efficace pour les tentatives d'empoisonnement à fort impact. Ce travail est présenté strictement comme un outil défensif pour l'évaluation de la sécurité, sans publication de nouveaux mécanismes d'attaque ou de jeux de données.