Résumé Technique : Attaques Boîte-Noire Agnostiques aux Requêtes « Quelqu'un l'a Caché ! » sur la Récupération Basée sur les LLM

1. Formulation du Problème

L'article traite des vulnérabilités de sécurité des systèmes de récupération basés sur les grands modèles de langage (LLMR), qui servent de fondations à la génération augmentée par récupération (RAG), à la récupération d'information (IR) et à la mémoire des agents. Bien que des recherches existantes aient démontré que les systèmes LLMR sont sensibles aux attaques adverses via des injections au niveau des jetons, les méthodes actuelles souffrent de deux limitations critiques concernant leur applicabilité dans le monde réel :

1. Hypothèses de boîte blanche : La plupart des attaques existantes nécessitent un accès complet aux paramètres ou à l'architecture du modèle victime.
2. Connaissance de la requête : Les méthodes existantes supposent souvent que l'attaquant connaît la requête utilisateur spécifique ou a accès au corpus de documents de la victime.

Dans des scénarios réalistes en boîte noire, les attaquants manquent généralement de connaissances sur le modèle victime, le corpus de documents caché et les requêtes utilisateur spécifiques (qui sont générées après l'attaque). De plus, les attaquants disposent généralement de capacités limitées, telles que celles d'un utilisateur normal (par exemple, un contributeur Wikipédia) qui ne peut que lire et légèrement modifier un document.

Le Problème Central : Un attaquant peut-il réussir à cacher un document victime spécifique à un récupérateur basé sur un LLM dans un contexte de boîte noire complet ? L'attaquant doit manipuler le document (via une injection de jetons) sans connaître le modèle victime, la requête utilisateur ni le corpus complet, de telle sorte que le document ne figure pas dans les $k$ premiers résultats pour toute requête pertinente.

2. Méthodologie

Les auteurs proposent une méthode d'attaque boîte-noire agnostique aux requêtes qui génère des jetons d'injection transférables en utilisant un LLM de substitution. La méthodologie repose sur un cadre théorique et un mécanisme d'apprentissage adversarial.

2.1 Cadre Théorique : Récupérateur $\epsilon$-$p_\epsilon$-Précis

Les auteurs établissent d'abord une définition théorique pour quantifier le comportement des récupérateurs LLM. Ils définissent un Récupérateur $\epsilon$-$p_\epsilon$-Précis comme un système où, pour une distribution de sujets donnée, une fraction $p_\epsilon$ des contextes au sein d'un même sujet présentent des similitudes d'embedding qui sont d'au moins $\epsilon$ supérieures aux similitudes entre les contextes de sujets différents.

• Vérification Empirique : Des expériences utilisant l'analyse en composantes principales (ACP) sur les embeddings de 24 sujets confirment que les LLM regroupent naturellement les contextes d'un même sujet dans l'espace d'embedding, validant ainsi l'hypothèse selon laquelle les récupérateurs possèdent cette propriété.

2.2 Transférabilité via l'Optimisation Min-Max

Pour réaliser une attaque en boîte noire, la méthode utilise un modèle de substitution ($g$) pour approximer le modèle victime ($f$). L'attaque est formulée comme un problème min-max :

• Objectif : Minimiser la similitude entre le document perturbé $d'$ et la requête $q$.
• Défi : Puisque $q$ est inconnue, les auteurs approximent la cible en maximisant la similitude entre $d'$ et un ensemble de requêtes échantillonnées $X$ au sein du même sujet.
• Théorème 3.2 (Transférabilité) : Les auteurs prouvent que si le modèle de substitution $g$ est un Récupérateur $\epsilon_g$-$p_{g\epsilon}$-Précis, et que l'attaque optimise $d'$ de telle sorte que sa similitude avec les requêtes échantillonnées soit inférieure à la similitude minimale au sein du cluster de sujets, alors $d'$ sera probablement exclue des $k$ premiers résultats du modèle victime $f$ (en supposant que $f$ est également précis).

2.3 Apprentissage Adversarial Document-Requête (DQ-A)

Pour résoudre le problème min-max sans connaître la vraie requête, les auteurs proposent un cadre d'apprentissage Adversarial Document-Requête (DQ-A) :

1. Échantillonnage de Requête : Un LLM « occasionnel » tiers génère $N$ requêtes potentielles diversifiées ($S$) liées au sujet du document victime.
2. Optimisation Adversariale :
   • Optimisation du Document : Les jetons injectés dans le document victime sont optimisés pour minimiser la similitude avec les requêtes échantillonnées.
   • Optimisation de la Requête : Les requêtes échantillonnées sont optimisées pour maximiser la similitude avec le document victime (agissant comme un générateur de « négatifs durs »).
3. Différence de Population : Au lieu d'utiliser des taux d'apprentissage pour équilibrer les boucles internes (requête) et externes (document), la méthode utilise une différence de population. Elle optimise un ensemble de $N$ requêtes diversifiées contre un seul document, simulant l'effet d'un taux d'apprentissage plus élevé pour le côté requête.

2.4 Stratégie de Substitution par Embeddings de Mots

Une innovation technique clé est l'utilisation des embeddings de mots (la sortie de la première couche d'embedding) plutôt que des états cachés finaux (dernier bloc transformeur) comme substitution pour l'apprentissage adversarial.

• Justification : Les résultats empiriques suggèrent que l'optimisation des distances dans les couches peu profondes (embeddings de mots) produit des attaques plus efficaces et transférables sur les embeddings de récupération finaux que l'optimisation directe des couches profondes. Cela est attribué au grand nombre de paramètres des LLM, où les perturbations des couches peu profondes ont une influence plus robuste sur l'espace de représentation final.

3. Contributions Clés

1. Cadre d'Attaque Boîte-Noire : L'article présente la première méthode d'attaque complète en boîte noire pour les LLMR qui ne nécessite aucune connaissance du modèle victime, du corpus de documents ou des requêtes utilisateur. Elle simule un attaquant réaliste capable uniquement de modifier des documents.
2. Fondement Théorique : Il établit un cadre théorique (Récupérateur $\epsilon$-$p_\epsilon$-Précis) et fournit des preuves empiriques que les embeddings LLM se regroupent par sujet, ce qui constitue la base de la preuve de transférabilité de l'attaque.
3. Mécanisme d'Apprentissage DQ-A : Les auteurs introduisent un mécanisme d'apprentissage adversarial novateur qui optimise conjointement les documents victimes et les requêtes échantillonnées en utilisant une approche basée sur la population pour gérer les défis d'optimisation non convexe.
4. Stratégie de Substitution : L'article identifie et valide que l'utilisation des embeddings de mots comme substitution pour l'entraînement adversarial améliore considérablement la transférabilité de l'attaque par rapport à l'utilisation des états cachés finaux.
5. Transférabilité Zero-Shot : La méthode démontre que les jetons injectés dans un document peuvent simultanément dégrader les performances de récupération sur divers récupérateurs LLM différents (par exemple, Qwen, Mistral, Jina, Gemma) sans réentraînement ni ajustement spécifique au modèle.

4. Résultats Expérimentaux

La méthode a été évaluée sur des jeux de données de référence (Économie, Psychologie, Biologie, Robotique) issus du benchmark BRIGHT contre sept récupérateurs LLM populaires (y compris Qwen-1.5, SFR-Mistral, E5-Mistral, Embedding-Gemma, Jina, Granite et Qwen3).

• Impact sur les Performances : L'attaque proposée (DQ-A) a constamment surpassé les bases de référence existantes (GCG, PRADA, Poisoned-RAG).
  • Elle a entraîné une baisse moyenne de performance de 2 % à 10 % pour le Recall@25 et de 1 % à 7 % pour le Recall@50 sur la plupart des modèles.
  • Dans des cas spécifiques (par exemple, le jeu de données Robotique sur Qwen1.5), l'attaque a provoqué une baisse de 8 % du Recall@50, représentant une réduction d'environ 30 % des performances originales du modèle.
• Études d'Ablation :
  • Apprentissage Adversarial : La suppression de l'optimisation adversariale des requêtes (S-GCG) a entraîné un succès d'attaque significativement plus faible, validant la conception DQ-A.
  • Couche de Substitution : L'utilisation des embeddings de mots (DQ-A) a surpassé l'utilisation des états cachés finaux (DQ-A-H) dans la plupart des scénarios.
  • Taille de l'Échantillon : L'augmentation du nombre de requêtes échantillonnées ($|S|$) a amélioré les performances jusqu'à un certain point (environ 10), après quoi des rendements décroissants ont été observés.
  • Position d'Injection : Les attaques étaient plus efficaces lorsque les jetons étaient injectés au début ou à la fin du document, le milieu étant moins efficace, ce qui correspond aux mécanismes d'attention des transformeurs.
• Robustesse : L'attaque est restée efficace même lorsque le récupérateur était couplé à un modèle de réordonnancement, car l'attaque filtre le document hors du pool de candidats avant que le réordonnancement puisse agir.

5. Signification et Revendications

L'article affirme que son travail révèle un mode de défaillance critique, précédemment sous-exploré, dans les systèmes de récupération basés sur les LLM.

• Pertinence du Monde Réel : En opérant sous des contraintes strictes de boîte noire (aucune connaissance de la requête, aucun accès au modèle), l'attaque met en évidence une vulnérabilité qui existe dans des scénarios de déploiement pratiques, tels que les wikis publics ou les forums de discussion où le contenu peut être modifié par des utilisateurs non fiables.
• Implications Plus Larges : Les auteurs notent que les problèmes de robustesse identifiés ne proviennent pas uniquement d'attaques malveillantes, mais pourraient également résulter de modifications de documents bénignes ou involontaires dans le monde réel. Si des mises à jour de contenu standard peuvent involontairement repousser des documents hors des clusters de récupération, la fiabilité des systèmes LLMR est fondamentalement remise en question.
• Lacune de Défense : L'article déclare explicitement que les mécanismes de défense existants (axés sur la détection de l'empoisonnement du corpus ou le réordonnancement post-récupération) sont insuffisants pour ce type d'attaque de « diminution ». Il appelle à de nouvelles stratégies de défense axées sur la construction de mécanismes de récupération robustes eux-mêmes, plutôt que sur la simple détection de sorties empoisonnées.

Les auteurs maintiennent un ton modeste, reconnaissant que, bien que l'attaque soit efficace, elle vise à caractériser les vulnérabilités du système pour informer le développement de systèmes plus robustes, plutôt que de promouvoir une utilisation malveillante. Ils notent également qu'il est possible de booster des documents spécifiques en utilisant une version inversée de l'attaque, mais que cela est actuellement limité en efficacité.