Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

1. Problématique et Contexte

La recherche d'information dense (Dense Retrieval) repose sur l'utilisation de modèles de langage neuronaux pour encoder les requêtes et les documents dans un espace vectoriel continu, où la pertinence est déterminée par la similarité entre ces vecteurs. Cependant, ces modèles sont vulnérables aux attaques adverses.

L'article se concentre sur le poisoning de corpus (empoisonnement de corpus), où un adversaire injecte de faux documents dans la base de données pour fausser les résultats de classement, en faisant apparaître des documents non pertinents en tête de liste.

L'article identifie deux limitations majeures dans la littérature existante :

1. Espace d'optimisation : Les méthodes actuelles (comme HotFlip) opèrent dans l'espace lexical discret (substitution de mots token par token). Or, la recherche dense se déroule dans un espace d'embedding continu. Cette déconnexion crée un décalage d'objectifs et une complexité temporelle élevée.
2. Hypothèse de connaissance des requêtes : La plupart des attaques supposent que l'adversaire connaît la distribution des requêtes cibles à l'avance. L'article propose un scénario plus réaliste et difficile : l'attaque non supervisée, où l'adversaire ne connaît aucune requête et ne dispose que du document cible à corrompre.

2. Méthodologie Proposée

Les auteurs proposent une méthode d'attaque qui opère directement dans l'espace des embeddings (continu) plutôt que dans l'espace des tokens. La méthode repose sur deux modèles principaux :

A. Modèle de Reconstruction (Reconstruction Model)

Pour contourner la nature discrète du langage tout en optimisant dans l'espace continu, les auteurs entraînent un modèle de reconstruction ($R$).

• Fonction : Ce modèle apprend à reconstruire le texte original ($d$) à partir de ses embeddings contextuels au niveau des tokens ($e_d$) générés par l'encodeur de recherche ($E$).
• Architecture : Un encodeur Transformer multi-couches suivi d'une couche de classification.
• Objectif : Minimiser la perte d'entropie croisée entre le texte original et le texte reconstruit. Cela permet de passer de l'espace continu (où le gradient est calculable) à l'espace discret (le texte final).

B. Modèle de Perturbation (Perturbation Model)

C'est le cœur de l'attaque. Un modèle léger (un perceptron à trois couches) est entraîné pour modifier les embeddings du document cible.

• Objectif Dual : Le modèle de perturbation ($\phi$) doit satisfaire deux conditions contradictoires :
  1. Similarité d'Embedding : Minimiser la distance euclidienne entre l'embedding du document original et celui du document adversaire ($\tilde{d}$) pour garantir un classement élevé.
  2. Irrélevance Sémantique : Maximiser la dissimilarité au niveau des tokens entre le document original et le document adversaire pour que le contenu soit incompréhensible pour l'utilisateur.
• Fonction de Perte ($L_{Attack}$) :
  $$L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$$
  • $L_{MSE}$ : Erreur quadratique moyenne entre les embeddings (pour la similarité).
  • $L_{CE}$ : Perte d'entropie croisée au niveau des tokens (pour la dissimilarité sémantique).
  • $\lambda$ : Un hyperparamètre qui limite l'échelle de la perte d'entropie pour stabiliser l'optimisation.

Le processus génère un embedding adversaire, qui est ensuite décodé en texte par le modèle de reconstruction.

3. Contributions Clés

1. Attaque Non Supervisée : Première méthode de poisoning de corpus qui ne nécessite aucune connaissance préalable des requêtes de recherche, se basant uniquement sur le document cible.
2. Optimisation dans l'Espace Continu : Déplacement de l'optimisation de l'espace discret (substitution de mots) vers l'espace continu des embeddings, résolvant le problème de discontinuité et accélérant considérablement le processus.
3. Efficacité et Furtivité :
   • Vitesse : Génération d'exemples adverses en moins de 2 minutes par document (4 fois plus rapide que les méthodes HotFlip les plus rapides).
   • Perplexité : Les documents générés ont une perplexité beaucoup plus faible (plus proches du texte naturel) que les méthodes par substitution, les rendant plus difficiles à détecter par des filtres basés sur la perplexité.
4. Transférabilité : La méthode montre une forte capacité de transfert dans les scénarios "boîte noire" (attaque sur des modèles inconnus).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (MS MARCO, TREC DL, NQ, Quora, FiQA, Touché-2020) et avec divers modèles de recherche (SimLM, Contriever, E5, DPR, etc.).

• Performance d'Attaque (Top-1 et Poisoning) :
  • La méthode proposée atteint un taux de réussite d'attaque (ASR) comparable aux méthodes HotFlip (l'état de l'art) dans les scénarios "boîte blanche".
  • Dans les scénarios "boîte noire" (transfert vers d'autres modèles), la méthode proposée surpasse HotFlip, probablement grâce à la meilleure fluidité des textes générés.
• Qualité du Texte (Irrélevance Sémantique) :
  • Les documents générés sont jugés "non pertinents" par des experts humains et des LLM (modèles de langage) avec un taux de réussite élevé.
  • Le score BLEU est faible, indiquant une forte dissimilarité textuelle par rapport à l'original.
• Détection :
  • La perplexité des documents générés par la méthode proposée est significativement plus basse (ex: ~189 contre ~6000 pour HotFlip sur certains jeux de données), ce qui les rend indétectables par les filtres de perplexité standards.
• Efficacité Temporelle :
  • Temps de génération : ~100-130 secondes par document contre ~450-580 secondes pour HotFlip (sur le même matériel).

5. Signification et Implications

• Vulnérabilité des Modèles Denses : L'article démontre que les modèles de recherche d'information les plus avancés (SOTA) sont extrêmement vulnérables à des attaques rapides et peu coûteuses, même sans connaissance des requêtes.
• Nécessité de Défenses : La faible perplexité des attaques suggère que les défenses basées uniquement sur la détection de texte "bizarre" ou de haute perplexité seront inefficaces.
• Potentiel pour l'Entraînement Adversaire : Grâce à sa rapidité, la méthode permet de générer de grandes quantités d'échantillons adverses pour entraîner des modèles de recherche plus robustes (Adversarial Training). Les auteurs montrent une réduction de 7,9% du taux de réussite des attaques après un tel entraînement.

En conclusion, cette recherche établit un nouveau standard pour les attaques de poisoning de corpus, prouvant que l'optimisation dans l'espace continu est non seulement plus rapide, mais aussi plus efficace et plus furtive que les approches traditionnelles basées sur la substitution de mots.