Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

Probleemstelling

Dit paper richt zich op corpus poisoning-aanvallen in de context van dichte informatieopslag (dense retrieval). In dichte retrieval worden queries en documenten omgezet in continue vectorrepresentaties (embeddings) door neurale taalmodellen, en wordt relevantie bepaald door de afstand tussen deze vectoren.

De huidige literatuur heeft twee belangrijke beperkingen die dit paper adresseert:

1. Discrete vs. Continue Ruimte: Bestaande aanvalsmethodes (zoals HotFlip) werken in de discrete lexicale ruimte door tokens één voor één te vervangen via gradiënt-based zoekopdrachten. Dit creëert een misalignement, omdat de daadwerkelijke retrieval plaatsvindt in de continue embedding-ruimte. Dit leidt tot hoge rekentijd en suboptimale resultaten.
2. Aannames over Queries: Veel bestaande methodes gaan ervan uit dat de aanvaller vooraf kennis heeft van de query-distributie (supervised). In de praktijk is dit echter zelden het geval. De auteurs introduceren een onzelftoezicht (unsupervised) scenario waarbij de aanvaller geen kennis heeft van de queries, maar alleen het doelwitdocument kent.

Het doel van de aanval is om een klein aantal kwaadaardig gegenereerde documenten in het corpus te injecteren die een hoge ranking scoren (dicht bij de query-embeddings liggen), maar voor de menselijke gebruiker onzin of irrelevant zijn.

Methodologie

De auteurs stellen een nieuwe aanvalsframework voor dat direct in de continue embedding-ruimte opereert, in plaats van op token-niveau. Het systeem bestaat uit twee hoofdcomponenten:

1. Reconstructiemodel (Reconstruction Model):

   • Dit is een transformer-encoder die getraind is om een document te reconstrueren op basis van zijn contextuele token-level embeddings.
   • Het model leert de relatie tussen de embeddings van de retrieval-encoder en de oorspronkelijke tekst. Hierdoor kan de aanvaller werken met continue vectoren en deze later terugvertalen naar tekst.
   • Het model wordt getraind met een cross-entropy loss om de originele tokens zo nauwkeurig mogelijk te herstellen.

2. Perturbatiemodel (Perturbation Model):

   • Dit is een lichtgewicht model (een drie-laags perceptron) dat de embedding van een doelwitdocument ($d$) transformeert naar een aanvalsembedding ($\tilde{d}$).
   • De optimalisatie streeft naar twee tegenstrijdige doelen, geformuleerd als een gecombineerde loss-functie:
     • Embedding Similariteit: Minimaliseren van de Euclidische afstand tussen de originele en de aangevallen embedding (zodat de ranking hoog blijft).
     • Semantische Irrelevantie: Maximaliseren van de token-level dissimilariteit tussen het originele en het aangevallen document (zodat de tekst voor de mens onbegrijpelijk wordt).
   • De totale loss-functie is: $L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$, waarbij $\lambda$ een hyperparameter is die de mate van token-overlap reguleert.

Na het optimaliseren van de embedding in de perturbatiestap, wordt de reconstructiemodel gebruikt om de aangevallen embedding terug te vertalen naar een leesbaar (maar onzinnig) document.

Kernbijdragen

• Onzelftoezicht (Unsupervised) Corpus Poisoning: Een nieuwe aanvalssetting zonder kennis van de query-distributie, wat realistischer is voor echte scenario's.
• Continuous Space Optimization: Een methode die direct in de embedding-ruimte optimaliseert, waardoor de discrepantie tussen aanval en retrieval wordt opgeheven.
• Snelheid en Efficiëntie: De methode is aanzienlijk sneller dan bestaande state-of-the-art (SOTA) methodes.
• Onopvallendheid (Stealth): De gegenereerde documenten hebben een lage perplexiteit (ze lijken meer op natuurlijke tekst) en zijn daardoor moeilijker te detecteren door filters die op taalgebruik baseren.

Resultaten

De auteurs hebben hun methode getest op diverse datasets (MS MARCO, TREC DL, NQ, Quora, FiQA, Touché-2020) en tegen meerdere retrieval-modellen (SimLM, Contriever, E5, etc.).

• Effectiviteit (White-box & Black-box):
  • In white-box scenario's (waar de verdediger bekend is) presteert de methode vergelijkbaar met de SOTA HotFlip-methode qua aanvalsucces (Attack Success Rate - ASR).
  • In black-box scenario's (waar de verdediger onbekend is) toont de methode superieure transferability. De gegenereerde aanvalsdocumenten zijn effectiever in het misleiden van andere modellen dan die van HotFlip.
• Snelheid:
  • De methode genereert succesvolle voorbeelden in onder de 2 minuten per doelwitdocument.
  • Dit is 4x sneller dan de snelste HotFlip-implementatie in de literatuur (die ongeveer 8 minuten per document nodig had op dezelfde hardware).
• Perplexiteit en Detectie:
  • De gegenereerde documenten hebben een significante lagere perplexiteit dan die van HotFlip en Random Token methodes.
  • Dit betekent dat ze beter lijken op natuurlijke tekst en moeilijker te filteren zijn door systemen die afwijken van de standaard taalverdeling opsporen.
• Semantische Irrelevantie:
  • Menselijke evaluatoren en LLM's (GPT-4o-mini) bevestigden dat de gegenereerde documenten semantisch irrelevant zijn (onbegrijpelijk voor de gebruiker), terwijl ze toch hoog in de ranking verschijnen.

Betekenis en Conclusie

Dit paper demonstreert dat moderne dense retrieval-modellen kwetsbaar zijn voor snelle, efficiënte en onopvallende aanvalsstrategieën. De belangrijkste implicaties zijn:

1. Veiligheidsrisico: Zelfs zonder kennis van de zoekopdrachten kunnen aanvallen succesvol zijn, wat een bedreiging vormt voor zoekmachines en aanbevelingssystemen.
2. Nieuwe Defensie: De hoge snelheid van de aanval maakt het mogelijk om adversarial training op grote schaal toe te passen. De auteurs tonen aan dat het gebruik van deze gegenereerde documenten als negatieve voorbeelden tijdens het trainen de robuustheid van het model verbetert zonder de prestaties te schaden.
3. Paradigmaverschuiving: Het paper benadrukt dat defensieve maatregelen niet alleen gericht moeten zijn op het detecteren van "rauwe" tekst, maar ook op de continuïteit van de embedding-ruimte, aangezien traditionele token-based filters minder effectief blijken tegen deze nieuwe aanvalsstijl.

Kortom, de auteurs bieden een krachtig bewijs dat dense retrieval-systemen kwetsbaar zijn, en bieden tegelijkertijd een efficiëntere manier om deze kwetsbaarheden te testen en te verdedigen.