Technische Samenvatting: SilentRetrieval

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen vertrouwen op de integriteit van hun externe kenniscorpora om hallucinaties van Large Language Models (LLM's) te mitigeren. Deze afhankelijkheid creëert echter een kritieke kwetsbaarheid: als een adversary in staat is om kwaadaardige documenten in het corpus in te brengen, kunnen zij het retrieval-proces overnemen en vervolgens de generatie van de LLM manipuleren.

Eerdere adversary-aanvallen op RAG staan voor een aanhoudende afweging tussen retrieval-effectiviteit, generatiemanipulatie en stille uitvoering. Bestaande methoden produceren vaak outputs die gemakkelijk detecteerbaar zijn:

• Op gradiënten gebaseerde optimalisatie (bijv. AGGD, GASLITE) bereikt sterke retrieval-overname, maar faalt vaak bij het effectief manipuleren van de generatiefase of mist vloeiheidsbeperkingen.
• Gecombineerde retriever-generator-aanvallen (bijv. Joint-GCG, PoisonedRAG) manipuleren de generatie goed, maar genereren tekst met een hoge perplexiteit (PPL > 150), waardoor ze kwetsbaar zijn voor eenvoudige filters op basis van perplexiteit.
• Adversary-decodering behoudt vloeiheid, maar werkt tijdens de generatie in plaats van via vergiftiging van het corpus.

De kernuitdaging is het construeren van een data-vergiftigingsaanval die tegelijkertijd retrieval-overname bereikt, de output van de LLM manipuleert en aanzienlijk minder verdacht blijft dan eerdere baselines, zowel onder automatische filters als bij menselijke inspectie.

Methodologie: SilentRetrieval

De auteurs stellen SilentRetrieval voor, een tweestaps data-vergiftigingskader dat is ontworpen om te optimaliseren voor retrieval-overname en generatiemanipulatie, terwijl strikt wordt voldaan aan een vloeiheidsbudget.

Stap 1: Gecoördineerde Beam Search (CBS)

Deze stap optimaliseert een thematisch relevant "host"-document om ervoor te zorgen dat dit nog steeds vindbaar blijft nadat een kwaadaardige lading is ingevoegd. In tegenstelling tot eerdere single-token greedy-benaderingen, voert CBS multi-token gezamenlijke optimalisatie uit.

• Doel: Een gepenaliseerde maximalisatieprobleem dat een afweging maakt tussen embedding-similariteit en een vloeiheidsschendingstransactie:
  $$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$$
• Mechanisme:
  1. Gradiëntgeleide Kandidaten: Gradiënten van de retriever en een heuristisch signaal van het Perplexity (PPL)-model stellen kandidaat-tokenbewerkingen voor.
  2. Gecoördineerde Beam Search: Het algoritme selecteert de top-$M$ posities op basis van gradiëntgrootte en construeert een beam over de gezamenlijke ruimte van $M \times K$ kandidaatvervangingen.
  3. Evaluatie: Volledige doelstellingsevaluatie (inclusief PPL via GPT-2) wordt uitgevoerd op beam-kandidaten. Kandidaten die het PPL-budget ($\tau_{ppl} = 50$) overschrijden, worden afgewezen.
• Doel: Het host-document voor te bereiden zodat de daaropvolgende invoeging van een doel-dragende lading niet leidt tot een instorting van de rangorde van het document in de retrieval.

Stap 2: Context-Adaptieve Triggergeneratie (CATG)

In plaats van vaste trigger-sjablonen toe te voegen, maakt deze stap gebruik van een bevroren LLM (Llama-2-7B-Chat) om een trigger te genereren die contextueel is geïntegreerd met het geoptimaliseerde document.

• Synthese: De LLM wordt geprompt om het geoptimaliseerde document ($d_{opt}$) voort te zetten met een zin die de doelstelling ($a_{target}$) op een natuurlijke manier integreert, passend bij de stijl, domeinvocabulaire en vertelstem van het passage.
• Filtering: gegenereerde triggers ondergaan drie kwaliteitspoorten:
  1. Entailment: Moet de doelantwoord impliceren (geverifieerd via een NLI-model).
  2. Coherentie: De cosinus-similariteit tussen de embedding van het host-document en de trigger moet hoger zijn dan 0,7.
  3. PPL-poort: Het samengevoegde adversary-document moet voldoen aan het PPL-budget.
• Kadering: De prompt moedigt autoritaire formuleringen aan (bijv. "geverifieerde bronnen") om de neiging van de LLM te exploiteren om zich te beraden op zelfverzekerde taal in geretrieveerde contexten.

Belangrijkste Bijdragen

1. Tweestaps Aanvalskader: De introductie van CBS voor vloeiheidsbeperkte multi-token optimalisatie en CATG voor lichtgewicht, contextbewuste triggerfusie.
2. Uitgebreide Evaluatie: Evaluatie op Natural Questions (NQ, 361K passages) en MS MARCO (8,8M passages) onder een uniek single-documentprotocol. De studie omvat cross-model generaliseerbaarheid (4 LLM's), surrogate-transfer-aanvallen tegen onbekende retrievers (inclusief commerciële embeddings) en schaalbaarheidsanalyse tot 21M passages.
3. Defensie en Adaptieve Analyse: Empirische evaluatie van retrieval-zijde verdedigingen (herordening, hybride retrieval) en generatie-zijde verdedigingen (passage-isolatie), samen met een adaptieve aanval die defensie-bewuste optimalisatie integreert.
4. Menselijke Evaluatie: Een studie ($n=600$ documenten) die aantoont dat SilentRetrieval-documenten aanzienlijk lagere flag-rates hebben dan disfluent baselines.

Experimentele Resultaten

Hoofdprestaties

Op het NQ-dataset (361K corpus) bereikt SilentRetrieval:

• HR@10: 84,6% (hoogste onder baselines).
• ASR-LLM (Aanvalssuccesrate via LLM-as-Judge): 57,5%.
• Perplexiteit (PPL-G2): 32,4 (bijna onschuldig, vergeleken met 28,4 voor onschuldige documenten).
• Stilte: Slechts 8,7% van de SilentRetrieval-documenten wordt gedetecteerd door een onafhankelijke PPL-audit ($\tau=50$), vergeleken met 94,2% voor Joint-GCG en 83,3% voor de Zhong et al.-baseline.

Generaliseerbaarheid en Transfer

• Cross-Model: De aanval behoudt een niet-triviale effectiviteit over vier doel-LLM's (Llama-2, Mistral, Qwen, GPT-3.5), met ASR-LLM variërend van 48,6% tot 57,5%.
• Surrogaat Transfer: Wanneer geoptimaliseerd tegen een surrogaat-retriever (Contriever) en getest tegen onbekende doelsystemen (inclusief ColBERTv2 en commerciële embeddings zoals text-embedding-ada-002), behoudt de aanval een gemiddelde HR@10 van 64,7%.
• Schaalbaarheid: In een bemonsterde evaluatie van 21M passages daalt HR@10 naar 74,2% bij een vergiftigingsratio van 0,016%, wat aangeeft dat hoewel corpusuitbreiding een gedeeltelijke natuurlijke verdediging biedt, dit onvoldoende is om de aanval volledig te neutraliseren.

Effectiviteit van Defensie

• Gecombineerde Defensies: Een gelaagde defensiestrategie (Hybride Retrieval + Cross-Encoder Herordening + Passage Isolatie) verlaagt ASR-LLM naar 21,3% (bij 11× latentie) of 25,6% (bij 6× latentie).
• Adaptieve Aanvallen: Een adaptieve aanval die optimaliseert tegen een specifieke herordener (MiniLM-L6-v2) herstelt ongeveer 6,2% HR@10 ten opzichte van de niet-adaptieve aanval onder dezelfde verdediging, wat een opkomende wapenwedloop benadrukt.

Menselijke Evaluatie

In een studie met 10 annotatoren werden SilentRetrieval-documenten in 14,7% van de gevallen gemarkeerd als verdacht, significant lager dan PoisonedRAG (56,7%) en Zhong et al. (83,3%). Hoewel het verschil tussen SilentRetrieval (14,7%) en onschuldige inhoud (7,3%) niet statistisch significant was bij $\alpha=0,05$ ($p \approx 0,064$), suggereert de trend een detecteerbaar gat dat mogelijk zal verbreden bij grotere steekproefgroottes.

Betekenis en Claims

Het artikel beweert dat SilentRetrieval een nieuwe state-of-the-art vestigt in de afweging tussen stilte en effectiviteit voor RAG-vergiftiging. De primaire betekenis ligt in het aantonen dat:

1. Corpus-integriteit een security-kwestie van de eerste orde is: Vloeiheidsbehoudende aanvallen kunnen eenvoudige PPL-gebaseerde audits omzeilen en zijn veel moeilijker voor mensen te markeren dan eerdere disfluent-aanvallen.
2. Gelaagde verdedigingen noodzakelijk zijn: Geen enkele verdediging is voldoende; het combineren van retrieval-zijde herordening, hybride retrieval en generatie-zijde passage-isolatie is vereist om de bedreiging aanzienlijk te mitigeren.
3. De stilte-effectiviteitsgrens een kritische evaluatielens is: Ruwe vergelijkingen van Attack Success Rate (ASR) zonder perplexiteitsnormalisatie verdoezelen de praktische detecteerbaarheid van aanvallen. SilentRetrieval bereikt sterke prestaties terwijl het een bijna onschuldige perplexiteit behoudt, wat de aanname uitdaagt dat hoog-effectieve aanvallen noodzakelijkerwijs luidruchtig of voor de hand liggend moeten zijn.

De auteurs benadrukken dat hun werk een verantwoordelijke openbaarmaking is met synthetische doelen op standaard benchmarks om sterkere verdedigingen te motiveren, in plaats van een demonstratie van haalbaarheid van injectie in de echte wereld.