Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

Titel: Semantic Chameleon: Corpus-afhankelijke Vergiftigingsaanvallen en Verdedigingen in RAG-systemen

1. Het Probleem

Retrieval-Augmented Generation (RAG) systemen verrijken Large Language Models (LLM's) met externe kennis, maar introduceren een nieuw aanvalsoppervlak via het retrieval-mechanisme.

• Aanvalsvectoren: Tussenpersonen kunnen documenten injecteren in de kennisbank (corpus) om de output van het model te manipuleren zonder de modelgewichten of systeemprompten te wijzigen.
• De Uitdaging: Bestaande verdedigingen zijn vaak corpus-afhankelijk. Een strategie die werkt op algemene encyclopedische data, kan falen op technische documentatie. Er is een gebrek aan systematisch onderzoek naar hoe de samenstelling van het corpus de haalbaarheid van aanvallen en de moeilijkheidsgraad van detectie beïnvloedt.
• Doel: Onderzoeken of een hybride retrieval-architectuur (BM25 + Vector) effectief is tegen gradient-geleide vergiftiging en hoe corpus-domeinen de beveiligingsdynamiek veranderen.

2. Methodologie

De auteurs gebruiken een uitgebreide experimentele opzet met verschillende fasen:

• Aanvalstechniek (Dual-Document Poisoning):
  • De aanval gebruikt twee gecoördineerde documenten: een "Sleeper" (legitiem ogend, maar met semantische haken) en een "Trigger" (bevat de kwaadaardige payload).
  • Optimalisatie: Gebruik van Greedy Coordinate Gradient (GCG) om tokens te manipuleren voor maximale cosine-similariteit in de embedding-ruimte.
  • Aanvalsscenario's: Authenticatie-bypass, Data-exfiltratie en Prompt-injectie.
• Corpora:
  • Security Stack Exchange (Technisch): 67.941 documenten met gespecialiseerde terminologie.
  • FEVER Wikipedia (Algemeen): 96.561 encyclopedische artikelen met brede vocabulaire.
  • Productie Case Study: 156.777 documenten van een grote netwerkbeveiligingsvendor.
• Verdedigingsarchitectuur:
  • Pure Vector Retrieval: Alleen dense embeddings.
  • Hybride Retrieval: Combinatie van BM25 (sparse/keyword) en Vector (dense) scores. De formule is: $score = \alpha \cdot \hat{v} + (1-\alpha) \cdot \hat{b}$, waarbij $\alpha$ het gewicht van de vector is.
• Evaluatie:
  • Testen tegen 5 verschillende LLM-families (GPT-5.3, GPT-4o, Claude Sonnet 4.6, Llama 4, GPT-4o-mini).
  • Metrieken: Co-retrieval (beide documenten in top-k), Stealth (niet geactiveerd op goedaardige queries) en Algemene Succes.

3. Belangrijkste Bijdragen

1. Hybride Retrieval als Architecturale Verdediging: Het paper toont aan dat een simpele hybride retriever (BM25 + Vector) gradient-geleide vergiftiging volledig kan neutraliseren zonder het LLM aan te passen.
2. Corpus-Afhankelijkheid: Er is een fundamenteel verschil in beveiligingsprofiel tussen technische en algemene corpora. Technische corpora laten aanvallen "onzichtbaar" toe (stealth), maar maken co-retrieval moeilijker; algemene corpora maken aanvallen direct zichtbaar (geen stealth) maar zorgen voor hoge co-retrieval.
3. Multi-Model Evaluatie: Een end-to-end evaluatie toont aan dat de weerbaarheid sterk varieert per model, waarbij open-weight modellen (zoals Llama 4) kwetsbaarder zijn dan gesloten modellen met sterke veiligheidstraining (zoals Claude).
4. QPD Monitoring: De Query Pattern Differential (QPD) wordt geïdentificeerd als de meest robuuste detectiemethode die werkt over verschillende corpus-domeinen heen.

4. Resultaten

A. Effectiviteit van Aanvallen (Corpus-afhankelijkheid)

• Security Stack Exchange (Technisch):
  • Aanvallen zijn zeer stealthy (66,7% stealth), maar hebben een lage co-retrieval (44,4%).
  • Algemene succes率 is laag (11,1%) vanwege het compromis tussen stealth en retrieval.
• FEVER Wikipedia (Algemeen):
  • Aanvallen hebben 100% co-retrieval, maar 0% stealth.
  • De algemene vocabulaire maakt aanvalsterminologie direct anomaal, waardoor de documenten ook op goedaardige queries worden opgehaald.
  • Conclusie: Het corpus zelf fungeert als verdediging in algemene domeinen, maar niet in technische domeinen.

B. Hybride Retrieval Verdediging

• Tegen Gradient-Only Aanvallen:
  • Pure Vector Retrieval: 38% succes.
  • Hybride Retrieval ($\alpha \leq 0.5$): 0% succes.
  • Reden: GCG optimaliseert voor continue embedding-ruimte, maar kan niet discrete tokens selecteren voor exacte keyword-overlap (BM25). De BM25-component verplaatst de vergiftigde documenten uit de top-k.
• Tegen Geavanceerde Aanvallen (Joint Sparse + Dense):
  • Als aanvallers simultaan optimaliseren voor zowel vector als keyword, wordt de verdediging gedeeltelijk omzeild (20–44% succes).
  • Echter, dit vereist veel meer rekenkracht en kennis van het doelcorpus. De drempel is aanzienlijk verhoogd ten opzichte van pure vector retrieval.

C. Model-afhankelijke Weerbaarheid

• GPT-5.3: 46,7% aanvalssucces, 33,3% veiligheidsviolaties (Sterke veiligheid).
• Claude Sonnet 4.6: 60% aanvalssucces, maar slechts 6,7% veiligheidsviolaties (Constitutionele AI blokkeert schadelijke output ondanks vergiftigde context).
• Llama 4 Instruct: 93,3% aanvalssucces en 93,3% veiligheidsviolaties (Zeer kwetsbaar).
• Conclusie: Model-level veiligheid is noodzakelijk maar onvoldoende; retrieval-level verdediging is cruciaal.

D. Detectie

• QPD (Query Pattern Differential): Meet het gedrag van een document (frequentie op schadelijke vs. goedaardige queries). Dit is de meest robuuste methode met een kleinste corpus-gap (3,7x verschil tussen corpora).
• Keyword Anomalie: Werkt goed op FEVER (40x verschil), maar faalt op Security SE omdat technische termen daar normaal zijn ("keyword camouflage").

5. Betekenis en Aanbevelingen

Significantie:
Het paper bewijst dat RAG-beveiliging niet "one-size-fits-all" is. De samenstelling van het kennisbestand is een primaire beveiligingsvariabele. Verdedigingen die op algemene benchmarks werken, kunnen volledig falen in technische domeinen.

Praktische Aanbevelingen voor Professionals:

1. Implementeer Hybride Retrieval: Gebruik een combinatie van BM25 en Vector retrieval met een gewicht $\alpha \leq 0.5$ (maximaal 50% vector, 50% keyword). Dit elimineert gradient-only aanvallen volledig.
2. Layered Defense: Combineer hybride retrieval met QPD-monitoring om anomalieën in query-patronen te detecteren.
3. Model Selectie: Wees voorzichtig met open-weight modellen (zoals Llama) in beveiligingskritieke RAG-systemen zonder extra guardrails; gesloten modellen met sterke safety-training (zoals Claude) bieden een betere tweede verdedigingslinie.
4. Corpus-Specifieke Evaluatie: Beveiligingstests moeten altijd worden uitgevoerd op het specifieke doelcorpus, aangezien resultaten niet direct overdraagbaar zijn tussen domeinen (bijv. van Wikipedia naar technische documentatie).

Conclusie:
Een simpele architecturale wijziging (hybride retrieval) kan een grote klasse van vergiftigingsaanvallen elimineren. Hoewel geavanceerde aanvallers de drempel kunnen overwinnen, verhoogt deze methode de kosten en complexiteit van een aanval aanzienlijk, waardoor het een essentiële eerste verdedigingslinie vormt.