🤖 machine learning

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

Dit artikel introduceert RAGuard, een tweelagig verdedigingsframework voor Retrieval-Augmented Generation-systemen dat adversariële retriever-fine-tuning combineert met een labelvrije, black-box Zero-Knowledge Inference Patch (ZKIP) om feitelijke datapoisoning-aanvallen effectief te neutraliseren terwijl de hoge retrieval-nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robotvriend hebt die bijna alles weet, maar ook een beetje vergeetachtig is en soms dingen verzint. Om hem te helpen de laatste nieuwtjes en feiten te onthouden, geef je hem een magische bibliotheek waar hij antwoorden kan opzoeken voordat hij spreekt. Deze opstelling wordt Retrieval-Augmented Generation genoemd, of afgekort RAG. Het is alsof je een genie een spiekbriefje geeft, zodat hij niet alleen op zijn geheugen hoeft te vertroun. Maar hier komt de adder onder het gras: wat als een sluwe grapjas de bibliotheek binnensluipt en de echte boeken vervangt door nepperwtjes vol leugens? Als de robot die neppe boeken vertrouwt, zal hij jou verkeerde antwoorden geven, en hij zal misschien niet eens doorhebben dat hij is bedrogen. Dit wordt "data poisoning" genoemd, en het is een grote zorg voor iedereen die deze slimme systemen gebruikt voor belangrijke zaken zoals medisch advies of juridische feiten.

Maak kennis met RAGuard, het nieuwe superheldenteam uit het onderzoekspapier, ontworpen om die magische bibliotheek te beschermen. De onderzoekers hebben een tweelaags verdedigingssysteem gebouwd om die leugenaars in de kiem te smoren. De eerste laag is als een stevige uitsmijter bij de deur van de bibliotheek. Deze uitsmijter is getraind door duizenden nepböken te lezen, zodat hij de "vibe" van een leugen kan herkennen en die boeken eruit kan trappen voordat ze de robot bereiken. Maar de uitsmijter is niet perfect; soms glipt er een heel goede nepbok tussendoor. Daar komt de tweede laag in beeld: een slimme detective genaamd ZKIP (Zero-Knowledge Inference Patch). ZKIP heeft geen lijst met bekende leugenaars of een "correct antwoordformulier" nodig. In plaats daarvan speelt ZKIP een spelletje van "wat als?". Voor elk boek dat de robot gaat lezen, vraagt ZKIP: "Wat zou de robot zeggen als we dit specifieke boek niet hadden?" Als het verwijderen van een boek ervoor zorgt dat het antwoord van de robot plotseling verandert of veel verwarrender wordt, weet ZKIP dat dat boek waarschijnlijk een leugenaar is en gooit het weg.

De onderzoekers hebben dit systeem getest op een enorme set vragen en vonden enkele verbazingwekkende resultaten. Wanneer ze de bibliotheek vulden met nepböken (tot wel 30% van het totaal), kon de uitsmijter alleen al een deel van hen vangen, maar niet alles. Echter, toen ze de detective ZKIP aan het team toevoegden, werd het systeem in hun tests bijna perfect. In elke testronde waarbij de verdediging actief was, bracht ZKIP de "attack success rate" omlaag naar 0.000, wat betekent dat er geen succesvolle trucjes werden gedetecteerd onder de specifieke monsters die zij testten. Het is belangrijk om op te merken dat dit resultaat geldt voor de geteste monsters en niet garandeert dat de robot nooit een fout antwoord zal geven in elk mogelijke scenario in de echte wereld. Het enige nadeel? De robot moest een beetje extra nadenken. Voor elke vraag moest hij de boeken 6 keer lezen (één keer met alle boeken, en dan één keer voor elk boek om te zien wat er gebeurt als het ontbreekt) om er zeker van te zijn dat hij niet werd gefopt. Hoewel dit meer tijd kost, lieten de onderzoekers zien dat de robot nog steeds net zo vaak de juiste antwoorden vond als in een schone bibliotheek, wat bewijst dat je zowel veiligheid als nauwkeurigheid kunt hebben.

De onderzoekers zijn echter voorzichtig in het benoemen van de plekken waar dit schild barsten kan vertonen. Het systeem werkt het beste wanneer de nepböken proberen de feiten te veranderen (zoals zeggen dat "de lucht groen is" in plaats van "blauw"). Het heeft moeite als de grapjas een heleboel nepböken gebruikt die samen dezelfde leugen vertellen, omdat het verwijderen van slechts één van hen de mening van de robot niet verandert. Ook is het systeem ontworpen voor feiten, niet voor meningen; als de vraag gaat over wat mensen vinden in plaats van wat waar is, kan de detective in de war raken omdat menselijke antwoorden van nature variëren. De onderzoekers merkten ook op dat hun nepböken werden gemaakt door echte teksten te herschrijven om de kernwoorden hetzelfde te houden, wat betekent dat een eenvoudiger zoekinstrument dat alleen naar overeenkomende woorden zoekt (zoals een basis trefwoordzoekopdracht) helemaal niet werd gefopt. Dit suggereert dat hoewel RAGuard een krachtig nieuw hulpmiddel is, de strijd tegen slimme leugenaars voortduurt en toekomstig werk het moet opnemen tegen nog slimmere, gecoördineerde aanvallen.

Technische Samenvatting: RAGuard

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen funderen Large Language Models (LLM's) in externe corpora om actuele, verifieerbare informatie te bieden. Deze afhankelijkheid creëert echter een kritieke kwetsbaarheid: corpusvergiftiging (corpus poisoning). Een tegenstander met schrijfrechten voor het retrieval-corpus kan kwaadaardige passages injecteren die gefabriceerde feiten, tegenstrijdigheden of gecorrumpeerde redeneringen bevatten. Deze vergiftigde documenten, zelfs in kleine hoeveelheden (5–30% van het corpus), kunnen worden opgehaald en door de generator worden gebruikt om misleidende of onjuiste antwoorden te produceren.

Bestaande verdedigingen lijden aan structurele tekortkomingen:

Detectiegebaseerde filters vertrouwen op gelabelde vergiftigde voorbeelden of heuristieken, en schieten tekort tegen nieuwe aanvalstijlen.
Generator-harding brengt hoge inferentiekosten met zich mee en presteert minder goed wanneer vergiftigde passages de context domineren.
Adversarieel getrainde retrievers lopen het risico te overfitten op specifieke synthetische vergiftigingstypen die tijdens de training zijn gezien en kunnen niet garanderen dat de succesvolle aanvallen volledig worden geëlimineerd.

Geen enkele enkele mechanisme dekt momenteel zowel de retrieval- als de generatiefase effectief zonder toegang te vereisen tot grondwaarheid-antwoorden of vergiftigingslabels.

Methodologie: RAGuard

RAGuard introduceert een tweelaags verdedigingsframework dat is ontworpen om te opereren zonder vergiftigingslabels, grondwaarheid-antwoorden of toegang tot model-internals (black-box).

Laag 1: Adversarieel Fine-tuned Retriever

De eerste laag richt zich op proactieve verdediging tijdens de retrieval-fase.

Trainingsdata: Synthetische vergiftigde documenten worden gegenereerd met behulp van LLM's om drie aanvalsfamilies te creëren: fabricatie (gehallucineerde beweringen), tegenstrijdigheid (omgedraaide feitelijke tokens) en redeneervallen (misleidende logische stappen).
Mechanisme: Een dense retriever (geïnitialiseerd van all-MiniLM-L6-v2) wordt gefinetuned met behulp van triplet margin loss. Het leert onderscheid te maken tussen gouden passages en hun specifieke adversariële herschrijvingen, waardoor de kwaadaardige inhoud wordt gedegradeerd voordat deze de generator bereikt.
Beperking: Deze laag is beperkt tot de vergiftigingsdistributies die tijdens de training zijn gezien en mogelijk niet in staat om ongeziene aanvalstijlen of domeinen te generaliseren.

Laag 2: Zero-Knowledge Inference Patch (ZKIP)

De tweede laag is een reactief, label-vrij filter dat opereert tijdens de generatiefase. Het fungeert als een zelfreferentieel veiligheidsnet.

Mechanisme: Voor een query $q$ $q$ en top- $k$ $k$ opgehaalde documenten $D = \{d_i\}$ $D = {d_{i}}$ voert ZKIP een Leave-One-Out (LOO) analyse uit:
1. Genereer een referentieantwoord $y_{all}$ met de volledige context $D$ .
2. Genereer een contrafeitelijk antwoord $y_{-i}$ voor elk document $d_i$ door dit document uit de context te verwijderen.
Scoring: Een document wordt gemarkeerd als anomalie als de verwijdering ervan een significante semantische verschuiving in het antwoord of een vermindering in de output-entropie (onzekerheid) induceert. De anomalie-score $A_i$ wordt berekend als:
$A_i = (1 - s_i) + \lambda [\Delta H_i]_+$
Waarbij $s_i$ de cosine similarity is tussen de embeddings van het referentie- en het contrafeitelijke antwoord, en $\Delta H_i$ de entropie-differentiaal is.
Actie: Documenten met de hoogste anomalie-scores worden verwijderd vóór de definitieve generatie-pass.
Kernkenmerk: ZKIP vergelijkt niet met een grondwaarheid-antwoord of vergiftigingslabel; het vertrouwt uitsluitend op de stabiliteit van de eigen output van het model onder contrafeitelijke contexten.

Belangrijkste Bijdragen

Label-vrije, Black-Box Filter: ZKIP is de eerste inferentie-tijd filter die geen vergiftigingslabels, grondwaarheid-antwoorden of model-internals vereist. Het reduceert de Attack Success Rate (ASR) naar 0.000 over alle geteste configuraties op de Natural Questions (NQ) dataset.
Gelaagde Verdediging met Gemeten Bijdragen: Het paper demonstreert dat alleen training van de adversariële retriever de ASR weliswaere vermindert maar niet elimineert (met een resterend succes van 0.072 bij 10% vergiftiging). ZKIP alleen elimineert de ASR, maar kan de retrieval-kwaliteit licht degraderen. De combinatie behoudt de hoge rangschikkingskwaliteit van de adversariële retriever terwijl het nul succesvolle aanvallen bereikt.
Afbakening van het Dreigingsmodel: De studie stelt vast dat keyword-preserverende vergiftigingen (LLM-herschrijvingen die de semantiek wijzigen maar de trefwoorden behouden) lexicale retrievers zoals BM25 grotendeens onveranderd laten (ASR 0.000 bij 5–20% vergiftiging). Dit bakent de grenzen van het dreigingsmodel af, waarbij wordt aangetoond dat de aanvallen specifiek de semantiek van dense embeddings exploiteren.

Experimentele Resultaten

Geëvalueerd op vergiftigde varianten van Natural Questions (NQ) en BEIR (NFCorpus) met vergiftigingsratio's van 5% tot 30%:

Attack Success Rate (ASR): ZKIP brengt de gemeten ASR naar 0.000 voor elke verdedigde configuratie (zowel schone als adversariële getrainde retrievers) bij 10% en 30% vergiftiging op NQ.
Retrieval Kwaliteit: De verdediging behoudt een hoge retrieval-kwaliteit. Bij 10% vergiftiging bereikt de verdedigde, adversariële getrainde retriever een Recall@5 van 0.314, vergeleken met 0.319 voor de onverdedigde versie (een daling van slechts 0.005). Dit blijft binnen 0.03 van de baseline van het schone corpus (0.282).
BM25 Baseline: Zonder verdediging vertoont BM25 een bijna nul ASR (0.000 bij 5–20% vergiftiging), omdat de synthetische vergiftigingen trefwoorden behouden, wat bevestigt dat de dreiging specifiek is voor dense retrieval.
Leerbare Structuur: Supervised analyse bevestigt dat de contrafeitelijke signalen die door ZKIP worden gebruikt (antwoordstabiliteit en entropie-verschuivingen) leerbare vergiftigingsstructuren bevatten, wat de theoretische basis van de aanpak valideert.

Betekenis en Claims

Het paper positioneert RAGuard als een belangrijke stap richting robuuste RAG-systemen door de "structurele hiaten" in bestaande verdedigingen aan te pakken. De primaire betekenis ligt in:

Zelfreferentiële Beveiliging: Door te vertrouwen op de stabiliteit van de eigen output van het model in plaats van externe labels, is ZKIP toepasbaar op ongeziene aanvalstypes die de training-tijd simulaties omzeilen.
Modulariteit: Het framework maakt het mogelijk om retrievers, generators en verdedigingslagen onafhankelijk van elkaar te vervangen.
Praktische Afwegingen: De auteurs erkennen de computationele kosten ( $k+1$ generator-passes per query, bijv. 6× overhead voor $k=5$ ), maar stellen batching en early-stopping benaderingen voor om latentie te beperken.

Beperkingen en Omvang

Het paper is bescheiden in zijn claims en stelt expliciet:

Omvang: De verdediging richt zich op feitelijke vraagbeantwoording onder corpusvergiftiging van dense retrieval. Het sluit expliciet mening-manipulatie, prompt hijacking en white-box gradiënt-aanvallen uit.
Gecoördineerde Aanvallen: Single-pass ZKIP is structureel blind voor gecoördineerde multi-poison coalities waarbij meerdere vergiftigde documenten elkaar versterken; het verwijderen van één document verandert het antwoord niet. Een iteratief verwijderingsprotocol wordt voorgesteld maar niet volledig geëvalueerd.
False Positives: De filter kan legitieme maar opiniënte of out-of-distribution documenten markeren, wat leidt tot een lichte vermindering van de Recall@5.
Distributie Kwetsbaarheid: De adversariële getrainde retriever kan overfitten op de specifieke synthetische vergiftigingsfamilies die tijdens de training zijn gebruikt en kan mogelijk niet generaliseren naar ongeziene domeinen (bijv. BEIR medisch corpus) of gradiënt-geoptimaliseerde aanvallen.
Evaluatie: De ASR van 0.000 weerspiegelt de specifieke set aanvallen en samples die zijn getest, en is geen universele garantie. De evaluatie steunt op synthetische LLM-herschrijvingen in plaats van gradiënt-geoptimaliseerde injecties (bijv. PoisonedRAG), wat de werkelijke kracht van aanvallen in de echte wereld kan onderschatten.

De auteurs concluderen dat hoewel RAGuard de gemeten succesvolle aanvallen in hun specifieke dreigingsmodel effectief elimineert, toekomstig werk zich moet richten op gecoördineerde multi-poison aanvallen, gestandaardiseerde aanvals-baselines (PoisonedRAG, FlippedRAG) en verdere reductie van de inferentie-overhead.