💻 computer science

Influence Factors on RAG Poisoning

Dit artikel presenteert een uitgebreide factoriële studie van 432 configuraties om aan te tonen dat de kwetsbaarheid voor RAG-vergiftiging voortkomt uit complexe interacties tussen de retriever-architectuur, datasetkenmerken, retrieval-diepte en generatieve modellen, waarbij wordt onthuld dat dense retrievers en diverse schone bronnen de robuustheid verbeteren, terwijl diepere retrieval en gerepliceerde vergiftigde inhoud het succes van de aanval vergroten.

Oorspronkelijke auteurs: Pedro Pereira, Eva Maia, Isabel Praça, Adrien Bécue

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pedro Pereira, Eva Maia, Isabel Praça, Adrien Bécue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed onderlegde assistent hebt (de AI) die geweldig is in het beantwoorden van vragen, maar een verschrikkelijk geheugen heeft voor alles wat er gebeurde nadat hun training stopte. Om dit op te lossen, geef je hen een bibliotheek met boeken (de Knowledge Base) en zeg je: "Zoek de feiten in deze boeken voordat je een antwoord geeft." Deze opstelling wordt RAG (Retrieval-Augmented Generation) genoemd.

Echter, wat als iemand de bibliotheek binnensluipt en daar valse, misleidende boeken plaatst? Dit wordt een Poisoning Attack genoemd. Het door jou gedeelde artikel onderzoekt precies hoe makkelijk deze valse boeken de assistent kunnen misleiden en hoe verschillende onderdelen van het systeem deze misleiding effectiever of minder effectief maken.

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

Het Experiment: Een enorme "Wat als"-game

De onderzoekers testten niet slechts één scenario. Ze zetten een gigantisch rooster op van 432 verschillende versies van dit bibliotheeksysteem. Ze veranderden één ding tegelijk (of combinaties daarvan) om te zien wat er gebeurde. Denk aan het testen van een auto in alle mogelijke weersomstandigheden, op elk type weg, met verschillende bestuurders, om te zien welke combinatie tot een crash leidt.

De Belangrijkste Spelers en Hun Rollen

1. De Bibliothecaris (De Retriever)
Dit is het deel van het systeem dat naar de bibliotheek gaat om de juiste boeken te vinden.

De Oude Bibliothecaris (BM25): Deze bibliothecaris zoekt naar exacte woordovereenkomsten. Als je vraagt naar "appel", vindt hij boeken waarin het woord "appel" staat. De studie vond dat deze bibliothecaris gemakkelijk te misleiden is door valse boeken die simpelweg de juiste trefwoorden gebruiken.
De Slimme Bibliothecaris (Dense & Graph-based): Deze bibliothecarissen begrijpen betekenis en verbindingen. Ze weten dat "fruit" en "appel" met elkaar gerelateerd zijn, of dat twee boeken met elkaar verbonden zijn omdat ze over hetzelfde onderwerp gaan.
- Bevinding: De "Slimme Bibliothecarissen" waren veel beter in het negeren van de valse boeken. Ze waren minder geneigd ze op te pikken, en zelfs als ze dat wel deden, vonden ze de valse boeken niet zo belangrijk als de echte boeken.

2. De Omvang van de Zoekopdracht (Retrieval Depth)
Dit is hoeveel boeken de bibliothecaris van de plank pakt om aan de assistent te laten zien.

De Bevinding: Als je de bibliothecaris vraagt om 2 boeken te pakken, is het moeilijker voor een vals boek om binnen te glippen. Maar als je vraagt om 5 boeken, neemt de kans aanzienlijk toe dat een vals boek zich tussen de echte boeken mengt. Het is alsof je 5 gasten uitnodigt voor een feestje in plaats van 2; hoe meer mensen je uitnodigt, hoe groter de kans dat er een indringer bij is.

3. De Opzet van de Bibliotheek (Database Composition)
De onderzoekers testten wat er gebeurt als je één bibliotheek hebt versus twee, en of die bibliotheken vol zitten met vervalsingen.

Het "Dubbele Probleem"-effect: Als je twee bibliotheken hebt en beide zijn gevuld met valse boeken, wordt de valse informatie superkrachtig. Het is alsof je twee kranten hebt die dezelfde leugen drukken; de leugen voelt daardoor echter aan.
Het "Schild van een Schone Bron": Als je twee bibliotheken hebt, maar één is vals en de andere is schoon, dan helpt de schone bibliotheek om terug te vechten. De echte feiten concurreren met de valse informatie, waardoor het voor de assistent moeilijker wordt om misleid te worden.

4. De Assistent (De Generator/LLM)
Dit is de AI die de boeken daadwerkelijk leest en het antwoord schrijft.

De "Gedurfde" Assistent versus de "Voorzichtige" Assistent: Ze testten twee verschillende AI-modellen.
- Eén model was erg gedreven om te antwoorden. Zelfs als de boeken verdacht leken, gokte het gewoon een antwoord. Dit model werd gemakkelijk misleid.
- Het andere model was voorzichtiger. Als de boeken niet logisch bij elkaar pasten, zei het: "Ik weet het niet," of weigerde het te antwoorden. Dit model was moeilijker te misleiden.
- Bevinding: De "Gedurfde" assistent was eerder geneigd om de valse informatie te verspreiden, terwijl de "Voorzichtige" assistent veiliger was.

5. Het Snijden van de Boeken (Chunking)
Voordat je boeken in de bibliotheek plaatst, moet je ze in kleinere pagina's (chunks) snijden. De onderzoekers testten het snijden in kleine pagina's versus grote pagina's.

De Bevinding: Verrassend genoeg maakte het snijden van de pagina's niet veel uit. Of je de pagina's nu klein of groot maakte, het veranderde weinig aan hoe gemakkelijk de valse boeken het systeem misleidden. De andere factoren (zoals het type bibliothecaris) waren veel belangrijker.

De Belangrijkste Les

De belangrijkste les uit dit artikel is dat je niet slechts één ding de schuld kunt geven als het systeem wordt gehackt.

Als je een Slimme Bibliothecaris hebt maar een Gedurfde Assistent, kun je nog steeds misleid worden.
Als je een Voorzichtige Assistent hebt maar je vraagt de bibliothecaris om te veel boeken te pakken, kan de valse informatie erdoorheen glippen.
Als je twee bibliotheken vol met leugens hebt, kan zelfs een slim systeem moeite hebben.

Kortom: Om je AI te beschermen tegen valse informatie, heb je een sterk team nodig. Je hebt een slimme bibliothecaris nodig die context begrijpt, een voorzichtige assistent die weet wanneer hij "ik weet het niet" moet zeggen, en je moet ervoor zorgen dat je bibliotheken niet gevuld zijn met kopieën van hetzelfde valse verhaal. Het is een teaminspanning, geen enkelevoudige oplossing.

Technische Samenvatting: Invloedsfactoren op RAG-vergiftiging

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen verbeteren Large Language Models (LLM's) door hun antwoorden te funderen in externe kennis die tijdens de inferentie wordt opgehaald. Deze afhankelijkheid introduceert echter een kritieke kwetsbaarheid: vergiftigingsaanvallen (poisoning attacks). In dergelijke scenario's kunnen kwaadaardige documenten die in de kennisbank zijn ingevoegd, zowel het ophaalproces als de uiteindelijke gegenereerde outputs manipuleren. Hoewel eerder onderzoek de haalbaarheid van deze aanvallen heeft vastgesteld, ontbreekt een systematisch begrip van hoe specifieke RAG-ontwerpkwesties samenwerken om de vatbaarheid te beïnvloeden. Bestaand werk onderzoekt factoren vaak in isolatie, waardoor hogere-orde interactie-effecten tussen ophaalmechanismen, generatiemodellen en kennisbankconfiguraties niet worden gekwantificeerd. Dit artikel adresseert dit gat door te onderzoeken hoe samengestelde systeemconfiguraties de effectiviteit, stealth en impact van vergiftigingsaanvallen bepalen.

Methodologie

De auteurs voerden een full factorial experimentele studie uit bestaande uit 432 unieke configuraties om de robuustheid tegen vergiftiging systematisch te evalueren. De methodologie omvatte het variëren van kernparameters van de pipeline over de volgende dimensies:

Datasets: Twee vraag-antwoord-datasets werden gebruikt: HotpotQA (multi-hop redeneren) en MS-MARCO (open-domain passage retrieval). Een gecureerde subset van 100 semantisch gelijkaardige vraagparen werd geconstrueerd om gealigneerde ophaalcondities te waarborgen.
Retrieval Architecturen: Drie verschillende paradigma's werden getest:
- BM25: Een sparse, lexicale retriever.
- Dense BGE: Een dense vector-gebaseerde retriever met behulp van semantische embeddings.
- Graph-based: Een gestructureerde aanpak die bewijs ophaalt door documentrelaties te doorlopen.
Retrieval Diepte ( $k$ ): Het aantal opgehaalde passages werd gevarieerd (2, 3 en 5) om te beoordelen hoe de context window grootte de inclusie van vergiftigde inhoud beïnvloedt.
Kennisbank Configuratie: De studie simuleerde verschillende risicoprofielen door het aantal totale databases te variëren (1 of 2) en het aantal vergiftigde databases (1 of 2). Dit omvatte scenario's van single-source compromis, dual-source redundantie met één vergiftigde bron, en totale systeemverzadiging.
Document Preprocessing: Chunk sizes (512 vs. 768 tokens) en overlap waarden (64 vs. 100 tokens) werden geëvalueerd om de impact van segmentatie op de blootstelling aan vergiftiging te bepalen.
Generator Modellen: Twee LLM's werden getest: llama-4-scout-17b-16e-instruct en openai-gpt-oss-120b.
Vergiftigingsstrategie: Kwaadaardige documenten werden automatisch gegenereerd om onjuiste claims te promoten. De strategie zorgde voor een hoge lexicale overlap met queries om retrieval te garanderen, terwijl expliciet het juiste antwoord werd vermeden.
Evaluatie Metrics:
- Retrieval-niveau: Poison@k (aanwezigheid in top-k), Poison Rank, en Score Margin (verschil tussen de beste vergiftigde en de beste schone score).
- Generatie-niveau: Abstention Rate, Correct Answer Rate, en Attack Success Rate (ASR).

Statistische analyse werd uitgevoerd met behulp van Ordinary Least Squares (OLS) regressie om hoofdeffecten en interactietermen (tot de derde orde) tussen de variabelen te identificeren.

Belangrijkste Bijdragen

Systematische Factoranalyse: In tegenstelling tot eerder werk dat zich richt op individuele componenten, biedt deze studie een uitgebreide kwantificering van hoe dataset, retriever type, retrieval diepte, database compositie, chunking en generator keuze interageren om de uitkomsten van vergiftiging te beïnvloeden.
Database Compositie Variabele: Het artikel introduceert het "aantal databases" en "aantal vergiftigde databases" als experimentele variabelen, waarbij wordt geanalyseerd hoe adversariële redundantie en competitie van schone bronnen de succes van de aanval beïnvloeden.
Interactie-effecten: De studie identificeert dat de kwetsbaarheid voor vergiftiging niet toe te schrijven is aan een enkele component, maar voortkomt uit complexe interacties, met name tussen de dataset, de retriever architectuur en de retrieval diepte.
Granulaire Metrics: Het gebruik van een full factorial design maakt het mogelijk om te ontleden of een aanval slaagt door retrieval falen (vergiftigde docs niet gevonden) of generatie falen (vergiftigde docs gevonden maar genegeerd), wat een genuanceerder beeld geeft van systeemrobuustheid.

Resultaten

De experimentele resultaten benadrukken duidelijke drijfveren voor respectievelijk retrieval exposure versus generatie succes:

Retrieval-niveau Factoren:
- Retriever Architectuur: Dense (BGE) en graph-based retrievers vertoonden over het algemeen een hogere robuustheid dan BM25, wat resulteerde in een lagere Poison@k, een hogere Poison Rank (vergiftigde docs lager gerangschikt) en kleinere Score Margins.
- Dataset: MS-MARCO vertoonde een lagere poisoning exposure vergeleken met HotpotQA.
- Retrieval Diepte: Het verhogen van $k$ (van 2 naar 5) verhoogde de waarschijnlijkheid van het ophalen van vergiftigde passages (hogere Poison@k) aanzienlijk over alle architecturen heen.
- Interactie: Het sterkste interactie-effect werd gevonden tussen Dataset × Retriever, wat aangeeft dat het voordeel van robuuste retrievers dataset-afhankelijk is (effectiever op MS-MARCO).
Generatie-niveau Factoren:
- Generator Keuze: Het openai-gpt-oss-120b model vertoonde een lagere Abstention Rate en een hogere ASR vergeleken met llama-4-scout-17b-16e-instruct, wat suggereert dat het gevoeliger is voor het volgen van vergiftigde context zodra deze is opgehaald.
- Database Compositie:
  - Adversariële Redundantie: Het repliceren van vergiftigde inhoud over meerdere databases ("2 Databases | 2 Poisoned") versterkte het succes van de aanval (hogere ASR, lagere Correct Answer Rate) door de competitiviteit van vergiftigde passages te vergroten.
  - Mitigatie door Schone Bron: De aanwezigheid van een extra schone database ("2 Databases | 1 Poisoned") verbeterde de Correct Answer Rate en drukte vergiftigde passages lager in de rangschikking, wat de aanval gedeeltelijk mitigeerde.
- Chunking: Variaties in chunk grootte en overlap (512/768 tokens, 64/100 overlap) hadden een relatief beperkte invloed op de metrics vergeleken met de keuze van de retriever en de dataset.

Betekenis en Claims

Het artikel claimt dat vergiftigingskwetsbaarheid in RAG een systemische eigenschap is die voortkomt uit de interactie van retrieval, generatie en kennisbank configuratie, in plaats van een fout in een enkele component.

Ontwerpimplicaties: De bevindingen suggeren dat het verbeteren van robuustheid een systeem-breed perspectief verever. Veilig ontwerp moet rekening houden met hoe de retrieval configuratie (bijv. het kiezen van dense/graph retrievers boven BM25), database compositie (het vermijden van adversariële redundantie) en generator gedrag interageren.
Mitigatiestrategieën: De resultaten motiveren pre-generatie mitigatiestrategieën, zoals het filteren of down-ranken van verdachte passages, aangezien de keuze van de retriever en de balans tussen schone en vergiftigde bewijslast de uiteindelijke output kwaliteit significant dicteren.
Toekomstige Richtingen: De auteurs merken bescheiden op dat hun bevindingen gebaseerd zijn op specifieke datasets en modellen. Toekomstig werk zou deze analyse kunnen uitbreiden naar grotere, minder gecureerde query sets, aanvullende vergiftigingsstrategieën (inclusclusief adaptieve aanvallen), en een breder scala aan configuratieparameters zoals re-ranking stadia en hybride pipelines. Ze benadrukken ook de noodzaak om te onderzoeken hoe de context window grootte in verschillende LLM's de vatbaarheid beïnvloedt.