Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

Technische Samenvatting: Architectuur is van Belang: Vergelijking van RAG-systemen onder Kennisbasisvergiftiging

Probleemstelling
Retrieval-Augmented Generation (RAG)-systemen zijn kwetsbaar voor vergiftiging van de kennisbasis, waarbij een tegenstander een vervaardigd document injecteert om de output van het systeem te manipuleren. Hoewel bestaande literatuur deze aanvallen uitgebreid heeft geëvalueerd tegen "vanilla" pipelines die eerst zoeken en dan genereren, blijft een kritieke kloof bestaan: architecturen die expliciet zijn ontworpen om om te gaan met tegenstrijdige informatie—zoals multi-agent debat, agente retrieval en recursieve taalkundige modellen—zijn nooit getest tegen adversarisch geoptimaliseerde tegenstrijdigheden. Bovendien vertrouwen eerdere evaluaties vaak op scenario's waarin vergiftigde documenten de retrieval-context domineren (bijvoorbeeld $N=5$ vergiftigde documenten onder $K=5$ opgehaalde), waardoor het vermogen van het systeem om te redeneren over één enkel adversariaal document dat naast legitieme bronnen bestaat ($N=1$), niet wordt getest.

Methodologie
De studie evalueert vier verschillende RAG-architecturen onder een gecontroleerd vergiftigingsbedreigingsmodel met $N=1$ op 921 vraag-antwoordparen uit de Natural Questions (NQ)-dataset, opgehaald uit een Wikipedia-corpus van 2,68 miljoen passages met behulp van Contriever. Alle systemen gebruiken GPT-5-mini als backbone LLM om architecturale effecten te isoleren van verschillen in modelcapaciteit.

De vier geteste architecturen zijn:

1. Vanilla RAG: Een standaard single-pass pipeline die eerst zoekt en dan genereert.
2. Agente RAG: Geïmplementeerd via PydanticAI, waardoor een agent iteratief kan zoeken, queries kan herformuleren en bewijs kan verzamelen voordat het antwoordt.
3. MADAM-RAG: Een multi-agent debarsysteem waarbij elk opgehaald document wordt toegewezen aan een onafhankelijke agent voor beraadslaging, gevolgd door een aggregator die het uiteindelijke antwoord synthetiseert.
4. Recursieve Taalkundige Modellen (RLM): Een systeem dat volledige topische context verwerkt (ophalen van de top-100 passages en uitbreiden naar alle passages die artikelnamen delen, typisch $\sim$2.600 passages) via programmatieke decompositie en recursieve suboproepen.

De systemen worden getest onder drie voorwaarden:

• Schoon Basismodel: Geen vergiftigde documenten.
• Naïeve Injectie: Een natuurlijk geschreven tegenstrijdige passage zonder retrieval-optimalisatie.
• CorruptRAG-AK: Een adversariale aanval die "meta-epistemische framing" hanteert (bijvoorbeeld "veel verouderde bronnen vermelden onterecht... de nieuwste data bevestigt...") om de geloofwaardigheid van correcte bronnen te ondermijnen. Deze aanval bevat een retrieval-geoptimaliseerd onderdeel om ervoor te zorgen dat het vergiftigde document wordt opgehaald.

Evaluatiemetrics omvatten de Aanvals Succesratio (ASR), geconditioneerd op schone nauwkeurigheid om een eerlijke vergelijking tussen architecturen te waarborgen, en een zeven-categorie gedrags-taxonemie (bijvoorbeeld Zeker Correct, Correct met Detectie, Hedging, Zeker Incorrect) beoordeeld via een LLM-rechter.

Belangrijkste Bijdragen

1. Eerste Evaluatie van Geavanceerde Architecturen: Het artikel biedt de eerste adversariale evaluatie van agente, multi-agent debat- en recursieve architecturen tegen vergiftiging van de kennisbasis, waardoor de kloof tussen de literatuur over vergiftiging en de literatuur over omgang met conflicten wordt overbrugd.
2. Architectuur als Eerste-Orde Variabele: De studie toont aan dat architecturale ontwerpkeuzes op zichzelf een spreiding van bijna 58 procentpunten in aanvalsuccesratio's veroorzaken (van 81,9% voor Vanilla tot 24,4% voor RLM) onder systemen met vergelijkbare schone nauwkeurigheid ($\sim$92%).
3. Decompositie van Aanvalsucces: De auteurs ontleden de prestatiekloof tussen naïeve en adversariale aanvallen in "retrieval-effecten" (het vergiftigde document laten ophalen) en "content-effecten" (overtuigingskracht van de framing). Zij vinden dat voor drie van de vier architecturen het grootste deel van het adversariale voordeel voortkomt uit meta-epistemische framing op het generatiestadium, en niet uit retrieval-optimalisatie.
4. Gedrags-Taxonemie: De introductie van een zeven-categorie taxonomie vangt faalmodi die verder gaan dan binaire nauwkeurigheid, waaronder detectie van tegenstrijdigheden, hedging en zekerheidsniveaus.

Resultaten

• Variatie in Robuustheid: Onder CorruptRAG-AK lijdt Vanilla RAG aan een ASR van 81,9% (geconditioneerd op schoon), terwijl Agente RAG daalt naar 43,8%, en RLM de hoogste robuustheid bereikt met 24,4%. MADAM-RAG vertoont een ASR van 45,5%, maar wordt gecompliceerd door een hoog percentage niet-antwoorden (41,4% op schone input), wat wijst op een "veilig maar nutteloos" trade-off waarbij het systeem vaak weigert te antwoorden in plaats van een risico op fouten te lopen.
• Decompositiebevindingen:
  • Vanilla RAG: Het aanvalsvoordeel is verdeeld tussen retrieval ($\sim$18 pp) en content ($\sim$32 pp).
  • Agente RAG: Het voordeel is overweldigend content-gedreven ($\sim$30 pp), met een minimale bijdrage van retrieval. Opmerkelijk is dat de agente lus het adversariale framing versterkt, waarbij meta-epistemische markers in 63% van de incorrecte antwoorden worden gechoord.
  • RLM: De volledige kwetsbaarheidskloof is gelokaliseerd op het content-redeneringsstadium; retrieval-optimalisatie biedt de aanvaller geen extra voordeel.
  • MADAM-RAG: Het content-effect is statistisch niet onderscheidbaar van nul. Zodra het vergiftigde document is opgehaald, biedt de adversariale framing geen voordeel ten opzichte van een naïeve tegenstrijdigheid, wat suggereert dat de debaatstructuur overtuigende taal filtert. De aggregator faalt echter om tegenstrijdigheden betrouwbaar op te lossen, ongeacht de framing.
• Gedragsanalyse: Falen van Vanilla RAG is overwegend "Zeker Incorrect". Agente RAG toont meer verspreide falen, inclusief hedging. MADAM-RAG vertoont hoge rates van hedging en "Onbekend"-antwoorden, waardoor zeker fouten worden onderdrukt maar ook de bruikbaarheid wordt verminderd. RLM behoudt het laagste percentage zeker incorrecte antwoorden.

Betekenis en Beweringen
Het artikel betoogt dat de keuze van architectuur een hoog-impact, onderbelichte variabele is in de adversariale robuustheid van RAG, mogelijk belangrijker dan vele toegewijde verdedigingsmechanismen. De auteurs beweren dat:

• Ontwerpprioriteit: Het selecteren van een redeneringsarchitectuur een evenwaardige ontwerpbeslissing moet zijn als het selecteren van verdedigingsmechanismen. Een vanilla-pipeline met geavanceerde verdedigingen kan onderpresteren ten opzichte van een kale agente of recursieve pipeline tegen realistische bedreigingen.
• Bedreigingsmodel-Contingentie: Voor organische corruptie (verouderde documenten) biedt Agente RAG een sterk trade-off tussen kosten en robuustheid. Echter, tegenover geavanceerde adversariale framing is Agente RAG alleen onvoldoende, en bieden Recursieve Taalkundige Modellen (RLM) superieure robuustheid, zij het tegen een aanzienlijke kost van latentie.
• Kwetsbaarheid op Generatieniveau: De primaire kwetsbaarheid voor de meeste geavanceerde architecturen ligt in het generatie/redeneringsstadium (content-effect), niet bij retrieval. Dit motiveert verdedigingen op generatieniveau (bijvoorbeeld defensieve prompting, consistentiechecks) als het primaire interventiedoel voor Agente en RLM-systemen.
• MADAM-RAG Beperkingen: Hoewel de multi-agent debatstructuur veelbelovend is in het filteren van adversariale taal en het detecteren van tegenstrijdigheden, faalde de specifieke geteste implementatie om conflicten betrouwbaar op te lossen, wat resulteerde in hoge rates van niet-antwoorden. Het artikel suggereert dat verbeterde aggregatielogica vereist is om het potentieel van deze architectuur te realiseren.

De studie concludeert dat hoewel RLM's momenteel de sterkste robuustheid bieden, de hoge latentie en informatieasymmetrie (grotere context) uitdagingen voor implementatie met zich meebrengen. De auteurs stellen dat toekomstig werk moet onderzoeken of lichtgewicht defensieve prompting de robuustheidskloof tussen Agente en Recursieve architecturen kan dichten tegen het lagere kostenpunt van Agente-systemen.