💻 computer science

DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial

Dit artikel introduceert DenialRAG, een nieuwe single-document RAG-vergiftigingsaanval die expliciet het juiste antwoord binnen een opgehaalde passage benoemt en weerlegt om LLM's naar door de aanvaller gekozen foute antwoorden te sturen, waarbij wordt aangetoond dat de effectiviteit ervan sterk modelafhankelijk is en dat huidige verdedigingen slechts gedeeltelijke, niet-uniforme bescherming bieden.

Oorspronkelijke auteurs: Abay Zhurekbay, Tao Liu, Fan Li

Gepubliceerd 2026-08-05

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abay Zhurekbay, Tao Liu, Fan Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantische, chaotische bibliotheek waar elk boek, blogpost en wiki-entry een potentiële aanwijzing kan zijn. Stel je nu een superintelligente robot-bibliothecaris voor die bijna alles heeft gelezen, maar vastloopt wanneer hij iets heel nieuws of zeer specifieks moet weten. Om dit op te lossen, hebben we de bibliothecaris een speciaal hulpmiddel gegeven: een "Retrieval-Augmented Generation" (RAG)-systeem. Denk aan dit als een magische loep. Wanneer je een vraag stelt, vindt de loep direct de meest relevante pagina's uit de bibliotheek, geeft ze aan de robot, en de robot gebruikt die pagina's om zijn antwoord te schrijven. Het is alsof je een genie hebt dat direct feiten kan opzoeken in plaats van alleen te vertrouwen op wat hij jaren geleden heeft onthouden. Dit is geweldig om informatie actueel te houden, maar het heeft een spookachtige kant: wat als iemand een nep-pagina in de bibliotheek smokkelt? Als de bibliothecaris die nep-pagina pakt, kan de robot de leugen geloven en je een foutief antwoord geven met volkomen zelfvertrouwen. Dit is de wereld van "corpusvergiftiging", waarbij het gevaar niet het hacken van het brein van de robot is, maar het misleiden van de bibliotheek die hij vertrouwt.

Maak kennis met DenialRAG, een nieuwe studie die een sluwe manier onderzoekt om deze systemen te misleiden. De onderzoekers stelden een gewaagde vraag: Wat als we, in plaats van de waarheid te verbergen, de robot de waarheid vertellen en hem vervolgens direct vertellen waarom de waarheid onjuist is? De meeste eerdere trucs probeerden het foute antwoord te fluisteren zonder het juiste antwoord te noemen, uit angst dat het noemen van de waarheid het geheugen van de robot zou activeren en de truc zou verpesten. Maar de auteurs van dit artikel ontdekten dat deze angst onnodig kan zijn. Ze creëerden een "vergiftigd" document dat expliciet zegt: "Je denkt misschien dat het antwoord X is, maar dat is eigenlijk een fout! Het echte antwoord is Y, en dit is waarom Y beter is." Ze noemen dit DenialRAG.

De studie testte dit idee tegen acht verschillende robotbreinen (Large Language Models) en drie verschillende soorten vragen. Ze ontdekten dat deze "ontken de waarheid"-strategie ongelooflijk effectief is, vooral bij bepaalde modellen. Sterker nog, op sommige systemen werkte het beter dan welke andere truc dan ook die ze probeerden, met een succespercentage van wel 94% bij specifieke tests. De onderzoekers probeerden de aanval ook te stoppen met behulp van vijf verschillende veiligheidsnetten, zoals de robot vragen om sceptischer te zijn of de vraag te herschrijven. Hoewel deze veiligheidsnetten hielpen, stopten ze de aanval niet volledig; de "DenialRAG"-truc werkte in veel gevallen nog steeds, waardoor er een aanzienlijke kans bleef dat de robot een fout antwoord zou geven.

Het artikel suggereert dat het geheime ingrediënt niet alleen het liegen is; het is het conflict. Door het juiste antwoord en het foute antwoord in dezelfde paragraaf te plaatsen en het argument in het voordeel van het foute antwoord op te lossen, wordt het gif een op zichzelf staand verhaal dat de robot moeilijk kan negeren. De studie toonde ook aan dat niet alle robots even vatbaar zijn. Kleinere, goedkopere modellen werden gemakkelijk misleid, terwijl de nieuwste, krachtigste modellen moeilijker te misleiden waren, hoewel niet onmogelijk. De onderzoekers concluderen dat er geen enkelvoudig "magisch schild" is dat al deze aanvallen stopt. In plaats daarvan hangt het gevaar sterk af van hoe de aanval is geschreven en welke robot het leest. Het is een herinnering aan het feit dat in het tijdperk van AI zelfs één enkele zin in een bibliotheek het verhaal kan veranderen dat de robot aan je vertelt.

Technische Samenvatting van "DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial"

Probleemstelling
Retrieval-Augmented Generation (RAG)-systemen, die de generatie van Large Language Models (LLM's) conditioneren op externe documenten, zijn kwetsbaar voor corpusvergiftiging (corpus poisoning). In dit dreigingsmodel plaatst een aanvaller een vervaardigd document in het retrieval-corpus om de generator te sturen naar een door de aanvaller gekozen foutief antwoord ( $Y$ ), zonder toegang te hebben tot de modelgewichten, systeemprompts of de interne werking van de retriever. Hoewel eerdere single-document aanvallen (bijv. PoisonedRAG, AuthChain, CorruptRAG) hebben aangetoond dat een enkel vergiftigd tekstfragment RAG-systemen kan misleiden, vermijden zij doorgaans het expliciet benoemen van het correcte antwoord ( $X$ ). De heersende aanname is dat het noemen van $X$ de parametrische kennis van het model zou kunnen activeren, waardoor het de vergiftigde inhoud zou verwerpen. Dit artikel onderzoekt of het vermijden van $X$ noodzakelijk is, of dat het expliciet benoemen en weerleggen ervan een krachtiger aanvalsvector kan zijn.

Methodologie: DenialRAG
De auteurs stellen DenialRAG voor, een single-document poisoning aanval die het conflict tussen het correcte antwoord ( $X$ ) en het door de aanvaller gekozen antwoord ( $Y$ ) expliciet in het vergiftigde tekstfragment zelf inbedt. In plaats van $X$ te onderdrukken, benoemt de aanval $X$ en geeft een door de aanvaller gecontroleerde verklaring waarom het verworpen moet worden ten gunste van $Y$ .

De aanvalspipeline werkt in twee fasen:

Offline Aanvalstijd: Gegeven een doelzoekopdracht $q$ $q$ , het correcte antwoord $X$ $X$ , en het doelverwante foute antwoord $Y$ $Y$ , gebruikt de aanvaller een LLM om een kort (≤100 woorden) vergiftigd tekstfragment te genereren. Deze generatie omvat twee aanroepen:
- Feature Extraction: Identificeert de intentie van de vraag en relevante bewijsknooppunten (entiteiten, data) om de retrieval-relevantie te waarborgen.
- Passage Construction: Genereert een gestructureerd tekstfragment bestaande uit vier componenten:
  1. Opening: Beweert $Y$ als het definitieve antwoord met een concreet detail.
  2. Evidence Weaving: Integreert de geëxtraheerde bewijsknooppunten om aan te sluiten bij de gebruikersvraag.
  3. Embedded Denial: Benoemt expliciet $X$ , karakteriseert het als een misconceptie of een verouderde waarde, en geeft een reden voor de verwerping ervan.
  4. Closing Authority: Bevestigt $Y$ opnieuw met een institutionele of op records gebaseerde citatie.
    Het resulterende document wordt ingevoegd in het retrieval-corpus $K$ .
Online Query Time: Wanneer een gebruiker $q$ indient, selecteert de retriever het vergiftigde tekstfragment (vanwege de hoge lexicale/semantische overlap). De generator, die een context ontvangt waarin $X$ al is erkend en "weggelegd" (explained away), wordt gestuurd naar het produceren van $Y$ .

Belangrijkste Bijdragen

Nieuw Aanvalsmechanisme: De introductie van DenialRAG, die de aanname uitdaagt dat correcte antwoorden vermeden moeten worden bij poisoning-aanvallen. Het demonstreert dat het expliciet benoemen van $X$ en het inbedden van een lokale resolutie van het conflict ten gunste van $Y$ zeer effectief kan zijn.
Systematische Evaluatie: Een uitgebreide evaluatie over drie open-domain QA-datasets (Natural Questions, HotpotQA, MS-MARCO), acht doel-LLM's van vier leveranciers (variërend van cost-tier tot frontier models), en vier bestaande single-document poisoning baselines.
Defensie-analyse: Een beoordeling van vijf inference-time defensies (Paraphrase, InstructRAG, TrustRAG, RobustRAG, AstuteRAG) om te bepalen of zij single-document aanvallen kunnen mitigeren.
Component- en Stabiliteitsanalyse: Ablatie-studies die de "embedded denial" identificeren als de meest kritieke component, en cross-model analyses die laten zien dat de effectiviteit van de aanval niet uniform is maar sterk afhangt van de interactie tussen de poisoning-mechanisme en de doel-model architectuur en parametrische kennis.

Resultaten

Effectiviteit van de Aanval: DenialRAG bereikt de hoogste Attack Success Rate (ASR) op Mistral-7B over alle drie de datasets (89%, 94%, 86%). De effectiviteit is echter sterk model-afhankelijk. Op frontier models (bijv. GPT-5.2, GPT-5.5) presteren andere aanvallen zoals PIA-direct (directe bewering) of CorruptRAG-AK (framing als actualiteitsupdate) vaak beter dan DenialRAG. Zo domineert CorruptRAG-AK op GPT-5.5, terwijl de prestaties van DenialRAG aanzienlijk dalen op frontier models vergeleken met cost-tier modellen.
Robuustheid van Defensies: Inference-time defensies verminderen de ASR in veel settings, maar bieden geen uniforme bescherming.
- Paraphrase vertoont beperkt effect.
- InstructRAG en TrustRAG verminderen de ASR voor sommige aanvallen, maar laten een aanzienlijk residu-risico achter voor DenialRAG en CorruptRAG-AK, vooral wanneer het vergiftigde tekstfragment het conflict zelf uitlegt.
- RobustRAG en AstuteRAG tonen sterke reducties in specifieke settings (bijv. AstuteRAG die de DenialRAG ASR vermindert tot ~8% op GPT-5.2), maar blijven ineffectief tegen DenialRAG op Mistral-7B (ASR blijft ~77-86%).
Ablatiebevindingen: Het verwijderen van de "embedded denial" (d.w.z. alleen $Y$ beweren) veroorzaakt de grootste daling in ASR (gemiddeld ongeveer 17 procentpunten), wat bevestigt dat het mechanisme van het uitleggen waarom $X$ fout is de primaire drijfveer voor succes is. Het expliciet benoemen van $X$ is ook cruciaal; het weglaten van de naam van het correcte antwoord vermindert de effectiviteit.
Stabiliteit van het Modelregime: DenialRAG vertoont de grootste prestatiedaling bij de overgang van cost-tier naar frontier models (een daling van 30,3 procentpunten), wat suggereert dat sterkere modellen beter zijn in het kruiscontroleren van de expliciete tegenstrijdigheid die DenialRAG presenteert tegenover hun parametrische kennis. Daarentegen blijven aanvallen die het conflict framen als een "actualiteitsupdate" (CorruptRAG-AK) stabieler over verschillende modelregimes.

Betekenis en Claims
Het artikel claimt dat het risico op RAG-vergiftiging niet kan worden gekarakteriseerd door één enkele aanvalsfamilie of één enkel doelmodel. De effectiviteit van een poisoning-aanval is sterk afhankelijk van de specifieke interactie tussen het aanvalsmechanisme (bijv. denial vs. assertion vs. update framing) en de architectuur en alignment van de doel-LLM.

De auteurs benadrukken dat hoewel DenialRAG een krachtige nieuwe vector is, met name voor cost-tier modellen, het niet universeel superieur is. De studie onderstreept dat defensies vaak niet-uniform zijn; een defensie die één type poisoning (bijv. directe bewering) mitigeert, kan het systeem kwetsbaar laten voor een ander type (bijv. embedded denial of freshness updates). Bij consequent concludeert het artikel dat het begrijpen van RAG-beveiliging vereist dat men diverse aanvalsmechanismen analyseert over een spectrum van modellen en defensies, in plaats van te vertrouwen op een enkele metriek of modelklasse om het dreigingslandschap te definiëren.

Technische Samenvatting van "DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial"

Meer zoals dit