🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

Dit artikel introduceert Sparse Document Attention RAG (SDAG), een nieuw verdedigingsmechanisme dat blok-schaarse aandacht gebruikt om schadelijke interacties tussen documenten in Retrieval Augmented Generation-systemen te voorkomen, waardoor corpus-kennisvergiftigingsaanvallen aanzienlijk worden gemitigeerd en de huidige state-of-the-art verdedigingen worden overtroffen.

Oorspronkelijke auteurs: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne landschap van kunstmatige intelligentie fungeren grote taalmodellen als enorme opslagplaatsen van menselijke kennis, in staat om vragen te beantwoorden en tekst te genereren met een verbazingwekkende vloeiendheid. Deze modellen hebben echter een beperking: ze zijn getraind op gegevens die op een bepaald punt in de tijd stoppen, wat betekent dat ze niet op de hoogte kunnen zijn van recente gebeurtenissen of specifieke, niche feiten zonder hulp. Om dit op te lossen, ontwikkelden onderzoekers een systeem genaamd Retrieval-Augmented Generation. In deze opstelling zoekt het systeem, wanneer een gebruiker een vraag stelt, eerst in een enorme bibliotheek van documenten om relevante informatie te vinden. Het voert vervolgens zowel de vraag als deze opgehaalde documenten in het taalmodel in, dat deze gebruikt als gids om een accuraat antwoord te formuleren. Deze methode houdt de kennis van de AI fris en vermindert de kans dat het dingen verzint, een probleem dat bekend staat als hallucinatie. Toch creëert deze specifieke afhankelijkheid van externe documenten een nieuwe kwetsbaarheid. Omdat het systeem de gevonden documenten vertrouwt, zou een kwaadwillende actor stiekem valse informatie in de bibliotheek kunnen injecteren. Als het systeem deze vergiftigde documenten ophaalt, kan het erin worden misleid de waarheid te negeren en in plaats daarvan een leugen te leveren.

Onderzoekers aan de Technion in Israël hebben een specifieke zwakte geïdentificeerd in de manier waarop deze systemen informatie verwerken, die hen vatbaar maakt voor dergelijke misleiding. In standaard taalmodellen is het mechanisme dat de AI in staat stelt om op verschillende delen van een tekst te focussen, ontworig om elk woord naar elk vorig woord te laten kijken in een continue stroom. Dit werkt goed bij het schrijven van een verhaal of het samenvatten van één enkel artikel, waarbij de context natuurlijk van de ene zin naar de volgende stroomt. Echter, in een retrieval-systeem is de input vaak een verzameling afzonderlijke, onderscheidende documenten die aan elkaar zijn geplakt. De onderzoekers stellen dat de standaardmethode voor het verwerken van deze documenten woorden uit het ene document op een manier laat interageren met woorden uit een ander document die schadelijk kan zijn. Wanneer een kwaadwillend document aanwezig is, kan de misleidende inhoud de interpretatie van de AI van de waarheidsgetrouwe documenten beïnvloeden, waardoor de gehele respons effectief wordt vergiftigd.

Om dit aan te pakken, introduceerde het team een nieuwe defensiestrategie genaamd Sparse Document Attention. In plaats van de AI toe te staan dat elk woord in de opgehaalde set naar elk ander woord kijkt, creëert deze methode een strikte grens tussen de documenten. Het dwingt het systeem om elk opgehaald document te behandelen als een geïsoleerd eiland. Binnen een enkel document kunnen de woorden nog steeds naar elkaar verwijzen om context te behouden, maar ze worden volledig geblokkeerd om te kijken naar of beïnvloed te worden door woorden in elk van de andere opgehaalde documenten. Deze verandering wordt alleen toegepast wanneer het systeem een antwoord genereert, wat geen hertraining van het onderliggende AI-model vereist en geen complexe toevoegingen aan de softwarepipeline. Het is een eenvoudige aanpassing aan de regels van aandacht die de schadelijke kruisbestuiving tussen een leugenaar en een waarheidspreker voorkomt.

De onderzoekers testten deze aanpak grondig in een verscheidenheid aan scenario's, gebruikmakend van verschillende vraag-antwoord-datasets en meerdere typen taalmodellen. Ze simuleerden aanvallen waarbij een tegenstander misleidende documenten injecteerde die ontworpen waren om de AI naar een specif kind specifiek, onjuist antwoord te sturen. In deze tests viel het standaard systeem, dat toestond dat documenten elkaar beïnvloedden, regelmatig voor de truc, waarbij het vaak het gewenste valse antwoord van de aanvaller produceerde. In contrast hiermee bleek het systeem dat de nieuwe sparse attention-methode gebruikte veel veerkrachtiger. Het slaagde er in het overgrote deel van de gevallen in om de vergiftigde documenten te negeren, de nauwkeurigheid van de antwoorden te handhaven en het succespercentage van de aanvallen drastisch te verlagen. De verbetering was zo aanzienlijk dat de nieuwe methode bestaande, complexere defensiestrategieën die ontwikkeld waren om deze aanvallen te detecteren, overtrof.

De studie onderzocht ook hoe de positie van een nepdocument de uitkomst beïnvloedt. Ze ontdekten dat wanneer een misleidend document qua inhoud zeer vergelijkbaar is met de waarheidsgetrouwe documenten, het moeilijker is voor het systeem om de invloed ervan te weerstaan. Echter, de nieuwe methode bleef effectief, zelfs in deze moeilijke situaties. Bovendien ontdekten de onderzoekers dat deze verdediging goed werkt, zelfs wanneer de AI wordt gevraagd complexe problemen op te lossen die het combineren van informatie uit meerdere documenten vereisen, zoals vragen die stapsgewijze redenering behoeven. Hoewel de initiële opzet een lichte daling in prestaties liet zien vergeleken met de standaardmethode, ontdekten de onderzoekers dat een korte periode van fine-tuning van het model naar de nieuwe regels dit verlies volledig herstelde, wat resulteerde in een systeem dat zowel robuust tegen aanvallen als zeer accuraat was.

De bevindingen suggereren dat de manier waarop een AI naar zijn bronmateriaal kijkt net zo belangrijk is als het materiaal zelf. Door simpelweg te voorkomen dat verschillende documenten met elkaar praten, wordt het systeem veel moeilijker te misleiden. Deze aanpak biedt een praktische en efficiënte manier om retrieval-gebaseerde AI-systemen te beveiligen, waardoor wordt gewaarborgd dat ze vertrouwen op de waarheid in plaats van te worden beïnvloed door de meest overtuigende leugen in de kamer. Het werk vestigt een nieuwe standaard voor de bescherming van deze systemen, door aan te tonen dat een fundamentele verandering in hoe het model informatie verwerkt effectiever kan zijn dan het toevoegen van lagen complexe detectietools.

Technische Samenvatting: Aanpak van Corpus Knowledge Poisoning Attacks op RAG met behulp van Sparse Attention

Probleemstelling

Retrieval-Augmented Generation (RAG) is een dominant paradigma voor het bijwerken van de kennis van Large Language Models (LLM's) en het verminderen van hallucinaties. RAG-systemen zijn echter kwetsbaar voor corpus knowledge poisoning attacks, waarbij een tegenstander misleidende of kwaadwillende documenten in de retrieval-corpus injecteert om de output van de LLM te sturen naar een gewenste, onjuiste respons.

De auteurs stellen dat een fundamentele, vaak over het hoofd geziene kwetsbaarheid in RAG voortkomt uit het standaard causale aandachtmechanisme (causal attention mechanism) dat wordt gebruikt in decoder-only LLM's. In een standaard RAG-pipeline worden opgehaalde documenten samengevoegd in één enkele prompt. Onder causale aandacht kunnen tokens in één opgehaald document aandacht schenken aan (en beïnvloed worden door) tokens in andere opgehaalde documenten. Wanneer de opgehaalde set conflicterende informatie bevat — zoals correcte, onschuldige documenten versus geïnjecteerde, kwaadwillende documenten — zorgt deze cross-document aandacht ervoor dat de kwaadwillende inhoud de verborgen toestanden (hidden states) van de onschuldige documenten corrumpeert, wat leidt tot onjuiste generatie.

Methodologie: Sparse Document Attention RAG (SDAG)

Om deze kwetsbaarheid te mitigeren, stellen de auteurs Sparse Document Attention RAG (SDAG) voor, een verdedigingsmechanisme dat het aandachtsmasker (attention mask) tijdens de inferentie wijzigt zonder dat finetuning of architecturale wijzigingen vereist zijn.

Kernmechanisme

SDAG dwingt een block-sparse attention patroon af over de opgehaalde documenten:

Intra-document Attention: Tokens binnen een enkel opgehaald document kunnen aandacht schenken aan eerdere tokens binnen hetzelfde document.
Inter-document Blocking: Cross-attention tussen verschillende opgehaalde documenten wordt expliciet uitgeschakeld. Tokens in document $d_i$ kunnen geen aandacht schenken aan tokens in document $d_j$ (waarbij $i \neq j$ ).
Preserved Context: Tokens in de taakinstructie-blok ( $B_T$ ) en de generator-context-blok ( $B_C$ ) behouden de standaard causale aandacht, waardoor ze naar alle voorgaande tokens kunnen kijken. Evenzo kunnen gegenereerde tokens aandacht schenken aan alle voorgaande tokens in de sequentie.

Implementatie

Minimale Overhead: De methode vereist slechts een wijziging aan het aandachtsmasker tijdens de inferentie.
Compatibiliteit: Het is compatibel met elke decoder-only LLM en kan worden geïntegreerd met bestaande defensieve methoden voor de pre-generatie fase (bijv. documentfiltering of discriminatie).
Geen Training: In tegen tegenstelling tot veel verdedigingsstrategieën vereist SDAG geen finetuning van de generator of het trainen van aanvullende discriminatoren.

Experimentele Opzet

De auteurs voerden een rigoureuze empirische evaluatie uit over meerdere dimensies:

Datasets: HotpotQA (multi-hop), TriviaQA, en Natural Questions (NQ) (single-hop), gebruikmakend van de Engelse Wikipedia dump als corpus.
Modellen: Drie generator LLM's (Llama-8B, Qwen-7B, Mistral-7B) en diverse retrievers (E5, Contriever, BM25).
Attack Strategieën:
- In-Set vs. In-Corpus: Het evalueren van scenario's waarin kwaadwillende documenten gegarandeerd in de retrieved set zitten versus scenario's waarin ze in de corpus zijn geïnjecteerd en mogelijk wel of niet worden opgehaald.
- Document Aantal: Single-document attacks en multiple-document attacks (2 of 3 kwaadwillende documenten).
- Ruimtelijke Strategieën: Random selectie, "Near" (kwaadwillende documenten dichtbij onschuldige documenten in de embedding space) en "Far" (ver weg in de embedding space).
- Adaptive Attacks: Scenario's waarin de aanvaller de onschuldige documenten of eerdere modelresponsen observeert om de aanval te verfijnen.
Baselines: Standaard Causal Attention RAG (CARG), RAGDefender (filtering-gebaseerd), en Discern&Answer (discriminator-gebaseerd).
Metrieken: Nauwkeurigheid (ACC) en Attack Success Rate (ASR).

Belangrijkste Resultaten

1. Superioriteit ten opzichte van Standaard Attention (RQ1)

SDAG presteert consistent beter dan de standaard Causal Attention RAG (CARG) in adversariële settings:

Verminderde ASR: SDAG verlaagt de Attack Success Rate aanzienlijk over alle datasets, generatoren en retrievers. Bijvoorbeeld, in single-document attacks op de NQ-dataset verminderde SDAG de ASR met meer dan de helft vergeleken met CARG in verschillende configuraties.
Verbeterde Nauwkeurigheid: In de meeste gevallen verbetert SDAG ook de nauwkeurigheid van de gegenereerde antwoorden vergeleken met CARG, wat aangeeft dat het blokkeren van cross-document aandacht de integriteit van onschuldige informatie bewaart.
Robuustheid: De verdediging houdt stand voor zowel single-hop als multi-hop vragen, wat aantoont dat SDAG de capaciteit van het model om informatie over documenten heen te synthetiseren niet belemmert (bevestigd in niet-adversariële oracle settings).

2. Vergelijking met State-of-the-Art Defenses (RQ2)

Single-Document Attacks: SDAG presteert beter dan bestaande state-of-the-art verdedigingen (RAGDefender en Discern&Answer) in single-document attack scenario's. Dit is een cruciale bevinding, aangezien veel bestaande verdedigingen vertrouwen op het detecteren van gelijkenissen tussen meerdere kwaadwillende documenten, een premisse die faalt wanneer er slechts één kwaadwillig document aanwezig is.
Multiple-Document Attacks: Wanneer SDAG wordt geïntegreerd met bestaande verdedigingen (specifiek RAGDefender), vestigt de gecombineerde aanpak een nieuwe state-of-the-art, waarbij statistisch significante verbeteringen worden bereikt in zowel ASR als nauwkeurigheid ten opzichte van de baselines alleen.

3. Analyse van Ruimtelijke Positionering (RQ3)

De auteurs analyseerden de relatie tussen de geometrische afstand van kwaadwillende documenten tot onschuldige documenten in de embedding space en de effectiviteit van de aanval:

Proximity Effect: Aanvallen zijn effectiever wanneer kwaadwillende documenten "Near" (dicht bij het middelpunt van onschuldige documenten) zijn in de embedding space. "Far" attacks zijn minder succesvol.
Effectiviteit van de Verdediging: Het relatieve voordeel van SDAG ten opzichte van CARG is nog prominenter wanneer kwaadwillende documenten geometrisch ver verwijderd zijn van de onschuldige set, wat suggereert dat het block-sparse mechanisme bijzonder effectief is in het isoleren van onderscheidende semantische clusters.

Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

Identificatie van een Fundamenteel Gebrek: De auteurs identificeren het standaard causale aandachtmechanisme als een primaire vector voor corpus poisoning, waarbij cross-document interacties kwaadwillende inhoud toestaan om onschuldige context te corrumperen.
Een Nieuw, Lichtgewicht Verdedigingsmechanisme: SDAG biedt een praktische verdediging die geen finetuning, geen extra pipeline-componenten en minimale wijzigingen tijdens de inferentie vereist (alleen aanpassing van het aandachtsmasker).
State-of-the-Art Prestaties: SDAG zet een nieuwe benchmark voor RAG-robuustheid, met name in het onderbelichte single-document attack scenario. Het vermogen om te integreren met andere verdedigingen om een superieure composietverdediging te creëren, benadrukt de veelzijdigheid ervan.
Inzicht in Aanvalsdynamiek: De analyse van de positionering in de embedding space biedt nieuwe inzichten in hoe aanvallers hun injecties optimaliseren en hoe verdedigingen geometrische scheiding kunnen gebruiken om robuustheid te verbeteren.

De auteurs merken beperkingen op, waaronder de restrictie tot open-source modellen (vanwege de noodzaak voor controle over het aandachtsmasker), de focus op Engelstalige Wikipedia-gebaseerde QA, en het gebruik van relatief kleinere LLM's (7B-8B) voor de meeste experimenten, hoewel zij opmerken dat grotere modellen (70B) en reasoning-capaciteiten-modellen ook profiteren van de aanpak.