KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation

Dit paper introduceert KEPo, een nieuwe aanvalsmethode die de kwetsbaarheid van GraphRAG-systemen benut door vergiftigde kennis in een kennisgrafiek te injecteren via vervalste evolutiepaden, waardoor grote taalmodellen worden gemanipuleerd tot het genereren van schadelijke antwoorden met een aanzienlijk hogere succeskans dan bestaande methoden.

De kern

🕵️‍♂️ Het Verhaal: De Slimme Vervalsing in de Digitale Bibliotheek

Stel je voor dat een moderne kunstenaar (een AI) een schilderij moet maken op basis van informatie uit een enorme, digitale bibliotheek. In het verleden zocht deze AI gewoon naar woorden die leken op wat de gebruiker vroeg. Maar nu gebruiken we een nieuwere, slimmere versie: GraphRAG.

Wat is GraphRAG?
In plaats van losse boeken te lezen, heeft deze AI een gigantisch stamboom-achtig netwerk (een Kennisgrafiek) van alle feiten in de bibliotheek gemaakt. Het ziet niet alleen woorden, maar begrijpt hoe feiten met elkaar verbonden zijn. Als iemand vraagt: "Wie was de oom van de koning?", zoekt de AI niet alleen naar het woord 'oom', maar volgt hij de lijnen in het netwerk om het juiste antwoord te vinden. Dit maakt de AI veel slimmer en betrouwbaarder.

Het Probleem: De Hackers
Helaas zijn er boeven (hackers) die deze bibliotheek willen saboteren. Ze willen de AI dwingen om een vals antwoord te geven op een specifieke vraag.

• De oude methode: Vroeger probeerden ze gewoon een boekje in de bibliotheek te smokkelen met een leugen erin, of ze schreeuwden tegen de AI: "Negeer alles wat je weet!".
• Waarom het faalt: Omdat GraphRAG zo slim is, kijkt het AI-systeem niet alleen naar het boekje, maar checkt het of het verhaal past in het grote stamboom-netwerk. Een losstaand boekje met een leugen wordt genegeerd omdat het niet past bij de andere feiten. Het is alsof je probeert een stukje van een puzzel in te duwen dat helemaal niet past; de AI ziet het direct en gooit het weg.

💣 De Oplossing van de Hackers: KEPo (De "Tijdsreis"-Truc)

De onderzoekers in dit paper hebben een nieuwe, zeer slimme aanval bedacht genaamd KEPo (Knowledge Evolution Poison).

In plaats van gewoon een leugen te smokkelen, vervals de hackers de geschiedenis zelf.

Stel je voor dat je wilt dat de AI denkt dat Appels blauw zijn (terwijl ze rood zijn).

1. De Oude Feit: De AI weet dat appels in 2020 rood waren.
2. De Vervalsing: De hackers schrijven geen boekje dat zegt "Appels zijn blauw". In plaats daarvan schrijven ze een verhaaltje over een tijdsreis.
   • Ze zeggen: "In 2020 waren appels rood. Maar in 2023 ontdekten wetenschappers een nieuwe ziekte die de kleur veranderde. In 2024, na een grote studie, is het bewezen dat appels nu blauw zijn."

Waarom werkt dit zo goed?

• Het past in het netwerk: De AI ziet dat het verhaal logisch opbouwt. Het begint bij een feit dat de AI al kent (rode appels in 2020) en leidt via een logisch pad naar de leugen (blauwe appels in 2024).
• Het is een "evolutie": De AI denkt: "Ah, de wereld is veranderd. Het oude feit is verouderd en het nieuwe feit is de waarheid."
• Het resultaat: Omdat het verhaal zo goed past in het netwerk van feiten, wordt het door de AI als waarheid geaccepteerd.

🌐 De "Grote Netwerk"-Truc (Meerdere Doelen)

Wat als je niet één, maar tien verschillende leugens wilt verspreiden?
De hackers gebruiken nu een tweede truc: De "Vriendjes-club".
Ze nemen tien verschillende vervalsingen en laten ze in hun verhaal op elkaar lijken. Ze zeggen bijvoorbeeld: "De blauwe appels zijn een gevolg van dezelfde ziekte die ook de blauwe bananen veroorzaakte."

Hierdoor worden de verschillende vervalsingen met elkaar verbonden in het netwerk van de AI. Ze versterken elkaar. De AI ziet een groot, samenhangend netwerk van "nieuwe feiten" en denkt: "Dit moet wel waar zijn, want zoveel bronnen zeggen het."

🛡️ Zijn we veilig?

De onderzoekers hebben gekeken of bestaande veiligheidsmaatregelen dit kunnen stoppen.

• De test: Ze probeerden de AI te beschermen door vragen te herschrijven of te filteren op verdachte woorden.
• Het resultaat: Het werkt niet. Omdat de leugen verpakt is als een logisch verhaal dat past bij de echte feiten, ziet de veiligheidssoftware niets verdachts. Het is alsof je een gifmuis probeert te vangen die eruitziet als een normaal stukje kaas.

🏁 Conclusie in één zin

KEPo is een aanval waarbij hackers niet gewoon liegen, maar een vervalst verloop van de geschiedenis bedenken dat logisch aansluit bij wat we al weten, waardoor de slimste AI's erin trappen en de leugen als de nieuwe waarheid accepteren.

Het paper waarschuwt ons: Onze slimme AI-systemen zijn kwetsbaar voor slimme verhalen, niet alleen voor ruwe leugens. We moeten nieuwe manieren vinden om te checken of een verhaal echt logisch is, of het maar een vervalsing is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation" in het Nederlands.

Titel: KEPo: Kennisevolutie-vergiftiging op Graph-based Retrieval-Augmented Generation

Auteurs: Qizhi Chen, Chao Qi, Yihong Huang, et al. (University of Electronic Science and Technology of China)
Publicatie: WWW '26 (April 2026)

---

1. Het Probleem

Graph-based Retrieval-Augmented Generation (GraphRAG) is een geavanceerde architectuur die Large Language Models (LLM's) verrijkt door een Kennisgraf (Knowledge Graph - KG) te construeren uit externe databases. Dit verbetert de nauwkeurigheid en tijdigheid van antwoorden, vooral bij complexe redeneringstaken.

Echter, deze afhankelijkheid van externe data introduceert nieuwe aanvalsvlakken. Aanvallers kunnen vergiftigde teksten injecteren in de bronnen (bijv. Wikipedia, arXiv) om het systeem te manipuleren tot het schadelijke of onjuiste antwoorden geeft op specifieke vragen.

De uitdaging: Bestaande vergiftigingsaanvallen (zoals semantische vervanging, prompt-injectie of traditionele RAG-vergiftiging) werken niet effectief tegen GraphRAG.

• Reden: GraphRAG reorganiseert de geïncorporeerde tekst in een grafstructuur voordat erop wordt gezocht. Traditionele methoden creëren vaak losse, onlogische of semantisch inconsistente teksten die niet goed integreren in de bestaande kennisgraf. Hierdoor worden ze genegeerd of krijgen ze een lage rangschikking tijdens het ophalen (retrieval), waardoor de aanval faalt.

2. Methodologie: KEPo (Knowledge Evolution Poison)

De auteurs stellen KEPo voor, een nieuwe aanvalsmethode die specifiek is ontworpen om de robustheid van GraphRAG te omzeilen door kennisvervalseling na te bootsen. In plaats van een directe tegenstrijdige feitelijke claim in te voegen, forgeert KEPo een geloofwaardig pad van kennisontwikkeling.

Het proces verloopt in vier stappen:

1. Identificatie van Ankers:

   • De aanval begint met een doelvraag ($q$) en het oorspronkelijke, correcte antwoord ($a$).
   • Het systeem identificeert de feitelijke kennis ($f$) en een tijdsanker ($t$) uit het originele antwoord.

2. Forge van een Evolutiepad:

   • De aanval genereert een "vergiftigd feit" ($f^*$) dat het gewenste, schadelijke antwoord bevat.
   • In plaats van dit direct te injecteren, forgeert een "Fabricator" (LLM) een logisch evolutiepad van het oorspronkelijke feit ($f$) naar het vergiftigde feit ($f^*$).
   • Dit pad omvat een tijdslijn: het oorspronkelijke feit ($t$) $\rightarrow$ een tussenfase van evolutie $\rightarrow$ het vergiftigde feit ($t + \Delta t$).
   • Er wordt een geloofwaardige achtergrondgeschiedenis gegenereerd die uitlegt waarom de kennis is veranderd (bijv. "nieuwe studies corrigeren eerdere fouten").

3. Integratie en Chronologische Ordening:

   • De gegenereerde tekst wordt zo opgebouwd dat de vergiftigde informatie het logische eindresultaat is van een evolutie.
   • Dit verlaagt de Conditionele Perplexiteit (C-PPL). Omdat de tekst semantisch en temporair coherent is met de bestaande kennis, wordt deze door de GraphRAG-retriever als hoogwaardig en relevant beschouwd, in plaats van als ruis.

4. Multi-Target Gecoördineerde Aanval:

   • Voor aanvallen op meerdere doelen worden meerdere vergiftigde subgemeenschappen (subgraphs) gegenereerd.
   • De aanval identificeert kritieke knooppunten in deze subgraphs en forgeert relaties tussen hen op basis van semantische gelijkenis.
   • Dit creëert een grotere, onderling versterkende "giftige gemeenschap" binnen de KG, wat de rangschikking en het effect van de aanval verder verhoogt.

3. Belangrijkste Bijdragen

• Analyse van Bestaande Falen: Het paper identificeert en kwantificeert waarom traditionele RAG-aanvallen (semantische vervanging, prompt-injectie) falen in GraphRAG-omgevingen (gebrek aan logische integratie in de graf).
• KEPo Framework: Introductie van een nieuwe aanvalsmethode die kennisvervalseling gebruikt om vergiftigde informatie naadloos te integreren in de kennisgraf via gefabriceerde evolutiepaden.
• Multi-Target Strategie: Een innovatieve aanpak om meerdere vergiftigde subgraphs te verbinden, waardoor de schaal en impact van de aanval worden vergroot.
• State-of-the-Art Prestaties: Demonstratie dat KEPo aanzienlijk beter presteert dan bestaande methoden, zelfs wanneer het retrieval-systeem degradeert naar een simpele RAG-architectuur.

4. Experimentele Resultaten

De auteurs hebben KEPo getest op diverse datasets (Graph-Story, Graph-Medical, MuSiQue) en verschillende GraphRAG-frameworks (GraphRAG, LightRAG, HippoRAG 2) en een Naive RAG-baseline.

• Aanvalssucces (ASR): KEPo bereikte de hoogste Attack Success Rates (ASR) en Conditional ASR (CASR) in alle scenario's.
  • Op Graph-Story (Global Search): ~43-44% ASR voor KEPo vs. ~25% voor de beste baseline.
  • Op Graph-Medical (Local Search): ~63-64% ASR voor KEPo.
  • In vergelijking met baselines zoals PoisonedRAG en GRAG-Poison, overtrof KEPo deze met marges van 20-30% in veel gevallen.
• Invloed van Tekstlengte: Aanvallen met teksten van ongeveer 100-120 woorden waren het meest effectief. Te korte teksten integreerden niet goed; te lange teksten leverden geen extra winst op.
• Multi-Target Effectiviteit: Het verbinden van meerdere corpora verhoogde de ASR, maar alleen tot een bepaald punt (rond 5 corpora), waarna semantische divergentie de effectiviteit weer liet dalen.
• Robuustheid: De aanval werkte consistent goed, ongeacht het gebruikte Generator-LLM (GPT-4o, Llama3, etc.) of Fabricator-LLM.
• Defensie: Bestaande defensiemethoden (zoals Query Paraphrasing, Instruction Ignoring en Prompt Detection) waren ineffectief tegen KEPo. De vergiftigde teksten werden zelden gedetecteerd omdat ze semantisch correct en logisch opgebouwd waren.

5. Betekenis en Conclusie

Het paper onthult een kritieke kwetsbaarheid in GraphRAG-systemen: hun afhankelijkheid van logische coherentie en kennisstructuur kan worden uitgebuit door aanvallers die deze coherentie nabootsen in plaats van te doorbreken.

• Beveiligingsimplicatie: De huidige defensiestrategieën, die vaak gericht zijn op het detecteren van onlogische teksten of prompt-injectie, zijn ontoereikend voor gevorderde kennisvervalseling. Er is een dringende noodzaak voor nieuwe defensiemethoden die specifiek gericht zijn op het verifiëren van de authenticiteit en evolutie van kennis in grafstructuren.
• Toekomstige Richting: De bevindingen suggereren dat de veiligheid van RAG-systemen niet alleen afhangt van de kwaliteit van de brondata, maar ook van de manier waarop kennis wordt geëvolueerd en verwerkt binnen de graf.

Samenvattend toont KEPo aan dat GraphRAG, ondanks zijn geavanceerde redeneervermogen, kwetsbaar is voor subtiele, structureel geïntegreerde aanvalsmethoden die de logica van het systeem tegen zichzelf gebruiken.