Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

Stel je het internet voor als een gigantische, chaotische bibliotheek waar elk boek een stukje informatie is. Een lange tijd zouden computers die vragen probeerden te beantwoorden (zoals onze superintelligente AI-assistenten) gewoon het meest vergelijkbare boek van een plank pakken, het lezen en het antwoord raden. Het was alsof je een bibliothecaris naar een recept vraagt en een willekeurig kookboek krijgt dat toevallig het woord "kip" op de voorkant heeft staan. Maar onlangs zijn wetenschappers begonnen met het bouwen van een ander soort bibliotheek: een Knowledge Graph (kennisgrafiek). In plaats van alleen maar stapels boeken, is deze bibliotheek een massief, gloeiend web waar elk feit een knoop (een stip) is en elke relatie een verbindende draad. Als je vraagt naar "kip", zoekt het systeem niet alleen een boek; het volgt de draden om te zien wat de kip eet, welke ziekten het kan overdragen en welke recepten het gebruiken. Dit wordt Retrieval-Augmented Generation (RAG) genoemd. Het is alsof je de AI een kaart geeft in plaats van alleen een lijst met woorden, waardoor het kan redeneren door complexe ketens van feiten.

Deze nieuwe, webachtige bibliotheek heeft echter een angstaanjagende nieuwe zwakte. In het oude boekenplank-systeem, als iemand een nep pagina in een boek zou glippen, zouden alleen de mensen die naar dat specifieke boek zochten, worden misleid. Maar in een web van verbonden stippen, als je één enkele draad in het midden van de kaart vergiftigt, kan die leugen zich tegelijkertijd via tientallen verschillende paden verspreiden. Het is alsof je één druppel rode kleurstof in het midden van een rivier laat vallen; plotseling wordt elke zijstroom, elke vijver en elke waterval die met die rivier verbonden is, roze. Dit paper onderzoekt precies hoe ver die "kleurstof" zich verspreidt. De onderzoekers wilden weten: als een kwaadwillende actor slechts één leugen in deze verbonden web injecteert, hoeveel verschillende vragen zal de AI dan fout beantwoorden door die leugen? Ze noemen dit de "Blast Radius" (de inslagradius). Het is een maatstaf voor hoeveel schade één kleine fout kan aanrichten wanneer het systeem gebouwd is op een verstrengeld web van verbindingen.

Het Grote Experiment: Hoe Ver Verspreidt het Vergif Zich?

De auteurs van dit paper zetten een digitaal experiment op om deze "Blast Radius" te meten in een zeer specifieke, risicovolle omgeving: een medische kennisgrafiek. Ze gebruikten een systeem genaamd Microsoft GraphRAG, aangedreven door een AI-model genaamd Gemma 2 9B, gevoed met een collectie echte medische abstracts over zaken als kanker, diabetes en virussen.

Om het systeem te testen, probeerden ze de AI niet te misleiden met complexe code of geheime wachtwoorden. In plaats daarvan speelden ze een spel van "structurele sabotage". Ze injecteerden drie verschillende soorten valse feiten (genaamd "triples") in de grafiek om te zien hoe de schade zich verspreidde:

1. De "Edge" Aanval: Ze plantten een leugen over een minder belangrijk, obscuur medisch feit (zoals een specifiek medicijn voor een zeldzame aandoening) dat slechts een paar verbindingen had met andere feiten.
2. De "Hub" Aanval: Ze richtten zich op een superster-medisch feit—een "Hub"—die met tientallen andere dingen verbonden is. In hun experiment kozen ze voor p53, een beroemd eiwit dat een centrale rol speelt in kankeronderzoek, dat overal verbinding maakt met genen, ziekten en behandelingen. Ze injecteerden een leugen waarin stond dat p53 tumoren veroorzaakt in plaats van ze te stoppen.
3. De "Chain" Aanval: Ze creëerden een vals verhaal bestaande uit drie verbonden leugens, die vier verschillende medische onderwerpen aan elkaar koppelden in een keten die in de werkelijkheid niet bestond.

De Schokkende Resultaten: Eén Leugen, Veertien Fouten

De resultaten waren een waarschuwing. De onderzoekers ontdekken dat de vorm van het web belangrijker is dan de inhoud van de leugen.

• De "Edge" Aanval: Toen ze loog over het minder belangrijke, obscure feit, bleef de schade beperkt. Voor elke leugen die ze injecteerden, gaf de AI 7 foute antwoorden. Het vergif verspreidde zich, maar bleef grotendeels lokaal.
• De "Hub" Aanval: Hier werd het wild. Toen ze slechts één leugen injecteerden over het super-verbonden eiwit p53, explodeerde de blast radius. Die enkele valse informatie zorgde ervoor dat de AI 14 foute antwoorden gaf. Dit betekent dat de "Hub"-aanval twee keer zo gevaarlijk was als de Edge-aanval, ook al gebruikten ze slechts één stukje valse data. De leugen bleef niet bij p53; het reisde door het web en corrumpeerde antwoorden over kankerbehandelingen, gentherapie en medicijnmechanismen waar de gebruiker helemaal niet direct naar p53 vroeg.
• De "Chain" Aanval: Toen ze de valse keten van drie leugens bouwden, was de schade diepgaand maar iets minder explosief per leugen (ongeveer 4 foute antwoorden per leugen). Het was echter erg goed in het misleiden van de AI bij complexe, meerstaps vragen.

De "Two-Hop" Sweet Spot

Een van de meest interessante ontdekkingen was welke vragen het meest werden verpest. De onderzoekers testten vragen die vereisten dat de AI één stap (1-hop), twee stappen (2-hop) of drie stappen (3-hop) door het web nam om een antwoord te vinden.

Ze ontdekten dat twee-staps vragen het meest kwetsbaar waren. Het lijkt erop dat wanneer de AI over één tussenliggend feit moet springen om bij het antwoord te komen, de kans het grootst is dat het in de vergiftigde zone struikelt. Bij de Hub-aanval waren 6 van de 10 twee-staps vragen gecorrumpeerd. Het "Cascade-effect" was echt: de AI kreeg niet alleen de directe vraag fout; het kreeg ook de gevolgen van die leugen fout. Sterker nog, in elk scenario was de "cascade"-schade (indirect beïnvloede antwoorden) veel groter dan de "directe" schade (antwoorden die expliciet de leugen vermelden).

Waarom Dit Ertoe Doet en Hoe We Het Kunnen Oplossen

Het paper concludeert dat in een Knowledge Graph locatie alles is. Als je een stille hoek van de bibliotheek vergiftigt, is het een klein probleem. Als je het centrale kruispunt vergiftigt waar alle wegen samenkomen, raakt de hele stad de weg kwijt. Dit is een enorm probleem voor velden zoals de geneeskunde, de juridische sector en de zakenwereld, waar één enkel fout feit kan leiden tot een verkeerde diagnose of een verkeerde juridische strategie.

Om terug te vechten, stellen de auteurs een nieuwe verdediging voor genaamd "Degree-Weighted Trust Scoring". Stel je een beveiliger voor bij de ingang van de bibliotheek. In plaats van alleen het boek te lezen om te zien of het nep is, kijkt deze bewaker naar de auteur en het onderwerp. Als een nieuw feit gaat over een "Hub" (een super-verbonden entiteit zoals p53), wordt de bewaker zeer wantrouwig en markeert hij het om door een mens gecontroleerd te worden voordat het het systeem in mag. Als het feit over een minder belangrijk, obscuur onderwerp gaat, laat de bewaker het snel doorgaan. Op deze manier richt het systeem zijn energie op het beschermen van de meest gevaarlijke delen van de kaart.

Kortom, dit paper laat ons zien dat hoewel het verbinden van de kennis van onze AI in een web het slimmer maakt, het het ook kwetsbaarder maakt. Eén leugen op de juiste (of verkeerde) plek kan een rimpeleffect veroorzaken en het systeem in verwarring brengen op manieren die we niet hadden verwacht, waardoor een kleine fout verandert in een enorme ramp.