Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning
Dit artikel introduceert en valideert empirisch "Oracle Poisoning", een nieuw aanvalsvector waarbij tegenstanders gestructureerde kennisgrafieken corrumperen om AI-agenten via anderszins valide redenering tot onjuiste conclusies te dwingen, waarmee wordt aangetoond dat huidige modellen gepoisonde data universeel vertrouwen wanneer deze via tool-use-protocollen worden opgehaald, en dat er kritische evaluatiekloven bestaan in inline-testen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Kernidee: De Valstrik van de "Vertrouwde Bibliothecaris"
Stel je een briljante AI-assistent (de "Agent") voor die je helpt bij het schrijven van code of het controleren op beveiligingslekken. Deze assistent is ongelooflijk slim en redeneert perfect. Het heeft echter een grote zwakte: het is blind voor de buitenwereld.
Om zijn werk te doen, vertrouwt de AI volledig op een enorme, gestructureerde digitale bibliotheek die een Kennisgraf wordt genoemd. Denk aan deze grafiek als een gigantische kaart van je volledige softwarecodebase, die toont hoe elk stukje code met elk ander stukje verbonden is.
De AI behandelt deze kaart als een Orakel—een bron van absolute waarheid. Het stelt de kaart niet in twijfel; het gaat ervan uit dat de kaart 100% accuraat is. Als de kaart zegt "Functie A roept Functie B aan", gelooft de AI dit zonder een tweede bron te controleren.
Oracle Poisoning is de aanval waarbij een boze actor de bibliotheek binnensluipt en de kaart verandert. Ze breken niet het brein van de AI; ze bedriegen de AI niet met verwarrende woorden. In plaats daarvan veranderen ze stilletjes de feiten op de kaart. Omdat de AI zo goed is in redeneren, neemt deze nieuwe, valse feiten en trekt een perfect logische—but volledig verkeerde—conclusie.
De Analogie: Plato's Grot en de Schaduwmuur
De auteurs vergelijken dit met Plato's Grot.
- De Gevangene: De AI-Agent.
- De Muur: De Kennisgraf.
- De Schaduwen: De antwoorden die de AI krijgt wanneer het de grafiek vragen stelt.
- De Keten: Het protocol (genaamd MCP) dat de AI aan de muur bindt, waardoor het gedwongen wordt de schaduwen als realiteit te accepteren.
Als een aanvaller een nep-schaduw op de muur schildert, zal de gevangene (de AI) deze bestuderen, perfect analyseren en concluderen: "Dat is een echte tijger," zelfs als het slechts een schilderij is. Hoe intelligenter de gevangene, hoe gedetailleerder en overtuigender hun verkeerde conclusie zal zijn.
Hoe de Aanval Werkt (De "Hoe-te-doen")
De onderzoekers testten dit op een systeem uit de echte wereld met 42 miljoen knopen (een enorme digitale bibliotheek). Ze ontdekten dat een aanvaller slechts kleine, chirurgische wijzigingen aan de kaart hoeft aan te brengen om de AI te misleiden.
Ze demonstreerden zes manieren om dit te doen:
- Het Nep-pakket: Het creëren van een nep-softwarepakket in de bibliotheek dat eruitziet als "de nieuwste, meest beveiligde versie", waardoor de AI ertoe wordt verleid dit aan te bevelen.
- De Onzichtbare Sanitiseerder: Het toevoegen van een nep-"beveiligingswachter"-functie aan de kaart die in werkelijkheid niet bestaat in de echte code. De AI ziet het op de kaart en concludeert: "Ah, deze code is veilig!" terwijl het in feite kwetsbaar is.
- De Eigenschapswissel: Het wijzigen van de details van een echt stuk code op de kaart (bijvoorbeeld het wijzigen van een label van "niet-geverifieerd" naar "beveiligingsgoedgekeurd") zonder een nieuw nep-item te creëren.
Het Resultaat: De AI, die perfect redeneert op basis van de nieuwe data, vertelt ontwikkelaars vol vertrouwen: "Deze code is veilig," of "Gebruik deze nieuwe bibliotheek," en leidt hen zo rechtstreeks in een valstrik.
De "Sofisticatie" van de Aanvaller
Het paper ontdekte iets verrassends: Je hoeft geen genie-hacker te zijn om dit voor elkaar te krijgen.
- Niveau 0 (Naïef): Als de nep-data verdacht eruitziet (bijvoorbeeld genaamd "hacker_tool_v1"), negeert de AI het.
- Niveau 1 (Basis): Als het er oké uitziet maar kleine fouten bevat, wordt de AI soms bedrogen.
- Niveau 2 (Competent): Als de nep-data standaard naamgeving volgt en professioneel eruitziet, werden 100% van de geteste AI-modellen volledig bedrogen.
Het is niet de vraag of de AI kan worden bedrogen, maar hoeveel moeite de aanvaller moet doen. Een competente aanvaller kan zelfs de slimste AI-modellen 100% van de tijd bedriegen.
De "Leveringsmodus"-Verrassing
De onderzoekers ontdekten een kritieke tekortkoming in hoe we AI-beveiliging meestal testen.
- Inline Testen: Als je de nep-data aan de AI toont als een simpele tekstbericht, zeggen sommige modellen (zoals GPT-5.1): "Dat ziet er verdacht uit," en verwerpen het.
- Tool-Gebruik Testen: Als de AI dezelfde nep-data ontvangt via zijn officiële "tool"-verbinding (de manier waarop het in het echte leven werkt), vertrouwt het er 100% op.
De Les: Het testen van AI-beveiliging door er gewoon mee te chatten (inline) geeft een vals gevoel van veiligheid. Wanneer de AI zijn tools gebruikt om data op te zoeken, laat hij zijn bewaking volledig vallen.
Hoe je je Verdedigt
Het paper testte verschillende verdedigingen en ontdekte dat er geen enkele "zilveren kogel" werkt, maar een combinatie helpt:
- Alleen-lezen Toegang (De Beste Verdediging): Als je de Kennisgraf zo vergrendelt dat de AI (en de aanvaller) de kaart alleen kan lezen maar nooit kan schrijven, is de aanval onmogelijk. Dit is de meest effectieve oplossing.
- Kruiscontrole: Als de AI gedwongen wordt de kaart te controleren tegen een tweede bron (zoals de daadwerkelijke codebestanden), kan het de leugen opsporen. Als de kaart zegt "Veilig" maar het codebestand zegt "Kwetsbaar", raakt de AI in verwarring en stopt met het vertrouwen in de kaart.
- De "Duivelsadvocaat": De AI vragen: "Kunnen deze data nep zijn?" helpt, maar alleen als je zeer specifiek bent over hoe het nep zou kunnen zijn. Alleen vragen "Weet je het zeker?" werkt over het algemeen niet.
- Geschiedenis-tracking: Het bijhouden van een logboek van wat er op de kaart is gewijzigd helpt bij het opsporen van nieuwe nep-items, maar faalt wanneer een aanvaller simpelweg de details van een bestaand item bewerkt.
Samenvatting
Oracle Poisoning is een nieuw type hack waarbij de aanvaller de data corrumpeert die de AI vertrouwt, niet de AI zelf. Omdat de AI zo goed is in het volgen van logica, bouwt het graag een huis van kaarten op een fundament van leugens. Het paper bewijst dat in een realistische setting bijna elk getest AI-model deze leugens zal geloven als ze via een vertrouwd tool-kanaal binnenkomen, en dat de enige betrouwbare oplossing is om de AI te stoppen met het kunnen schrijven naar zijn eigen kennisbank.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.