Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning
Dieser Beitrag führt „Oracle Poisoning" ein und validiert es empirisch, einen neuartigen Angriffsvektor, bei dem Gegner strukturierte Wissensgraphen manipulieren, um KI-Agenten dazu zu zwingen, über ansonsten schlüssige Schlussfolgerungen hinweg falsche Schlüsse zu ziehen, und zeigt auf, dass aktuelle Modelle vergiftete Daten, wenn sie über Tool-Use-Protokolle abgerufen werden, universell vertrauen, wodurch kritische Evaluierungslücken beim Inline-Testing hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Die Falle des „vertrauenswürdigen Bibliothekars"
Stellen Sie sich vor, Sie haben einen brillanten KI-Assistenten (den „Agenten"), der Ihnen beim Schreiben von Code oder beim Überprüfen auf Sicherheitslücken hilft. Dieser Assistent ist unglaublich intelligent und schließt perfekt. Er hat jedoch eine große Schwäche: Er ist blind für die Außenwelt.
Um seine Arbeit zu verrichten, verlässt sich die KI vollständig auf eine riesige, strukturierte digitale Bibliothek, die als Wissensgraph bezeichnet wird. Denken Sie an diesen Graphen als eine gigantische Karte Ihres gesamten Software-Codebases, die zeigt, wie jedes Code-Stück mit jedem anderen verbunden ist.
Die KI behandelt diese Karte als Oracle – eine Quelle absoluter Wahrheit. Sie hinterfragt die Karte nicht; sie geht davon aus, dass die Karte zu 100 % korrekt ist. Wenn die Karte sagt „Funktion A ruft Funktion B auf", glaubt die KI dies, ohne eine zweite Quelle zu prüfen.
Oracle Poisoning ist der Angriff, bei dem ein Bösewicht in die Bibliothek schleicht und die Karte verändert. Sie brechen nicht das Gehirn der KI; sie täuschen die KI nicht mit verwirrenden Worten. Stattdessen verändern sie leise die Fakten auf der Karte. Da die KI so gut im Schließen ist, nimmt sie diese neuen, falschen Fakten und zieht daraus einen perfekt logischen – aber völlig falschen – Schluss.
Die Analogie: Platons Höhle und die Schattenwand
Die Autoren vergleichen dies mit Platons Höhle.
- Der Gefangene: Der KI-Agent.
- Die Wand: Der Wissensgraph.
- Die Schatten: Die Antworten, die die KI erhält, wenn sie dem Graphen Fragen stellt.
- Die Kette: Das Protokoll (genannt MCP), das die KI an die Wand bindet und sie zwingt, die Schatten als Realität zu akzeptieren.
Wenn ein Angreifer einen falschen Schatten auf die Wand malt, wird der Gefangene (die KI) ihn studieren, ihn perfekt analysieren und schlussfolgern: „Das ist ein echter Tiger", obwohl es nur ein Gemälde ist. Je intelligenter der Gefangene ist, desto detaillierter und überzeugender wird sein falscher Schluss sein.
Wie der Angriff funktioniert (Das „Wie")
Die Forscher testeten dies an einem realen System mit 42 Millionen Knoten (eine massive digitale Bibliothek). Sie stellten fest, dass ein Angreifer nur winzige, chirurgische Änderungen an der Karte vornehmen muss, um die KI zu täuschen.
Sie demonstrierten sechs Möglichkeiten, dies zu tun:
- Das gefälschte Paket: Erstellen eines gefälschten Softwarepakets in der Bibliothek, das wie die „neueste, sicherste Version" aussieht, und die KI dazu zu bringen, es zu empfehlen.
- Der unsichtbare Sanitizer: Hinzufügen einer gefälschten „Sicherheitswächter"-Funktion zur Karte, die im eigentlichen Code gar nicht existiert. Die KI sieht sie auf der Karte und schließt: „Ah, dieser Code ist sicher!", obwohl er tatsächlich anfällig ist.
- Der Eigenschaftsaustausch: Ändern der Details eines echten Code-Stücks auf der Karte (z. B. ein Etikett von „nicht verifiziert" zu „sicherheitsgeprüft" ändern), ohne ein neues gefälschtes Element zu erstellen.
Das Ergebnis: Die KI, die auf Basis der neuen Daten perfekt schließt, sagt den Entwicklern selbstbewusst: „Dieser Code ist sicher" oder „Verwenden Sie diese neue Bibliothek", und führt sie direkt in eine Falle.
Die „Sophistikation" des Angreifers
Das Papier stellte etwas Überraschendes fest: Man muss kein genialer Hacker sein, um dies zu bewerkstelligen.
- Level 0 (Naiv): Wenn die gefälschten Daten verdächtig aussehen (z. B. benannt als „hacker_tool_v1"), ignoriert die KI sie.
- Level 1 (Basic): Wenn sie okay aussehen, aber kleine Fehler haben, wird die KI manchmal getäuscht.
- Level 2 (Kompetent): Wenn die gefälschten Daten den Standard-Namenskonventionen folgen und professionell aussehen, wurden 100 % der getesteten KI-Modelle vollständig getäuscht.
Es ist nicht die Frage, ob die KI getäuscht werden kann, sondern wie viel Aufwand der Angreifer betreiben muss. Ein kompetenter Angreifer kann selbst die intelligentesten KI-Modelle zu 100 % täuschen.
Die Überraschung beim „Liefermodus"
Die Forscher entdeckten einen kritischen Mangel in der Art und Weise, wie wir die KI-Sicherheit normalerweise testen.
- Inline-Testing: Wenn Sie die gefälschten Daten der KI als einfache Textnachricht zeigen, sagen einige Modelle (wie GPT-5.1): „Das sieht verdächtig aus" und lehnen es ab.
- Tool-Use-Testing: Wenn die KI dieselben gefälschten Daten über ihre offizielle „Tool"-Verbindung erhält (so wie sie im echten Leben funktioniert), vertraut sie ihnen zu 100 %.
Die Lehre: Das Testen der KI-Sicherheit durch einfaches Chatten mit ihr (Inline) vermittelt ein falsches Sicherheitsgefühl. Wenn die KI ihre Tools verwendet, um Daten nachzuschlagen, lässt sie ihre Wachsamkeit vollständig fallen.
Wie man sich dagegen verteidigt
Das Papier testete mehrere Verteidigungsmaßnahmen und stellte fest, dass keine einzelne „Silberkugel" funktioniert, aber eine Kombination hilft:
- Schreibgeschützter Zugriff (Die beste Verteidigung): Wenn Sie den Wissensgraphen so sperren, dass die KI (und der Angreifer) die Karte nur lesen, aber niemals schreiben können, ist der Angriff unmöglich. Dies ist die effektivste Lösung.
- Abgleich: Wenn die KI gezwungen wird, die Karte mit einer zweiten Quelle zu überprüfen (wie den eigentlichen Code-Dateien), kann sie die Lüge aufdecken. Wenn die Karte „Sicher" sagt, aber die Code-Datei „Anfällig", gerät die KI in Verwirrung und hört auf, der Karte zu vertrauen.
- Der „Teufelsanwalt": Die KI zu fragen: „Könnten diese Daten gefälscht sein?", hilft, aber nur wenn Sie sehr spezifisch sind, wie sie gefälscht sein könnten. Einfach nur zu fragen „Sind Sie sicher?", funktioniert im Allgemeinen nicht.
- Verlaufstracking: Das Führen eines Protokolls darüber, was auf der Karte geändert wurde, hilft, neue gefälschte Elemente zu erkennen, versagt aber, wenn ein Angreifer einfach die Details eines bestehenden Elements ändert.
Zusammenfassung
Oracle Poisoning ist eine neue Art von Hack, bei dem der Angreifer die Daten korrumpiert, denen die KI vertraut, und nicht die KI selbst. Da die KI so gut darin ist, Logik zu befolgen, baut sie gerne ein Kartenhaus auf einem Fundament aus Lügen auf. Das Papier beweist, dass in einer realen Umgebung fast jedes getestete KI-Modell diesen Lügen glauben wird, wenn sie über einen vertrauenswürdigen Tool-Kanal kommen, und dass die einzige zuverlässige Lösung darin besteht, der KI die Möglichkeit zu nehmen, in ihre eigene Wissensdatenbank zu schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.