Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in der jedes Buch ein Stück Information ist. Lange Zeit versuchten Computer, die Fragen beantworten wollten (wie unsere superintelligenten KI-Assistenten), einfach das ähnlichste Buch im Regal zu greifen, es zu lesen und die Antwort zu raten. Es war, als würde man einen Bibliothekar nach einem Rezept fragen und er würde einem ein zufälliges Kochbuch geben, auf dessen Cover lediglich das Wort „Hähnchen“ stand. Aber vor kurzem begannen Wissenschaftler, eine andere Art von Bibliothek zu bauen: einen Knowledge Graph (Wissensgraph). Anstatt nur Stapel von Büchern zu haben, ist diese Bibliothek ein massives, leuchtendes Netz, in dem jedes Faktum ein Knoten (ein Punkt) ist und jede Beziehung eine Verbindung zwischen ihnen. Wenn Sie nach „Hähnchen“ fragen, sucht das System nicht nur ein Buch; es folgt den Verbindungen, um zu sehen, was das Hähnchen frisst, welche Krankheiten es übertragen könnte und welche Rezepte es verwenden. Dies nennt man Retrieval-Augmented Generation (RAG). Es ist, als würde man der KI eine Karte statt nur einer Liste von Wörtern geben, was es ihr ermöglicht, durch komplexe Ketten von Fakten zu schlussfolgern.

Dieses neue netzartige Bibliothek hat jedoch eine beängstigende neue Schwachstelle. Im alten Bücherregal-System galt: Wenn jemand eine gefälschte Seite in ein Buch schlich, wurden nur die Leute getäuscht, die nach genau diesem Buch suchten. Aber in einem Netz aus verbundenen Punkten kann, wenn man einen einzigen Strang in der Mitte der Karte vergiftet, diese Lüge gleichzeitig durch Dutzende von verschiedenen Pfaden wandern. Es ist, als würde man einen einzigen Tropfen roter Farbe in die Mitte eines Flusses geben; plötzlich wird jeder Bach, jeder Teich und jeder Wasserfall, der mit diesem Fluss verbunden ist, rosa. Dieses Paper untersucht genau, wie weit sich dieser „Farbstoff“ ausbreitet. Die Forscher wollten wissen: Wenn ein böswilliger Akteur eine einzige Lüge in dieses verbundene Netz injiziert, wie viele verschiedene Fragen wird die KI dadurch falsch beantworten? Sie nennen dies den „Blast Radius“ (die Explosionsradius). Es ist ein Maß dafür, wie viel Schaden ein einzener kleiner Fehler anrichten kann, wenn das System auf einem verschlungenen Netz von Verbindungen aufgebaut ist.

Das große Experiment: Wie weit verbreitet sich das Gift?

Die Autoren dieses Papers haben ein digitales Experiment aufgebaut, um diesen „Blast Radius“ in einer sehr spezifischen, hochsensiblen Umgebung zu messen: einem medizinischen Wissensgraphen. Sie verwendeten ein System namens Microsoft GraphRAG, das von einem KI-Modell namens Gemma 2 9B angetrieben wird, und speisten es mit einer Sammlung echter medizinischer Abstracts über Themen wie Krebs, Diabetes und Viren.

Um das System zu testen, versuchten sie nicht, die KI mit komplexem Code oder geheimen Passwörtern zu täuschen. Stattdessen spielten sie ein Spiel der „strukturellen Sabotage“. Sie injizierten drei verschiedene Arten von gefälschten Fakten (genannt „Triples“) in den Graphen, um zu sehen, wie sich der Schaden ausbreitet:

1. Der „Edge“-Angriff (Rand-Angriff): Sie pflanzten eine Lüge über eine unbedeutende, obskure medizinische Tatsache (wie ein spezifisches Medikament für eine seltene Erkrankung) ein, die nur wenige Verbindungen zu anderen Fakten hatte.
2. Der „Hub“-Angriff (Zentrum-Angriff): Sie nahmen eine Superstars-medizinische Tatsache ins Visier – einen „Hub“, der mit Dutzenden anderen Dingen verbunden ist. In ihrem Experiment wählten sie p53, ein berühmtes Protein, das eine zentrale Rolle in der Krebsforschung spielt und mit Genen, Krankheiten und Behandlungen überall verbunden ist. Sie injizierten die Lüge, dass p53 Tumore verursacht, anstatt sie zu stoppen.
3. Der „Chain“-Angriff (Ketten-Angriff): Sie erschufen eine falsche Geschichte aus drei miteinander verbundenen Lügen, die vier verschiedene medizinische Themen in einer Kette verknüpften, die es in der Realität nicht gab.

Die schockierenden Ergebnisse: Eine Lüge, vierzehn Fehler

Die Ergebnisse waren ein Weckruf. Die Forscher fanden heraus, dass die Form des Netzes wichtiger ist als der Inhalt der Lüge.

• Der „Edge“-Angriff: Als sie über die unbedeutende, obskure Tatsache lügten, blieb der Schaden begrenzt. Für jede injizierte Lüge gab die KI 7 falsche Antworten. Das Gift verbreitete sich, blieb aber weitgehend lokal.
• Der „Hub“-Angriff: Hier wurde es wild. Als sie nur eine einzige Lüge über das hochgradig vernetzte Protein p53 injizierten, explodierte der Blast Radius. Diese eine falsche Tatsache verursachte 14 falsche Antworten der KI. Das bedeutet, dass der „Hub“-Angriff doppelt so gefährlich war wie der Edge-Angriff, obwohl sie nur ein einziges Stück falscher Daten verwendeten. Die Lüge blieb nicht bei p53; sie wanderte durch das Netz und korrumpierte Antworten über Krebstherapien, Gentherapie und Wirkmechanismen von Medikamenten, nach denen der Nutzer gar nicht direkt über p53 gefragt hatte.
• Der „Chain“-Angriff: Als sie die gefälschte Kette aus drei Lügen aufbauten, war der Schaden tiefgreifend, aber pro Lüge etwas weniger explosiv (etwa 4 falsche Antworten pro Lüge). Dennoch war er sehr effektiv darin, die KI bei komplexen, mehrstufigen Fragen zu täuschen.

Das „Two-Hop“-Sweet Spot (Zwei-Sprung-Optimum)

Eine der interessantesten Entdeckungen war, welche Fragen am meisten durcheinandergebracht wurden. Die Forscher testeten Fragen, die die KI dazu zwangen, einen Schritt (1-hop), zwei Schritte (2-hop) oder drei Schritte (3-hop) durch das Netz zu gehen, um eine Antwort zu finden.

Sie fanden heraus, dass Zwei-Schritt-Fragen am anfälligsten waren. Es scheint, dass die KI am ehesten in die vergiftete Zone stolpert, wenn sie über einen zwischengeschalteten Fakt springen muss, um zur Antwort zu gelangen. Beim Hub-Angriff waren 6 von 10 Zwei-Schritt-Fragen korrumpiert. Der „Kaskadeneffekt“ war real: Die KI beantwortete nicht nur die direkte Frage falsch; sie beantwortete auch die Folgen dieser Lüge falsch. Tatsächlich war der „Kaskadenschaden“ (indirekt betroffene Antworten) in jedem Szenario viel größer als der „direkte Schaden“ (Antworten, die die Lüge explizit erwähnten).

Warum das wichtig ist und wie man es behebt

Das Paper kommt zu dem Schluss, dass in einem Knowledge Graph die Lage alles ist. Wenn man eine ruhige Ecke der Bibliothek vergiftet, ist das ein kleines Problem. Wenn man jedoch die Hauptkreuzung vergiftet, an der alle Straßen zusammenlaufen, verliert die ganze Stadt die Orientierung. Dies ist ein großes Problem für Bereiche wie Medizin, Recht und Wirtschaft, in denen ein einzend falscher Fakt zu einer falschen Diagnose oder einer falschen rechtlichen Strategie führen kann.

Um dem entgegenzuwirken, schlagen die Autoren eine neue Verteidigung vor, die „Degree-Weighted Trust Scoring“ (Grad-gewichtete Vertrauensbewertung) genannt wird. Stellen Sie sich einen Sicherheitsmann am Eingang der Bibliothek vor. Anstatt nur das Buch zu lesen, um zu sehen, ob es gefälscht ist, achtet dieser Wachmann auf den Autor und das Thema. Wenn eine neue Tatsache über einen „Hub“ (eine hochvernetzte Entität wie p53) handelt, wird der Wachmann sehr misstrauisch und markiert sie zur menschlichen Überprüfung, bevor er sie in das System lässt. Wenn die Tatsache über ein unbedeutendes, obskures Thema handelt, lässt der Wachmann sie schnell passieren. Auf diese Weise konzentriert das System seine Energie darauf, die gefährlichsten Teile der Karte zu schützen.

Kurz gesagt zeigt uns dieses Paper, dass die Verbindung des Wissens unserer KI zu einem Netz sie zwar intelligenter macht, sie aber auch fragiler macht. Eine einzige Lüge am richtigen (oder falschen) Ort kann Wellen schlagen und das System auf eine Weise verwirren, die wir nicht erwartet haben, wodurch aus einem kleinen Fehler ein massives Desaster wird.