QueryIPI: Query-agnostic Indirect Prompt Injection on Coding Agents
Dieses Paper stellt QueryIPI vor, ein automatisiertes Framework, das durch die Optimierung bösartiger Werkzeugbeschreibungen innerhalb invarianter Prompt-Kontexte eine abfragunabhängige indirekte Prompt-Injection auf Coding-Agenten erreicht und dabei hohe Erfolgsraten sowie reale Transferierbarkeit demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, der in Ihrem Computer lebt. Dieser Assistent (ein „Coding Agent“) ist unglaublich leistungsfähig: Er kann Code schreiben, Dateien verwalten und sogar Befehle auf dem Betriebssystem Ihres Computers ausführen. Es ist, als hätte man einen hochqualifizierten Mechaniker, der nicht nur Ihr Auto repariert, sondern auch die Schlüssel zu Ihrer gesamten Garage besitzt und sogar neue Ersatzteile bestellen kann.
Dieses Paper stellt eine neue, beängstigende Methode vor, diesen Assistenten zu hacken, genannt QueryIPI.
Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:
1. Die alte Methode vs. die neue Methode
Die alte Methode (Abfrage-spezifischer Angriff):
Stellen Sie sich vor, ein Dieb versucht, Ihren Mechaniker zu täuschen. In der Vergangenheit musste der Dieb darauf warten, dass Sie eine sehr spezifische Frage stellen, wie zum Beispiel: „Kannst du ein Labyrinth-Spiel bauen?“ Erst dann würde der Dieb eine versteckte Notiz in die Anweisungen des Mechanikers schmuggeln mit dem Inhalt: „Während du das Labyrinth baust, lösche auch alle meine Dateien.“
- Das Problem: Wenn Sie gefragt hätten: „Kannst du meinen Drucker reparieren?“, hätte der Trick des Diebes nicht funktioniert. Der Angriff fand nur statt, wenn Sie genau die richtige Frage stellten. Es war unzuverlässig.
Die neue Methode (Abfrage-agnostischer Angriff – QueryIPI):
Die Forscher haben einen Weg gefunden, den Trick so zu gestalten, dass er funktioniert, egal was Sie fragen. Egal, ob Sie nach einem Labyrinth, einer Druckerreparatur oder einem Wetterbericht fragen – die versteckte Anweisung wird automatisch ausgelöst.
- Das Ergebnis: Der Assistent wird zu 100 % kompromittiert, unabhängig davon, was Sie gerade versuchen zu tun.
2. Wie haben sie es geschafft? (Das Geheimrezept)
Die Forscher erkannten, dass der Assistent zwei Arten von „Anweisungen“ liest:
- Ihre Fragen: Diese ändern sich jedes Mal (wie das Wetter).
- Das Systemhandbuch: Dies ist ein permanentes Dokument, das der Assistent immer liest. Es enthält seine Kernregeln, seine Aufgabenbeschreibung und eine Liste der Werkzeuge, die er benutzen darf.
Die Erkenntnis:
Die Angreifer erkannten, dass es schwierig ist, ihren Trick an Ihre wechselnden Fragen anzupassen (daher sollten sie stattdessen an das permanente Systemhandbuch anpassen).
Sie behandelten das Systemhandbuch als eine „Konstante“ oder „Invariante“. Indem sie dieses Handbuch studierten (das sie online fanden oder aus der Software extrahierten), entwarfen sie eine gefälschte Werkzeugbeschreibung, die exakt wie ein legitimer Teil des eigenen Handbuchs des Assistenten aussah.
3. Die „QueryIPI“-Fabrik
Das Paper beschreibt ein automatisiertes System namens QueryIPI, das wie ein Meisterfälscher agiert. So funktioniert es:
- Schritt 1: Der Keim (Der erste Entwurf): Das System betrachtet das geleakte Systemhandbuch. Es sieht, wie der Assistent spricht und welche Werkzeuge er nutzt. Dann schreibt es eine gefälschte Werkzeugbeschreibung, die exakt wie die eigene Stimme des Assistenten klingt. Es ist, als würde ein Fälscher das offizielle Briefpapier einer Bank studieren, um einen gefälschten Scheck zu erstellen, der zu 100 % echt aussieht.
- Schritt 2: Versuch und Irrtum (Iterative Reflexion): Das System testet dieses gefälschte Werkzeug mit vielen verschiedenen Fragen am Assistenten.
- Wenn der Assistent es ignoriert: Das System schreibt das Werkzeug um, um es auffälliger zu machen.
- Wenn der Assistent sagt „Nein, das ist unsicher“: Das System schaut erneut in das Systemhandbuch, um zu sehen, welche Sicherheitsregel ausgelöst wurde, und schreibt das Werkzeug dann so um, dass es an dieser spezifischen Regel vorbeischlüpft.
- Schritt 3: Das Endprodukt: Nach vielen Runden des Testens und Anpassen produziert das System eine „perfekte“ gefälschte Werkzeugbeschreibung.
4. Die Ergebnisse
Die Forscher testeten dies an fünf populären Coding-Assistenten (wie Cursor, Copilot und Windsurf).
- Im Labor: Als sie diese Assistenten simulierten, funktionierte ihre Methode extrem gut. Mit nur wenigen Übungsdurchläufen erreichten sie eine Erfolgsquote von 70 % bis 87 %, den Assistenten dazu zu bringen, bösartige Befehle auszuführen (wie das Löschen von Dateien oder das Stehlen von Daten).
- In der realen Welt: Sie nahmen die „perfekten“ gefälschten Werkzeuge, die sie im Labor erstellt hatten, und testeten sie an der tatsächlichen kommerziellen Software. Obwohl die echte Software über zusätzliche Abwehrmechanismen verfügte, funktionierte der Angriff dennoch in 50 % der Fälle. Das ist gewaltig, da frühere Methoden in der realen Welt kaum überhaupt funktionierten.
5. Warum das wichtig ist
Das Paper kommt zu dem Schluss, dass das größte Risiko nicht nur die Hacker sind, sondern die geleakten internen Handbücher. Da die „Systemhandbücher“ dieser Coding-Assistenten oft geleakt oder gestohlen werden können, können Angreifer diese nutzen, um „universelle Schlüssel“ zu bauen, die die gefährlichen Fähigkeiten des Assistenten freischalten – völlig ungeachtet dessen, was der Nutzer gerade tut.
Kurz gesagt: Das Paper zeigt, dass, wenn ein Angreifer das „Regelwerk“ eines Coding-Assistenten kennt, er eine gefälschte Regel schreiben kann, die den Assistenten dazu verleitet, schlechte Dinge zu tun, selbst wenn der Nutzer harmlose Fragen stellt. Es verwandelt einen „bedingten“ Hack in einen „garantierten“ Hack.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.