Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Stellen Sie sich vor, Sie bringen einem Roboter-Butler das Kochen bei. Sie geben ihm ein Rezept, aber der Roboter muss während der Arbeit auch die Nachrichten lesen, das Wetter prüfen und Radioberichte hören. Genau so funktionieren moderne KI-Agenten: Sie nutzen „Werkzeuge“, um mit der realen Welt zu interagieren, wie etwa das Durchsuchen des Internets oder das Abfragen von Datenbanken. Aber hier ist der Haken: Wenn ein hinterlistiger Hacker eine geheime Notiz in einen dieser Nachrichtenartikel oder Radioberichte schmuggeln könnte, könnte der Roboter verwirrt werden. Anstatt das Rezept zu Ende zu kochen, entscheidet er sich plötzlich dazu, Ihre Dateien zu löschen oder Geld an einen Fremden zu senden. Dieser Trick wird „Indirect Prompt Injection“ genannt. Es ist wie ein Magier, der eine gefälschte Anweisung in die Tasche eines Zuschauers gleiten lässt; der Roboter liest sie, hält sie für Teil der Show und folgt den falschen Befehlen.

Lange Zeit mussten Hacker, die versuchten, diese Roboter auszutricksen, ein Spiel aus „Raten und Prüfen“ spielen. Sie würden einen Trick versuchen, sehen, ob der Roboter darauf hereinfiel, und dann ihren Trick basierend auf der Reaktion des Roboters anpassen. Aber in der realen Welt hat ein Hacker oft nur einen einzigen Versuch, eine Notiz in den Pfad des Roboters zu schmuggeln. Er kann nicht warten, um zu sehen, wie der Roboter reagiert; er muss es beim ersten Mal richtig machen. Die große Frage, die sich Forscher stellten, war: Kann ein Hacker aus vergangenen Fehlern und Erfolgen lernen, um einen „Meistertrick“ zu kreieren, der bei einem brandneuen Roboter, den er noch nie getroffen hat, mit nur einem einzigen Versuch funktioniert?

Hier kommt SAVOR ins Spiel, eine neue Methode, die wie ein Chefkoch agiert, der aus einer Bibliothek voller Kochkatastrophen und Triumphe lernt. Anstatt zu versuchen, einen spezifischen Roboter in Echtzeit auszutricksen, verbringt SAVOR Zeit offline damit, tausende vergangene Versuche zu studieren, bei denen Hacker versucht haben, verschiedene Roboter zu kapern. Es untersucht, was funktioniert hat und – was noch wichtiger ist – was nicht funktioniert hat. Es fragt sich selbst: „Warum ist dieser Trick gescheitert?“ und „Warum war dieser erfolgreich?“. Durch das Reflektieren über diese Ergebnisse destilliert SAVOR die chaotischen Details spezifischer Tricks in einige wenige goldene Regeln oder „Strategien“. Es ist wie ein Schüler, der aufhört, spezifische Matheaufgaben auswendig zu lernen, und stattdessen die zugrunde liegende Logik der Algebra versteht.

Sobald SAVOR diese „Strategiebibliothek“ aufgebaut hat, friert es diese ein. Wenn es mit einem brandneuen, unbekannten Roboter konfrontiert wird, muss es nicht um Hilfe bitten oder es erneut versuchen. Es zieht einfach die beste Strategie aus seiner eingefrorenen Bibliothek, entwirft eine einzige, perfekte bösartige Notiz und schummelt sie hinein. Die Arbeit zeigt, dass dieser Ansatz unglaublich effektiv ist. In Tests gelang es SAVOR weita viel öfter, Roboter zu täuschen als bisherige Methoden, selbst wenn die Roboter über starke Abwehrmechanismen verfügten oder völlig anders waren als die Roboter, mit denen SAVOR trainiert wurde. Es funktionierte nicht nur in simulierten Tests; es funktionierte auch in einer realistischeren Umgebung, in der der Roboter tatsächlich Handlungen ausführen musste, was beweist, dass diese „One-Shot“-Tricks das Verhalten eines Roboters wirklich verändern können. Die Forscher fanden heraus, dass SAVOR aus einem Satz von Werkzeugen lernen und erfolgreich einen völlig anderen Satz von Werkzeugen angreifen konnte, was im Wesentlichen bedeutet, dass es seine „Hacker-Intuition“ auf neue Situationen übertragen konnte, ohne einen zweiten Versuch zu benötigen.