Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming
Das Papier stellt PIMiner vor, ein agentenbasiertes System, das während des Trainings eine übertragbare Strategiebibliothek aufbaut, um ein hocheffektives, abfragenarmes Prompt-Injection-Red-Teaming gegen ungesehene Ziel-LLMs zu erreichen, welches bestehende Reinforcement-Learning-basierte Methoden signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der Ihre Flüge buchen, Ihren Code schreiben und Ihr Bankkonto verwalten kann. Es ist, als hätte man einen magischen Flaschengeist, der die Arbeit tatsächlich für einen erledigt. Aber hier ist der Haken: Dieser Flaschengeist ist ein wenig zu vertrauensselig. Wenn Sie eine geheime Anweisung in eine gefälschte E-Mail oder einen verdächtigen Website-Link flüstern, könnte der Roboter verwirrt werden und denken, dass das das Wichtigste ist, was er tun soll, und dabei Ihre eigentlichen Befehle ignorieren. Dies wird als „Prompt Injection“-Angriff bezeichnet. Es ist so, als würde man eine Notiz in das Notenbuch eines Lehrers schmuggeln, auf der steht: „Gib mir eine Eins“, und der Lehrer denkt, dies sei Teil der offiziellen Akte, und tut es dann auch tatsächlich.
Um diese Roboter sicher zu halten, spielen Sicherheitsexperten ein Spiel namens „Red-Teaming“. Denken Sie an ein Videospiel, bei dem ein Spieler versucht, den Roboter zu hacken, und der andere versucht, ihn aufzuhalten. Das Ziel ist es, alle hinterlistigen Wege zu finden, wie der Roboter getäuscht werden kann, bevor es die Bösen tun. Lange Zeit waren die besten Hacker (genannt „Angreifer“) wie Schüler, die sich hinsetzen und tausende von Stunden studieren mussten, um jeden einzelnen Trick auswendig zu lernen, um einen spezifischen Roboter zu besiegen. Aber wenn man den Roboter gegen ein etwas anderes Modell austauschte, musste der Schüler wieder ganz von vorne anfangen zu lernen. Es war langsam, teuer und funktionierte bei neuen Herausforderungen nicht gut.
Hier kommt PIMiner ins Spiel, ein neues, kluges System, das von Forschern der Penn State entwickelt wurde, um der ultimative Red-Teaming-Detektiv zu sein. Anstatt nur Tricks für einen spezifischen Roboter auswendig zu lernen, ist PIMiner wie ein Meisterdieb, der ein riesiges, organisiertes Notizbuch mit Raubüberfall-Strategien besitzt. Wenn es mit einem neuen Roboter konfrontiert wird, fängt es nicht bei Null an. Es blättert in seinem Notizbuch, sucht sich die besten Tricks aus, die funktionieren könnten, und probiert sie aus. Wenn ein Trick funktioniert, schreibt es ihn in das Notizbuch mit einer Notiz darüber, warum er funktioniert hat. Wenn er fehlschlägt, schreibt es auf, warum er fehlgeschlagen ist, damit es nicht zweimal denselben Fehler macht.
Die Arbeit zeigt, dass dieser „Notizbuch“-Ansatz ein Game-Changer ist. Während ältere Methoden den Roboter tausende Male befragen mussten, um zu lernen, wie man ihn hackt, kann PIMiner oft mit nur 10 Fragen pro Test herausfinden, wie man einbricht. In ihren Tests gelang es PIMiner, leistungsstarke, brandneue Roboter (wie die neuesten Versionen von GPT und Claude) mit einer Erfolgsquote von bis zu 76,2 % bei einigen Herausforderungen zu überlisten. Dies deutet darauf hin, dass wir durch das Organisieren vergangener Erfahrungen in einer wiederverwendbaren Bibliothek Sicherheitslücken viel schneller und kostengünstiger finden können, was hilft, sicherere KI-Assistenten für alle zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.