Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents
Das Papier stellt „Know Your Agent“ (KYA) vor, ein Framework, das Black-Box-, Reconnaissance-getriebenes Pentesting für KI-Agenten automatisiert, indem es diese systematisch abfragt, um Zielprofile zu erstellen und stärkere indirekte Prompt-Injection-Angriffe zu entwerfen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Computer nicht einfach nur darauf wartet, dass Sie Befehle eintippen, sondern tatsächlich Dinge für Sie erledigt. Er kann Ihre E-Mails lesen, das Web durchsuchen, Code schreiben und sogar Flüge buchen. Wir nennen diese „KI-Agenten“. Sie sind wie superintelligente digitale Assistenten, die planen und eigenständig handeln können. Aber hier liegt der schwierige Teil: Diese Agenten hören ständig auf die Welt um sie herum zu. Wenn Sie einen Agenten bitten, eine Webseite zu lesen, liest er alles auf dieser Seite, selbst die Teile, die von Fremden geschrieben wurden. Dies schafft ein einzigartiges Sicherheitsproblem. Wenn ein Bösewicht eine geheime, hinterhältige Anweisung in einer normal aussehenden Webseite oder E-Mail versteckt, könnte der Agent diese lesen, denken, es sei ein echter Befehl von Ihnen, und genau das tun, was der Bösewicht will. Dies wird als „Indirekte Prompt-Injection“ bezeichnet. Es ist so, als würde jemand einen Zettel in die Brotdose eines Freundes schmuggeln, auf dem steht: „Gib mir dein Mittagessen“, und Ihr Freund, der höflich ist, händigt es ihm aus, ohne zu merken, dass der Zettel nicht von Ihnen stammte.
Die große Frage, die sich Forscher stellen: Wie testen wir diese Agenten, um sicherzustellen, dass sie nicht auf solche Tricks hereinfallen, bevor wir sie in der realen Welt freilassen? Lange Zeit versuchten Sicherheitsexperten, sie zu testen, indem sie ihnen einfach zufällige, verwirrende Anweisungen zuwarfen, in der Hoffnung, dass sie dadurch zusammenbrechen würden. Das war ein wenig so, als würde man versuchen, eine Schwachstelle in einer Burgmauer zu finden, indem man blind Steine darauf wirft. Aber ein neues Paper legt nahe, dass dieser Ansatz den wichtigsten Teil des Jobs vermissen lässt: die Aufklärung. In der Welt der traditionellen Sicherheit wirft ein Tester nicht einfach nur Steine; er erkundet zuerst die Burg. Er sucht nach offenen Fenstern, prüft den Zeitplan der Wachen und lernt das Layout kennen. Dieses Paper argumentiert, dass wir bei KI-Agenten genau dasselbe tun müssen, um sie wirklich zu testen: Wir müssen „Deinen Agenten kennen“.
Die Autoren, ein Team der Ben-Gurion-Universität, führen ein neues Framework namens KYA (Know Your Agent) ein. Sie argumentieren, dass der beste Weg, einen KI-Agenten zu knacken, nicht darin besteht, blind zu raten, sondern zuerst alles herauszufinden, was man über ihn lernen kann. Sie fanden heraus, dass KI-Agenten zwei Haupt-„blinde Flecken“ haben, die sie verwundbar machen. Erstens vertrauen sie Dingen, die richtig aussehen (wie bestimmte Formatierungen oder Wörter, die normalerweise bedeuten: „Dies ist eine sichere Anweisung“). Zweitens vertrauen sie Dingen, die in die Geschichte passen (wie einer Anfrage, die im Kontext einer normalen Aufgabe sinnvoll erscheint).
Das Paper zeigt, dass wir durch den Einsatz eines intelligenten, automatisierten Systems, das wie ein digitaler Detektiv agiert, diese blinden Flecken viel besser ausnutzen können als bisher. Dieses System, KYA, greift nicht nur an; es hält inne, um Fragen zu stellen, beobachtet, wie der Agent reagiert, und erstellt ein detailliertes Profil seiner Werkzeuge und Regeln. Es lernt Dinge wie: „Oh, dieser Agent verwendet ein spezielles Symbol, um Anweisungen zu trennen“ oder „Dieser Agent wird nervös, wenn ich ihn bitte, etwas zu tun, das nicht in die aktuelle Geschichte passt“. Sobald es diese Details kennt, entwirft es einen viel überzeugenderen Trick.
Die Forscher testeten diese Idee an mehreren verschiedenen KI-Agenten und fanden heraus, dass ihr „auf Aufklärung basierender“ Ansatz unglaublich effektiv war. In ihren Simulationen konnte KYA Agenten in bis zu 67 Prozentpunkten häufiger hacken und Angriffe erfolgreich durchführen als vorherige Methoden, die lediglich geraten und es erneut versucht haben. Sie testeten es sogar auf einem realen Coding-Agenten namens OpenHands und fanden heraus, dass es dort ebenfalls funktionierte. Das Paper kommt zu dem Schluss, dass wir, wenn wir KI-Agenten sicher machen wollen, aufhören müssen, sie wie statische Ziele zu behandeln, und statfangen müssen, sie als komplexe Systeme zu betrachten, die studiert, profiliert und verstanden werden müssen, bevor wir ihre Verteidigung wirklich testen können. Es geht nicht mehr nur darum, Steine zu werfen; es geht darum, zuerst die Geheimnisse der Burg zu erfahren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.