PolicyFaultBench: Mutation-Based Assurance of Policy Mediation and Proposal-Interface Conformance for Tool- Using AI Agents
PolicyFaultBench ist ein mutationsbasierter Benchmark, der werkzeugnutzende KI-Agenten validiert, indem er die Laufzeit-Policy-Mediation und die Konformität der Vorschlags-Schnittstelle rigoros testet und aufzeigt, dass Agenten zwar eine hohe Ausführungserfolgsrate erreichen können, aber dennoch aufgrund subtiler Schnittstellenabweichungen, die gezielte Sonden zur Erkennung erfordern, strengen Akzeptanzkriterien misslingen können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Lieblings-KI-Assistent wie ein superintelligenter, eifriger Praktikant ist. Er kann Code schreiben, E-Mails versenden und sogar Geld überweisen, wenn Sie ihn darum bitten. Aber hier ist der Haken: Dieser Praktikant ist unglaublich kreativ und manchmal ein wenig zu gesprächig. Wenn Sie ihm sagen: „Schicke eine E-Mail an meinen Chef“, schreibt er vielleicht einen lustigen Witz, ein seltsames Emoji oder eine lange Geschichte über sein Wochenende hinzu, bevor er die E-Mail tatsächlich abschickt. In der hochriskanten Welt der Computersicherheit ist dieser zusätzliche Schnack nicht nur nervig, sondern gefährlich. Wenn das System, das die Arbeit des Praktikanten überprüft, nicht die exakte Nachricht prüft, könnte es eine versteckte Falle übersehen oder versehentlich eine gefährliche Aktion genehmigen. Dies ist das Problem der „Policy-Mediation“ (Richtlinien-Vermittlung): sicherzustellen, dass, wenn eine KI eine Aktion vorschlägt, ein strenger Sicherheitswächter sie exakt so überprüft, wie sie geschrieben steht, bevor sie ausgeführt wird. Die große Frage ist nicht nur: „Ist die KI klug?“, sondern: „Macht der Sicherheitswächter seinen Job perfekt, selbst wenn die KI ein wenig eigenartig wird?“
Dieses Papier mit dem Titel PolicyFaultBench ist wie eine gründliche Inspektion dieses Sicherheitswächters. Die Forscher, Hasan Fadhil Qasim und Sarah Abdulzahra Kadim, haben die KI nicht einfach wahllos Dinge tun lassen; sie haben ein kontrolliertes Spiel aufgebaut, bei dem die KI als „Transkriptionsdienst“ fungieren musste. Anstatt eine komplexe Mission zu planen, wurde der KI eine spezifische, fest vorgegebene Aufgabe gegeben (wie „überweise 10 $ an Bob“) und sie wurde aufgefordert, diese in einem sehr spezifischen Format aufzuschreiben. Die Forscher testeten dann den Sicherheitswächter (den „Mediator“), um zu sehen, ob er Fehler, seltsame Formatierungen oder versteckte Tricks erkennen würde. Sie verwendeten einen cleveren Trick namens „Mutation Testing“, was so etwas wie das absichtliche Brechen des Regelbuchs des Sicherheitswächters in kleinen Schritten ist, um zu sehen, ob der Wächter es bemerkt. Zum Beispiel könnten sie so tun, als hätte der Wächter vergessen zu prüfen, ob die Geldüberweisung genehmigt wurde, oder sie könnten so tun, als hätte der Wächter eine Überweisung an eine andere Person zugelassen.
Die Studie ergab, dass die Sicherheitswächter (von Unternehmen wie OpenAI und Anthropic) im Allgemeinen gut darin sind, schlechte Aktionen zu stoppen, aber nicht perfekt sind. In einem Test mit 400 Versuchen mit einem Anbieter fing der Wächter jeden einzelnen böswilligen Versuch ab. Als sie jedoch einen anderen Anbieter testeten, fügte die KI 9 von 400 Mal ein winziges, zusätzliches Textstück hinzu (wie das Hinzufügen eines „Scope“-Feldes, das nicht gefragt war). Der Sicherheitswächter, der einer strengen Regel folgt, die besagt „die Nachricht muss exakt übereinstimmen“, lehnte diese 9 Nachrichten ab. Dies ist ein „Fail-Closed“-Design, was bedeutet, dass es besser ist, eine sichere Nachricht wegen eines winzigen Tippfehlers abzulehen, als versehentlich eine gefährliche zu akzeptieren. Die Forscher zeigten, dass die Absicht der KI in diesen 9 Fällen zwar sicher war, die strenge Prüfung jedoch notwendig war, um sicherzustellen, dass das System durch den zusätzlichen Text nicht verwirrt wird.
Das Papier entdeckte auch, dass das Regelbuch des Sicherheitswächters einige versteckte Lücken hatte. Wenn sie die Regeln absichtlich brachen (der „Mutation“-Teil), übersah der Wächter 5 von 12 Arten von Tricks in der ersten Runde. Er erkannte den Rest erst, nachdem die Forscher spezielle „Probe“-Tests hinzufügten, die speziell darauf ausgelegt waren, diese fehlenden Lücken zu finden. Dies deutet darauf darauf hin, dass ein System, das heute funktioniert, nicht unbedingt morgen gegen jeden möglichen Trick sicher ist. Die Forscher versuchten auch zu sehen, ob diese Ergebnisse mit einem anderen Satz von Aufgaben (abgeleitet von einem Benchmark namens AgentDojo) und einem anderen Sicherheitssystem Bestand hätten. Die Ergebnisse waren gemischt: Die KI bestand 391 von 400 Mal mit den neuen Aufgaben und scheiterte nur aufgrund desselben „zusätzlichen Textentwurfs“-Problems.
Kurz gesagt legt das Papier nahe, dass wir uns nicht darauf verlassen können, dass KI-Modelle an sich perfekt sind. Wir brauchen eine separate, strenge Sicherheitsebene, die die Vorschläge der KI mit extremer Präzision überprüft. Wenn die KI auch nur ein einziges zusätzliches Wort hinzufügt, das nicht angefordert wurde, sollte das System stoppen und um Klärung bitten, anstatt zu raten. Die Studie beweist, dass aktuelle Systeme zwar stark sind, aber ständigen, strengen Tests unterzogen werden müssen, um sicherzustellen, dass sie subtile Fehler nicht übersehen. Die Forscher kommen zu dem Schluss, dass Sicherheit keine einzelne „Bestanden“- oder „Nicht bestanden“-Note ist, sondern eine Sammlung verschiedener Prüfungen – die Überprüfung des Nachrichtenformats, die Überprüfung der Regeln und die Überprüfung des Endergebnisses –, die alle zusammenarbeiten, um die digitale Welt sicher zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.