Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
Dieses Paper stellt den Agent Security Contract (ASC) vor, ein durch Default-Verweigerung (deny-by-default) geprägtes Autorisierungsframework für werkzeugnutzende LLM-Agenten, das prä-exekutive Gates mittels richtlinienbeschränkter Tool-Allowlisten und integritätsgeprüfter Evidenz erzwingt und durch statische Trace-Evaluierungen demonstriert, dass aktualisierte Richtlinienversionen adversarielle Angriffe effektiv blockieren und dabei im Vergleich zu früheren Iterationen die Anzahl der falsch-positiven Ergebnisse minimieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen digitalen Assistenten vor, der mehr kann als nur Fragen zu beantworten; er kann tatsächlich Dateien öffnen, E-Mails versenden und Befehle auf Ihrem Computer ausführen. Dies ist das Versprechen moderner KI-Agenten, aber es bringt eine gefährliche neue Realität mit sich: Wenn ein Angreifer die KI dazu verleitet, einen schädlichen Befehl für einen hilfreichen Vorschlag zu halten, könnte die KI ohne Zögern gehorchen. Das Kernproblem besteht nicht darin, dass die KI verwirrt ist, sondern dass ihr ein zuverlässiger Gatekeeper fehlt, der jede einzelne Aktion überprüft, bevor sie ausgeführt wird. In der Welt der Computersicherheit ist der sicherste Ansatz, nichts zuzulassen, bis es ausdrücklich erlaubt wurde – ein Prinzip, das als „Fail-Closed“ bekannt ist. Wenn der Gatekeeper eine Anfrage nicht verifizieren kann, muss er einfach „Nein“ sagen, anstatt das Risiko einzugehen, durch einen Fehler einen Hacker dabei zu unterstützen, Daten zu stehlen oder wichtige Systeme zu löschen.
Ein Forscher namens Andrey Lesnikov hat ein System namens „Agent Security Contract“ entwickelt, das als dieser Gatekeeper fungieren soll. Anstatt zu versuchen zu erraten, was die KI denkt oder den Ton eines Gesprächs zu analysieren, agiert dieses System als strenger Checkpoint vor der Ausführung. Bevor die KI auf ein Werkzeug zugreifen darf, prüft das System einen digitalen Vertrag, der genau auflistet, welche Werkzeuge zulässig sind, welche Argumente sie annehmen können und welche Aktionen zuerst eine menschliche Freigabe erfordern. Das System arbeitet, indem es die vorgeschlagene Aktion der KI mit einer festgeschriebenen, unveränderlichen Liste genehmigter Werkzeuge vergleicht. Wenn das Werkzeug nicht auf der Liste steht oder wenn die Argumente verdächtig erscheinen, wird die Aktion sofort blockiert. Wenn eine Aktion etwas Gefährliches beinhaltet, wie das Löschen einer Datei oder das Versenden von Geld, pausiert das System und verlangt eine Genehmigung über einen separaten Kanal durch einen Menschen, um sicherzustellen, dass Entscheidungen mit hohem Einsatz niemals allein von der Maschine getroffen werden.
Um zu testen, ob dieser Ansatz tatsächlich funktioniert, ließ Lesnikov keine Live-KI in einer echten Umgebung laufen, was zu riskant gewesen wäre. Stattdessen erstellte er eine Sammlung aufgezeichneter Szenarien, die sowohl harmlose Aufgaben als auch raffinierte Angriffe zur Umgehung der Sicherheit enthielten. Er ließ diese aufgezeichneten Szenarien Version für Version durch sein System laufen und beobachtete dabei, wie der Gatekeeper reagierte. In der ursprünglichen Version blockierte das System die meisten offensichtlichen Angriffe, übersah jedoch einige clevere Tricks, wie etwa das Verstecken bösartiger Befehle innerhalb von Dateipfaden oder die Verwendung von Sonderzeichen, um Sicherheitsregeln zu umgehen. Nachdem er diese Lücken gefunden hatte, verschärfte der Forscher die Regeln. Das aktualisierte System lernte, diese spezifischen Umgehungsversuche zu erkennen und zu blockieren, wie zum Beispiel das Verhindern, dass eine KI sensible Passwortdateien liest oder Shell-Befehle nutzt, um außerhalb ihres erlaubten Arbeitsbereichs zu navigieren.
Die Ergebnisse zeigten, dass das System sehr effektiv darin ist, unbefugte Aktionen zu stoppen, aber dies geht mit einem Kompromiss einher. In einem Test mit über hundert aufgezeichneten Aufgaben blockierten die strengen neuen Regeln fast jeden Angriffsversuch. Jedoch blockierte das System auch eine beträchtliche Anzahl harmloser Aufgaben, weil diese Argumente verwendeten, die die strengen Regeln nicht erwarteten. Wenn beispielsweise eine Aufgabe versuchte, eine E-Mail ohne einen Anhang zu versenden, und das System so konfiguriert war, dass ein Anhang erforderlich ist, wurde die Aufgabe blockiert, obwohl sie sicher war. Der Forscher stellte fest, dass das bloße Auflisten der Namen erlaubter Werkzeuge nicht ausreichte, um Angriffe zu stoppen; das System musste die Details jedes Arguments prüfen. Doch als die Regeln angepasst wurden, um zu verstehen, welche Argumente optional sind, konnte das System zwischen sicheren und unsicheren Aktionen unterscheiden, ohne die harmlosen zu blockieren.
Eine der wichtigsten Erkenntnisse war, dass die Fähigkeit des Systems, Angriffe zu stoppen, vollständig davon abhängt, wie sorgfältig die Regeln geschrieben sind. Als der Forscher das System gegen einen Satz realer Angriffsziele aus einem anderen Projekt testete, hielt das System fast alle davon zurück, aber nur, weil die Regeln eine menschliche Genehmigung für jede Aktion erforderten, die Daten verändert oder Nachrichten versendet. Das System verstand nicht magisch den Unterschied zwischen einer legitimen E-Mail und einer Phishing-Mail; es setzte schlichtweg die Regel durch, dass eine solche Aktion eine Bestätigung eines Menschen benötigte. Dies unterstreicht eine entscheidende Einschränkung: Das System ist nur so stark wie der Vertrag, den es durchsetzt. Wenn der Vertrag zu locker ist, kann die KI dennoch Schaden anrichten. Wenn er zu streng ist, hindert er die KI daran, ihre Arbeit zu tun.
Die Studie maß auch, wie viel Zeit dieser Sicherheitscheck dem Prozess hinzufügt. Das System ist unglaublich schnell und benötigt weniger als eine Hundertstel Sekunde, um zu entscheiden, ob eine Aktion erlaubt oder blockiert werden soll. Diese Geschwindigkeit bedeutet, dass der Sicherheitscheck die Arbeit der KI nicht verlangsamt, was ihn für den realen Einsatz praktikabel macht. Der Forscher stellte jedoch fest, dass das System keine vollständige Lösung ist. Es verhindert nicht, dass eine KI ein erlaubtes Werkzeug auf eine schädliche Weise verwendet, wie etwa das Versenden einer Nachricht an eine sichere Adresse, die einen Virus enthält. Es kann auch nicht vor einem Hacker schützen, der bereits den Computer übernommen hat, auf dem die KI läuft. Das System ist ein spezifisches Werkzeug für eine spezifische Aufgabe: sicherzustellen, dass jeder Werkzeugaufruf mit einem vorab genehmigten Plan übereinstimmt.
Letztendlich zeigt die Arbeit, dass ein einfacher, starrer Satz von Regeln effektiv verhindern kann, dass eine KI unbefugte Befehle ausführt. Das System arbeitet, indem es sich weigert zu handeln, wenn es sich unsicher ist – eine Strategie, die Sicherheit über Bequemlichkeit priorisiert. Während die aktuelle Version eine sorgfältige Einrichtung erfordert und manchmal zu vorsichtig sein kann, zeigt die Forschung, dass es mit besseren Regeln und menschlicher Aufsicht möglich ist, eine zuverlässige Barriere zwischen einer KI und den Systemen zu bauen, die sie steuert. Die Arbeit legt nahe, dass die Zukunft sicherer KI-Agenten nicht in intelligenteren KIs liegt, sondern in strengerem, einfacherem und transparenterem Gatekeeping.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.