A Policy Algebra for Trust-Preserving Agentic AI Execution
Dieses Paper führt eine Policy-Algebra ein, die eine vertrauenserhaltende Zuverlässigkeitshülle für agentielle KI definiert, indem sie Sicherheitsbeschränkungen und Laufzeitverpflichtungen formal zusammensetzt, wodurch das System in der Lage ist, bei nahezu allen Policy-Verstößen einzugreifen und gleichzeitig hohe Aufgabenabschlussraten sowie eine vollständige Auditierbarkeit zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der künstlichen Intelligenz findet ein bedeutender Wandel statt. Jahrelang lag der Fokus darauf, Systeme zu entwickeln, die Texte generieren, Fragen beantworten oder Dokumente zusammenfassen konnten. Diese Systeme waren wie sehr belesene Bibliothekare, die zwar alles lesen konnten, denen es aber untersagt war, die Bücher anzufassen oder die Möbel zu bewegen. Heute hat eine neue Generation von Software, die oft als „Agenten“ bezeichnet wird, die Schlüssel zum Gebäude erhalten. Diese Agenten reden nicht nur; sie handeln. Sie können in privaten Unternehmensdateien suchen, E-Mails versenden, Datenbanken aktualisieren, externe Dienste aufrufen und sogar Teile einer Aufgabe an andere Softwareprogramme übergeben. Diese Fähigkeit, vom Denken zum Handeln überzugehen, macht sie für Unternehmen unglaublich leistungsstark, führt aber auch eine neue Art von Gefahr ein. Ein Fehler ist nicht mehr nur ein falscher Satz; es ist eine gelöschte Datei, ein geleaktes Geheimnis oder ein Budget, das für eine Aufgabe ausgegeben wurde, die nie abgeschlossen wurde.
Das Kernproblem besteht darin, dass ein Agent sein Ziel erreichen könnte, während er dabei die Regeln bricht, um dorthin zu gelangen. Stellen Sie sich einen Arbeiter vor, der erfolgreich ein Paket ausliefert, dies aber tut, indem er in einen verschlossenen Raum einbricht, zu dem er keinen Zutritt hatte. In der Vergangenheit prüften Sicherheitssysteme hauptsächlich, ob eine Person einen Ausweis besaß, um ein Gebäude zu betreten. Doch für diese intelligenten Agenten muss die Sicherheitsprüfung bei jedem einzelnen Schritt der Reise stattfinden, nicht erst an der Eingangstür. Wenn ein Agent eine Entscheidung treffen darf, muss diese Entscheidung gegen die Identität des Anfragenden, die verwendeten Werkzeuge, das verbleibende Budget und die menschliche Genehmigung geprüft werden. Oh: Ohne diese ständige Überwachung kann ein mächtiges Werkzeug leicht Schaden anrichten, selbst wenn die Person, die den Prozess gestartet hat, gute Absichten hatte.
Forscher bei Volkswagen Digital Services und Scania CV AB haben einen neuen Weg entwickelt, um dieses Risiko zu managen, den sie eine Policy-Algebra nennen. Betrachten Sie dies nicht als eine Liste von Regeln, sondern als ein mathematisches System zur Kombination verschiedener Sicherheitsanforderungen zu einer unumstößlichen Entscheidung. Die Forscher erkannten, dass man einem Agenten nicht vertrauen kann, indem man nur das Endergebnis betrachtet, das er produziert. Man muss den gesamten Pfad betrachten, den er dorthin genommen hat. Ihr System behandelt jede Aktion, die ein Agent ausführen möchte, als einen Übergang, der eine Serie von Toren passieren muss. Diese Tore prüfen die Identität des Agenten, seine Rolle, die Sensibilität der Daten, die er berührt, die Werkzeuge, die er verwendet, sein verbleibendes Budget und ob ein Mensch den Schritt genehmigt hat. Wenn eines dieser Tore versagt, wird die Aktion gestoppt.
Die Brillanz dieses Ansatzes liegt darin, wie er Komplexität handhabt, insbesondere wenn ein Agent einen anderen Agenten mit einer Aufgabe beauftragt. In vielen aktuellen Systemen können die Sicherheitsregeln versehentlich schwächer werden, wenn eine Aufgabe weitergereicht wird, was einem Sub-Agenten ermöglicht, Dinge zu tun, die der ursprüngliche Agent nicht durfte. Das neue System verhindert dies, indem es sicherstellt, dass sich die Autorität während der Weitergabe der Aufgabe nicht ausweitet. Stattdessen wird das Sicherheitsprofil strenger oder bleibt gleich. Wenn ein hochrangiger Manager einen Junior-Mitarbeiter bittet, zu helfen, kann der Junior-Mitarbeiter nicht plötzlich Zugriff auf die privaten Dateien des Managers erhalten. Das System verwaltet auch Geld sorgfältig. Es stellt sicher, dass, wenn ein Agent viel Rechenleistung oder Geld aufwendet, er auch ein greifbares Ergebnis liefert, wie etwa ein gespeichertes Dokument oder einen abgeschlossenen Datensatz. Wenn ein Agent sein Budget aufbraucht, ohne eine nützliche Ausgabe zu hinterlassen, stoppt das System ihn und verhindert so, dass das Unternehmen Ressourcen für eine Aufgabe verschwendet, die ins Leere lief.
Um zu testen, wie gut dies funktioniert, ließen die Forscher tausende simulierte Szenarien durchlaufen, in denen Agenten versuchten, verschiedene Aufgaben zu erledigen. Sie verglichen ihr neues System mit älteren Methoden, die auf einfachen Listen erlaubter Werkzeuge und Benutzerrollen basierten. Die Ergebnisse zeigten einen klaren Unterschied in der Sicherheit. Das neue System stoppte 94,8 % der unsicheren Aktionen, die das ältere System übersehen hatte. Dies beinhaltete das Verhindern des Zugriffs auf Daten, die der Agent nicht sehen durfte, die Nutzung von Werkzeugen, die er nicht anfassen durfte, oder die Übergabe von Aufgaben an andere Agenten in einer Weise, die die Sicherheitsregeln umging. Das System eliminierte auch eine spezifische Art von Fehler, bei der ein Agent sein gesamtes Geld ausgab, aber kein nützliches Ergebnis hinterließ. In Bezug auf die Nachverfolgbarkeit zeichnete das neue System 98,6 % der notwendigen Details für eine Prüfung auf, verglichen mit 71,9 % der älteren Methode, was es viel einfacher macht, zu verstehen, was passiert ist, falls etwas schiefgelaufen ist.
Es gibt einen Preis für diese zusätzliche Sicherheit. Das neue System ist etwas langsamer in der Entscheidungsfindung und benötigt im Durchschnitt etwa 71 Millisekunden im Vergleich zu 38 Millisekunden beim älteren Modell. Zudem stoppt es gelegentlich eine sichere Aktion fälschlicherweise in etwa 4,2 % der Fälle, verglichen mit 2,1 % beim älteren System. Aufgrund dieser zusätzlichen Prüfungen sank die Erfolgsquote der Agenten beim Abschluss ihrer Aufgaben leicht von 90,7 % auf 86,9 %. Die Forscher argumentieren jedoch, dass dieser Kompromiss notwendig ist. Das Ziel ist nicht, den schnellsten oder fähigsten Agenten zu bauen, sondern den zuverlässigsten. Eine Aufgabe, die schnell erledigt wird, aber unbefugten Datenzugriff oder verschwendetes Geld beinhaltet, ist kein Erfolg.
Die Studie bestätigt, dass Sicherheit für intelligente Agenten eine Eigenschaft des gesamten Weges sein muss, nicht nur des Ziels. Durch die Verwendung dieser neuen Methode zur Kombination von Regeln können Unternehmen ihre Software mit mehr Freiheit agieren lassen und gleichzeitig sicherstellen, dass jeder Schritt autorisiert, rückverfolgbar und wirtschaftlich fundiert bleibt. Das System versucht nicht zu erraten, was ein Agent falsch machen könnte; stattdessen schafft es einen Rahmen, in dem ein Agent nur das tun kann, was in jedem Moment explizit erlaubt ist. Dieser Ansatz verwandelt die rohe Kraft der künstlichen Intelligenz in ein Werkzeug, dem Unternehmen tatsächlich vertrauen können, um in der realen Welt zu operieren, in der Fehler reale Konsequenzen haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.