GAAR: Runtime Governance for Scalable Agentic Retrieval and Tool- Orchestrated Enterprise AI Systems
Dieses Paper stellt GAAR vor, eine Runtime-Governance-Architektur, die zwischen Planungsagenten und der Tool-Ausführung positioniert ist und die Anzahl von Richtlinienverstößen und unsicheren Tool-Aufrufen signifikant reduziert sowie die Treue und Audit-Konformität in Enterprise-KI-Systemen verbessert, wenn auch mit einem moderaten Anstieg der Latenz, wie durch umfangreiches synthetisches Benchmarking nachgewiesen wurde.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur mit Ihnen chatten, sondern tatsächlich Dinge tun. Sie können Ihre Bankunterlagen abrufen, einen Flug buchen oder einen Serverabsturz beheben. Dies ist die aufregende Grenze der „Agentic AI“. Betrachten Sie diese Agenten als hochintelligente digitale Praktikanten. Sie basieren auf einem Fundament namens Retrieval-Augmented Generation (RAG). Wenn eine normale KI wie ein Schüler ist, der versucht, eine Prüfung aus dem Gedächtnis zu beantworten, dann ist RAG derselbe Schüler, der es erlaubt ist, ein Lehrbuch aufzuschlagen. Er sucht Fakten nach, bevor er antwortet, was ihn viel genauer macht.
Aber hier liegt der Haken: Wenn Sie einem digitalen Praktikanten die Schlüssel zum Büro, zum Gebäude und zum Bankkonto geben, brauchen Sie einen sehr strengen Manager. Man kann den Praktanten nicht einfach raten lassen, ob er berechtigt ist, den Tresor zu öffnen. Er muss seinen Ausweis prüfen, die Zeit verifizieren, bestätigen, dass der Chef „Ja“ gesagt hat, und sicherstellen, dass er nicht gerade eine gefälschte Anweisung gelesen hat. Dies ist das Problem der Runtime Governance. Es handelt sich um die Regeln und Prüfungen, die während der Arbeit der KI stattfinden, um sicherzustellen, dass sie nicht versehentlich das Gesetz bricht, Geheimnisse verrät oder etwas Gefährliches tut. Ohsne dies könnte eine hilfreiche KI zu einer chaotischen werden.
Das Problem: Der „Wilde Westen“ der digitalen Praktikanten
Hier kommt GAAR (Governance-Aware Agentic Retrieval) ins Spiel, ein neues System, das dazu entwickelt wurde, dieser strenge, superorganisierte Manager für KI-Agenten zu sein. Die Forscher hinter dieser Arbeit stellten fest, dass KI-Agenten zwar immer besser darin werden, komplexe mehrstufige Aufgaben zu planen, aber oft zu vertrauensselig sind. Ein Agent findet vielleicht ein Dokument, das nützlich aussieht, aber was, wenn es veraltet ist? Was, wenn der Nutzer, der die Frage stellt, eigentlich gar nicht berechtigt ist, es zu sehen? Was, wenn der Agent versucht, ein Werkzeug zu benutzen (wie das Versenden einer E-Mail), zu dem er keine Berechtigung hat?
In der Vergangenheit haben wir versucht, dies zu beheben, indem wir „Leitplanken“ nach dem Sprechen der KI einsetzten (wie einen Filter, der Schimpfwörter blockiert) oder indem wir einfache, statische Regeln verwendeten. Aber der Autor argumenttiert, dass diese Methoden wie der Versuch sind, ein fahrendes Auto aufzuhalten, indem man einen Bodenschwellen am Zielort platziert. Bis dahin ist der Schaden bereits entstanden. Er argumentiert auch, dass es nicht ausreicht, die KI einfach „selbst korrigieren“ zu lassen, da die KI vielleicht gar nicht merkt, dass sie gegen eine komplexe Unternehmensregel verstößt.
Die Lösung: Der „Entscheidungspass“
Das Paper stellt GAAR als Middleware-Schicht vor – einen digitalen Kontrollpunkt, der zwischen dem „Gehirn“ der KI (dem Planer) und ihren „Händen“ (den Werkzeugen, die sie nutzt) sitzt.
Stellen Sie sich vor, der KI-Agent möchte eine Aufgabe ausführen, wie zum Beispiel: „Sende einen Bericht an den CEO.“ Anstatt es einfach zu tun, muss die KI einen Entscheidungspass (Decision Passport) an den GAAR-Manager übergeben. Dieser Pass ist nicht nur eine Anfrage; es ist ein strukturiertes Dokument, das Folgendes enthält:
- Die Evidenz: „Hier sind die Dokumente, die ich gefunden habe, um diesen Bericht zu stützen.“
- Die Autorität: „Hier ist der Beweis, dass die Person, die fragt, berechtigt ist, dies zu sehen.“
- Die Risikoüberprüfung: „Ich habe geprüft, ob dies ein sensibles Thema ist.“
- Der Audit-Trail: „Hier ist eine Aufzeichnung von allem, was ich gleich tun werde.“
Der GAAR-Manager führt daraufhin eine blitzschnelle Inspektion durch. Er prüft den Pass gegen ein Regelwerk (Policies). Wenn die Evidenz veraltet ist, erhält der Pass den Stempel „Überarbeiten“. Wenn der Nutzer nicht die richtige Identität besitzt, erhält er den Stempel „Blockieren“. Wenn das Risiko zu hoch ist, wird er zur „Menschlichen Überprüfung“ geschickt. Erst wenn der Pass vollständig gestempelt und genehmigt ist, darf die KI die Aktion ausführen.
Was die Zahlen sagen (Die Simulation)
Die Forscher haben dies nicht nur gebaut, sondern in einer massiven, kontrollierten Simulation getestet. Sie schufen eine fiktive Unternehmensemgebung mit 12.000 verschiedenen Szenarien (wie etwa ein Nutzer, der eine Rückerstattung anfordert, ein IT-Mitarbeiter, der versucht, einen Server neu zu starten, oder ein Manager, der ein Budget prüft). Sie stellten GAAR gegen andere Methoden, einschließlich Standard-KI, KI mit Werkzeugen und KI mit einfachen Regel-Filtern.
Hier ist das Ergebnis dieser Simulationen:
- Sicherheit zuerst: GAAR reduzierte „Policy-Verstöße“ (das Brechen der Regeln) von 12,9 % auf 5,0 %. Es senkte auch „unsichere Werkzeugaufrufe“ (die Nutzung von Werkzeugen, die nicht erlaubt sind) von 8,6 % auf 3,6 %.
- Vertrauenswürdige Antworten: Die Antworten der KI wurden „treuer“ (bezogen auf die gefundenen Fakten) und stiegen von 0,79 auf 0,86.
- Die Papierspur: Beeindruckender noch: GAAR verbesserte die „Audit-Compliance“ (die Sicherstellung, dass jede Entscheidung dokumentiert wurde) von 63,4 % auf 96,2 %.
- Die Kosten: Es gab einen kleinen Preis für diese Sicherheit. Die durchschnittliche Zeit bis zum Erhalt einer Antwort stieg von 2,7 Sekunden auf 3,2 Sekunden. Der Autor legt nahe, dass dies ein fairer Tausch ist: Eine halbe Sekunde länger zu warten, ist es wert, um eine große Sicherheitsverletzung zu vermeiden.
Sie haben das System auch mit bis zu 100.000 Episoden unter Belastung getestet, um zu sehen, ob es unter Druck zusammenbricht. Es verlangsamte sich leicht, blieb aber funktionsfähig, was beweist, dass es skalierbar ist.
Die „Was-wäre-wenn“-Szenarien und Grenzen
Das Paper spielte auch „Was-wäre-wenn“ mit dem System. Sie versuchten, es mit gefälschten Angriffen zu täuschen, wie etwa der Identitätsvortäuschung (Role Spoofing) oder der Einspeisung veralteter Regeln (Stale-Policy Substitution). GAAR entlarvte die meisten dieser Tricks mit Erkennungsraten von etwa 94 % bis 97 %. Der Autor weist jedoch vorsichtig darauf hin, dass dies simulierte Angriffe waren, keine echten Hacker, die versuchen einzubrechen. Er gibt zu, dass ihr Test nicht jeden möglichen Weg abdeckte, auf dem ein böswilliger Akteur das System täuschen könnte, und dass es daher noch kein „gelöstes“ Sicherheitsproblem ist.
Sie führten auch ein „Schuldzuweisungs-Experiment“ (Ablationsstudie) durch, um zu sehen, welcher Teil von GAAR am wichtigsten war. Sie fanden heraus:
- Die Prüfung der Evidenz war der Schlüssel zu präzisen Antworten.
- Die Prüfung der Autorität (wer man ist) war der Schlüssel, um unsichere Aktionen zu verhindern.
- Der Audit-Trail war essenziell, um eine Aufzeichnung dessen zu führen, was geschah.
Das Fazit
Dieses Paper schlägt vor, dass wir, wenn wir wollen, dass KI-Agenten in echten Unternehmen arbeiten, sie nicht einfach unkontrolliert laufen lassen können. Wir brauchen ein System wie GAAR, das als Torwächter fungiert und jeden einzelnen Schritt prüft, bevor die KI handelt. Die Ergebnisse ihrer Simulationen legen nahe, dass dieser Ansatz funktioniert: Er macht KI sicherer, ehrlicher und leichter nachvollziehbar, bei nur einer minimalen Verzögerung der Geschwindigkeit.
Der Autor betont jedoch: Dies ist eine Simulation. Sie haben dies noch nicht in einem echten, lebenden Unternehmen getestet. Er schlägt vor, dass zukünftige Arbeiten untersuchen müssen, wie sich das System verhält, wenn echte Menschen involviert sind und sich die Regeln im laufenden Betrieb ändern. Aber für den Moment bietet GAAR einen vielversprechenden Entwurf, um die wilden digitalen Praktikanten der Zukunft zu bändigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.