GAAR: Runtime Governance for Scalable Agentic Retrieval and Tool- Orchestrated Enterprise AI Systems
Dit artikel introduceert GAAR, een runtime-governancearchitectuur gepositioneerd tussen planner-agenten en tool-executie die het aantal beleidsovertredingen en onveilige tool-aanroepen aanzienlijk vermindert, terwijl de getrouwheid en auditcompliance in enterprise AI-systemen worden verbeterd, zij het met een bescheiden toename in latentie, zoals aangetoond door uitgebreide synthetische benchmarking.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen met je chatten, maar ook daadwerkelijk dingen doen. Ze kunnen je bankgegevens opzoeken, een vlucht boeken of een servercrash herstellen. Dit is de opwindende grens van "Agentic AI". Denk aan deze agenten als superintelligente digitale stagiairs. Ze zijn gebouwd op een fundament genaamd Retrieval-Augmented Generation (RAG). Als een normale AI een student is die probeert een toets te beantwoorden vanuit het geheugen, dan is RAG diezelfde student die een tekstboek mag openslaan. Het zoekt feiten op voordat het antwoordt, wat het veel nauwkeuriger maakt.
Maar hier zit de adder onder het gras: wanneer je een digitale stagiair de sleutels van het kantoor, het gebouw en de bankrekening geeft, heb je een zeer strikte manager nodig. Je kunt de stagiair niet zomaar laten raden of hij wel de kluis mag openen. Hij moet zijn ID controleren, de tijd verifiëren, bevestigen dat de baas "ja" heeft gezegd, en er zeker van zijn dat hij niet zojuist een valse instructie heeft gelezen. Dit is het probleem van Runtime Governance. Het is de set regels en controles die plaatsvinden terwijl de AI aan het werk is, om ervoor te zorgen dat het niet per ongeluk de wet overtreedt, geheimen lekt of iets gevaarlijks doet. Zonder dit kan een behulpzame AI een chaotische AI worden.
Het Probleem: Het "Wilde Westen" van Digitale Stagiairs
Maak kennis met GAAR (Governance-Aware Agentic Retrieval), een nieuw systeem ontworpen om die strikte, supergeorganiseerde manager te zijn voor AI-agenten. De onderzoekers achter dit artikel merkten op dat hoewel AI-agenten steeds beter worden in het plannen van taken met meerdere stappen, ze vaak te vertrouwend zijn. Een agent kan een document vinden dat nuttig lijkt, maar wat als het verouderd is? Wat als de gebruiker die de vraag stelt eigenlijk niet bevoegd is om het te zien? Wat als de agent een tool probeert te gebruiken (zoals een e-mail sturen) waar hij geen toestemming voor heeft?
In het verleden hebben we geprobeerd dit op te lossen door "guardrails" (vangrails) te plaatsen nadat de AI heeft gesproken (zoals een filter dat scheldwoorden blokkeert) of door eenvoudige, statische regels te gebruiken. Maar de auteur stelt dat deze methoden als proberen een rijdende auto te stoppen door een drempel bij de finishlijn te plaatsen. Tegen die tijd is de schade al aangericht. Ze voeren ook aan dat het simpelweg laten "zelfcorrigeren" van de AI niet genoeg is, omdat de AI mogelijk niet beseft dat hij een complexe bedrijfsregel overtreedt.
De Oplossing: Het "Beslissingspaspoort"
Het artikel introduceert GAAR als een middleware-laag — een digitale controlepost die tussen het "brein" van de AI (de planner) en de "handen" van de AI (de tools die hij gebruikt) zit.
Stel je voor dat de AI-agent een taak wil uitvoeren, zoals "Stuur een rapport naar de CEO." In plaats van het gewoon te doen, moet de AI een Beslissingspaspoort overhandigen aan de GAAR-manager. Dit paspoort is niet zoma van een verzoek; het is een gestructureerd document dat het volgende bevat:
- Het Bewijs: "Hier zijn de documenten die ik heb gevonden om dit rapport te onderbouwen."
- De Autoriteit: "Hier is het bewijs dat de persoon die vraagt, bevoegd is om dit te zien."
- De Risicocheck: "Ik heb gecontroleerd of dit een gevoelig onderwerp is."
- Het Auditspoor: "Hier is een verslag van alles wat ik op het punt sta te doen."
De GAAR-manager voert vervolgens een razendsnelle inspectie uit. Het controleert het paspoort tegen een regelboek (policies). Als het bewijs verouderd is (te oud), krijgt het paspoort het stempel "Herzien". Als de gebruiker niet het juiste ID heeft, krijgt het het stempel "Blokkeren". Als het risico te hoog is, wordt het naar een mens gestuurd voor een "Menselijke Review"-stempel. Pas wanneer het paspoort volledig gestempeld en goedgekeurd is, krijgt de AI toestemming om de actie uit te voeren.
Wat de Cijfers Zeggen (De Simulatie)
De onderzoekers hebben dit niet alleen gebouwd; ze hebben het getest in een enorme, gecontroleerde simulatie. Ze creëerden een fictieve bedrijfsomgeving met 12.000 verschillende scenario's (zoals een gebruiker die een terugbetaling vraagt, een IT-medewerker die probeert een server te herstarten, of een manager die een budget controleert). Ze zetten GAAR af tegen andere methoden, inclusief standaard AI, AI met tools, en AI met eenvoudige regelfilters.
Dit is wat er gebeurde in deze simulaties:
- Veiligheid Eerst: GAAR verminderde "beleidschendingen" (het breken van de regels) van 12,9% naar 5,0%. Het verminderde ook "onveilige tool-aanroepen" (het gebruiken van tools die hij niet zou mogen gebruiken) van 8,6% naar 3,6%.
- Betrouwbare Antwoorden: De antwoorden van de AI werden meer "getrouw" (trouw aan de feiten die het vond), stijgend van 0,79 naar 0,86.
- Het Papierspoor: Het meest indrukwekkend was dat GAAR de "audit compliance" (het waarborgen dat er een verslag werd bijgehouden van elke beslissing) verbeterde van 63,4% naar 96,2%.
- De Kosten: Er was een kleine prijs voor deze veiligheid. De gemiddelde tijd om een antwoord te krijgen ging omhoog van 2,7 seconden naar 3,2 seconden. De auteur suggereert dat dit een eerlijke ruil is: een halve seconde langer wachten is het waard om een grote beveiligingsbreuk te voorkomen.
Ze hebben het systeem ook getest met tot wel 100.000 episodes om te zien of het onder druk zou bezwijken. Het vertraagde iets, maar bleef werken, wat bewees dat het kan schalen.
De "Wat als"-Scenario's en Limieten
Het artikel speelde ook "wat als" met het systeem. Ze probeerden het te misleiden met nep-aanvallen, zoals het doen alsof men een andere gebruiker is (role spoofing) of het voeden van verouderde regels (stale-policy substitution). GAAR ontdekte de meeste van deze trucs, met detectiepercentages rond de 94% tot 97%. De auteur merkt echter voorzichtig op dat dit gesimuleerde aanvallen waren, geen echte hackers die probeerden in te breken. Ze geven toe dat hun test niet elke mogelijke manier dekt waarop een kwaadwillende actor het systeem zou kunnen misleiden, dus het is nog geen "opgelost" beveiligingsprobleem.
Ze voerden ook een "blame game"-experiment (ablatie-studie) uit om te zien welk deel van GAAR het belangrijkste was. Ze ontdekten dat:
- Het controleren van het bewijs de sleutel was tot het nauwkeurig maken van antwoorden.
- Het controleren van de autoriteit (wie je bent) de sleutel was tot het stoppen van onveilige acties.
- Het auditspoor essentieel was voor het bijhouden van een verslag van wat er gebeurde.
De Kern van het Verhaal
Dit artikel stelt voor dat als we willen dat AI-agenten in echte bedrijven werken, we ze niet zomaar de vrije loop kunnen laten. We hebben een systeem nodig zoals GAAR dat fungeert als een poortwachter, die elke stap controleert voordat de AI actie onderneemt. De resultaten van hun simulaties suggereren dat deze aanpak werkt: het maakt AI veiliger, eerlijker en gemakkelijker te volgen, met slechts een minimale vertraging in snelheid.
De auteur is echter duidelijk: dit is een simulatie. Ze hebben dit nog niet getest in een live, echte bedrijfsomgeving. Ze suggereren dat toekomstig werk moet kijken naar hoe dit standhoudt wanneer echte mensen betrokken zijn en wanneer de regels tijdens het proces veranderen. Maar voor nu biedt GAAR een veelbelovend blauwdruk voor het temmen van de wilde digitale stagiairs van de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.