🤖 AI

Formal Policy Enforcement for Real-World Agentic Systems

Dit artikel introduceert FORGE, een raamwerk dat aspectgericht programmeren en Datalog-gebaseerde formele verificatie benut om beveiligingsbeleid met strikte garanties af te dwingen in agentische systemen, waarmee de beperkingen van compliance op basis van natuurlijke taal-prompten in multi-agentomgevingen worden aangepakt.

Oorspronkelijke auteurs: Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Somesh Jha

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Somesh Jha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, zeer enthousiaste persoonlijke assistent (een AI-agent) inhuurt om je e-mail te beheren, vluchten te boeken en je bankrekening te regelen. Je geeft hen tijdens de ochtendbriefing een lijst met regels: "Stuur geen topgeheime bestanden naar vreemden", "Vraag altijd toestemming aan mijn baas voordat je geld uitgeeft" en "Koop alleen vliegtickets als ik expliciet ja zeg."

In de huidige wereld van AI vertrouw je volledig op het eerlijkheidssysteem van de assistent. Je hoopt dat ze de regels lezen, ze onthouden en besluiten ze te volgen, zelfs wanneer een lastige gebruiker probeert hen te misleiden met een nep-"nood"-bericht. Soms doen ze dat; vaak doen ze dat niet. Ze kunnen verward raken, bedrogen worden, of gewoon te enthousiast zijn om "behulpzaam" te zijn en breken de regels.

Dit artikel introduceert FORGE, een systeem dat stopt met vertrouwen op het geheugen of de eerlijkheid van de assistent. In plaats daarvan plaatst het een portier bij elke enkele deur die de assistent probeert open te maken.

De Kernidee: De "Portier" en het "Regelboek"

Stel je de AI-agent voor als een werknemer in een enorm kantoorgebouw.

De Oude Manier: Je vertelt de werknemer: "Open het kluisje niet tenzij je een sleutel hebt." De werknemer wordt alleen gelaten bij het kluisje. Als iemand hen een nepcode fluistert, openen ze het misschien.
De FORGE-Manier: Je installeert een portier (een Referentie Monitor) direct voor het kluisje. Elke keer dat de werknemer probeert een deur open te maken (een e-mail sturen, een API aanroepen, een bestand lezen), moet ze stoppen en de portier vragen.
- De portier geeft niets om wat de werknemer denkt of wat ze 's ochtends is verteld.
- De portier controleert een formeel, onbreekbaar regelboek (geschreven in een precieze logische taal genaamd Datalog).
- De portier kijkt naar de geschiedenis van de werknemer (kregen ze toestemming? hebben ze zojuist een geheim bestand gelezen?).
- Als de regels "Nee" zeggen, stopt de portier de actie fysiek. De deur gaat niet open. Punt.

Hoe Het Werkt: De "Aspect"-Analogie

Het artikel gebruikt een concept genaamd Aspect-Oriented Programming. Stel je de AI-agent voor als een film.

De Oude Manier: Het script (de code van de agent) heeft de regels verwerkt in de dialoog. Als de acteur de tekst vergeet, wordt de regel overtreden.
De FORGE-Manier: De regels zijn als een speciale effectenlaag die over de hele film is geweven. Ongeacht in welke scène de acteur zich bevindt, controleren de "speciale effecten" (de portier) de regels voordat de scène wordt uitgevoerd. De acteur hoeft de regels niet eens te kennen; het systeem zorgt er gewoon voor dat de regels automatisch worden gevolgd.

Het "Regelboek" (Datalog)

In plaats van regels in rommelig Engels te schrijven (wat dubbelzinnig kan zijn), gebruikt FORGE Datalog.

Engelse Regel: "Stuur geen e-mails naar slechte mensen." (Wie is een slechte mens? Wat als ze er aardig uitzien?)
Datalog-regel: "ALS de ontvanger extern IS EN de e-mail gevoelige gegevens bevat die zijn afgeleid van een onbetrouwbare bron, DAN ONTKEN."
Waarom dit belangrijk is: Dit is als een wiskundige vergelijking. Er is geen ruimte voor "misschien". Het kan ook complexe ketens verwerken, zoals: "ALS Persoon A Persoon B beheert, en Persoon B Persoon C beheert, DAN is Persoon A de baas van Persoon C." Het systeem kan deze relaties perfect traceren, iets waarmee Engelse prompts vaak moeite hebben.

De "Black Box" van Geschiedenis (Provenance)

Een van de grootste problemen met AI is dat het de oorzaak van zijn acties vergeet.

Het Probleem: Een AI leest een geheim bestand, wordt vervolgens bedrogen door een gebruiker en stuurt daarna een e-mail. De AI denkt misschien: "Ik stuur gewoon een e-mail", en vergeet dat de inhoud van die e-mail uit dat geheime bestand kwam.
De FORGE-oplossing: FORGE houdt een afhankelijkheidsgrafiek bij (een stamboom van acties). Het weet dat Gebeurtenis C (de e-mail) een kind is van Gebeurtenis B (de bedrog), wat op zijn beurt een kind is van Gebeurtenis A (het geheime bestand).
Zelfs als de AI probeert te liegen of te vergeten, ziet de portier de hele stamboom en zegt: "Ik zie dat deze e-mail verbonden is met een geheim bestand. Ontkend."

Wat Ze Testten (De Resultaten)

De auteurs testten FORGE in drie realistische scenario's om te zien of het echt werkt:

De "Trickster"-Test (Prompt Injectie):
- Scenario: Aanvallers probeerden AI-agenten te misleiden om topgeheime data te stelen door zich voor te doen als systeembeheerders.
- Resultaat: Zonder FORGE gaf de AI de geheimen 100% van de tijd op. Met FORGE blokkeerde de portier de diefstal 100% van de tijd. De AI probeerde het, maar de deur was op slot.
De "Klantenservice"-Test:
- Scenario: AI-agenten die proberen vluchten te boeken of restituties te verwerken, waarbij ze vaak verward raken door lastige gebruikersverzoeken (bijvoorbeeld: "Annuleer deze vlucht omdat ik van gedachten ben veranderd" terwijl het beleid zegt "Geen annuleringen bij gedachteverandering").
- Resultaat: Zonder FORGE volgden de agenten de trucs van de gebruiker en braken ze 42% van de tijd de regels. Met FORGE volgden ze 98% van de tijd de regels. De agenten deden nog steeds hun werk, maar ze konden de regels niet breken.
De "Medisch Onderzoek"-Test:
- Scenario: Een team van AI-agenten dat samenwerkt om drugveiligheid te onderzoeken. Een agent moet toegang krijgen tot een gevoelige overheidsdatabase, maar alleen als een toezichthouder eerst toestemming geeft.
- Resultaat: Zonder FORGE kregen de agenten 40 keer toegang tot de database zonder toestemming. Met FORGE werden ze elke keer geblokkeerd totdat ze daadwerkelijk de toestemming van de toezichthouder hadden gekregen.

De Kosten

Is deze magie traag of duur?

Snelheid: Het voegt een klein beetje tijd toe (ongeveer 20–30% trager) omdat de agent moet wachten tot de portier de regels controleert.
Geld: Het kost een fractie van een cent meer per taak.
Succes: De agenten voltooiden hun taken nog steeds succesvol. Ze deden het gewoon op de goede manier.

Samenvatting

FORGE is een raamwerk dat stopt met het behandelen van AI-beveiliging als een verzoek ("wees alsjeblieft goed") en begint met het behandelen ervan als een wet ("je moet goed zijn"). Het plaatst een formeel, wiskundig portier tussen de AI en de echte wereld. De AI kan nog steeds denken, plannen en proberen dingen te doen, maar het kan niets ondernemen tenzij de portier het regelboek controleert, de geschiedenis verifieert en groen licht geeft.

Het is het verschil tussen een kind vragen om "voorzichtig te zijn met de koekjes" en een slot op de koekjesbus te zetten dat alleen opent met een specifieke sleutel.

Technische Samenvatting: Formele Beleidsafdwinging voor Real-World Agente Systemen

Probleemstelling

Huidige agente systemen, die Large Language Models (LLM's) integreren met externe hulpmiddelen om taken zoals het verzenden van e-mails, het uitvoeren van code en het opvragen van databases uit te voeren, ontberen robuuste mechanismen voor het afdwingen van beveiligings- en organisatiebeleid. Bestaande benaderingen vertrouwen voornamelijk op het inbedden van beleidsdocumenten in natuurlijke taal in de systeemprompt van een agent, waarbij naleving wordt gedelegeerd aan de redeneercapaciteiten van de agent. Deze methodologie lijdt aan drie kritieke beperkingen:

Gebrek aan Formele Waarborgen: Naleving is heuristisch en afhankelijk van het vermogen van het model om instructies op te volgen, en biedt geen deterministische afdwinging.
Onvermogen om Causale Geschiedenis uit te Drukken: Prompts in natuurlijke taal worstelen met het afdwingen van beleidsregels die afhankelijk zijn van de causale geschiedenis van een uitvoering (bijvoorbeeld: "sta actie X alleen toe als goedkeuring Y in een vorige stap is verkregen").
Schaalbaarheid in Multi-Agent Systemen: Bestaande benaderingen zijn ongeschikt voor multi-agent omgevingen waar afdwinging moet redeneren over agentgrenzen en partiële ordeningen van gebeurtenissen, in plaats van lineaire traces.

Deze gaten laten agente systemen kwetsbaar voor prompt-injectie, ongeautoriseerd gebruik van hulpmiddelen en adversariale herschrijving, wat hun veilige implementatie in real-world scenario's beperkt.

Methodologie

De auteurs stellen FORGE (FOrmal Runtime Guarantee Enforcement) voor, een raamwerk dat beleidsafdwinging behandelt als een doorsnijdende zorg, gebaseerd op Aspect-Oriented Programming (AOP). Het raamwerk ontkoppelt beleidslogica van agentredenering en dwingt regels af bij elk beleidsrelevant beslispunt zonder de onderliggende agenten te wijzigen.

Kernarchitectuur

Aspect-Oriented Formulering:
- Join Points: Gedefinieerd als kandidaat-acties (bijvoorbeeld tool-aanroepen) die wachten op autorisatie.
- Pointcuts: Booleaanse functies over de uitvoeringstoestand die bepalen op welke acties een regel van toepassing is.
- Advice: De afdwingingsberekening uitgevoerd door een Reference Monitor, die het beleid evalueert en een Allow of Deny-verdict teruggeeft.
- Weaver: Een instrumentatielaag die tool-aanroepen onderschept, de uitvoering opschort, de monitor raadpleegt en alleen doorgaat na goedkeuring.
Beleidstaal (Datalog):
- Beleid wordt gespecificeerd in Datalog met gestratificeerde negatie en extensies voor externe functies.
- Expressiviteit: Ondersteunt declaratieve regelspecificatie en recursie, waardoor de definitie van transitieve relaties (bijvoorbeeld supervisieketens) en relatiegebaseerde toegangscontrole (ReBAC) mogelijk is.
- Analyseerbaarheid: Maakt statische analyses mogelijk voor detectie van tegenstrijdigheden, redundantie, subsumptie en conditionele bereikbaarheid, waardoor auteurs beleidsintentie kunnen verifiëren en ambiguïteiten inherent aan specificaties in natuurlijke taal kunnen oplossen.
- Vertaling: Een pijplijn vertaalt beleidsdocumenten in natuurlijke taal naar Datalog-programma's, geannoteerd met links op clausule-niveau naar de brontekst voor verificatie van dekking en entailment.
Beleidssubstraat en Omgevingscontract:
- Substraat ( $\Sigma$ ): Een verzameling abstracte predicaten (Rol, Herkomst, Domeinspecifiek) die de uitvoeringscontext beschrijven.
- Observability Service: Onderhoudt een graaf van causale afhankelijkheden van gebeurtenissen (berichten, tool-aanroepen, resultaten) en vult de substraatpredicaten.
- Assume/Guarantee Contract: Juistheid wordt gegarandeerd onder de aanname dat de omgeving een contract naleeft: het moet de substraatpredicaten geluid en voldoende vullen met feiten die consistent zijn met hun beoogde interpretaties (bijvoorbeeld nauwkeurige causale lijn). Als het contract geldt, komen de beslissingen van de reference monitor overeen met de beoogde semantiek van het beleid.

Belangrijkste Bijdragen

Formeel Raamwerk voor Agente Afdwinging: Het artikel presenteert het eerste raamwerk dat beleidsregels in multi-agent systemen automatisch kan afdwingen met formele juistheidswaarborgen, waarbij een AOP-paradigma wordt gebruikt om doorsnijdende zorgen te scheiden van de kernlogica.
Datalog-gebaseerde Beleidspecificatie: Het introduceert Datalog als beleidstaal voor agente systemen, waarbij het gebruik maakt van ondersteuning voor recursie en statische analyse om complexe, stateful beleidsregels te behandelen die prompts in natuurlijke taal niet kunnen uitdrukken.
Het FORGE Systeem: Een praktische implementatie bestaande uit een aspect-weaver, een observability service en een reference monitor. FORGE instrumenteert agentframeworks (bijvoorbeeld Langroid, $\tau^2$ ) om beleidsregels tijdens runtime af te dwingen zonder de agentcode te wijzigen.
Juistheidstheorema: De auteurs bewijzen een assume/guarantee-theorema waarin staat dat als de omgeving voldoet aan het substraatcontract, de runtime-afdwingingsbeslissingen correct zijn met betrekking tot de beoogde semantiek van het beleid.

Evaluatieresultaten

Het raamwerk is geëvalueerd aan de hand van drie kwantitatieve casestudies en twee real-world implementaties:

Prompt Injection Defensie (Informatiestroom):
- Doel: Voorkomen van data-exfiltratie via prompt-injectie.
- Resultaat: Niet-instrumenteerde agenten hadden een 100% succespercentage voor aanvallen. FORGE reduceerde dit tot 0% terwijl 100% bruikbaarheid op onschadelijke taken behouden bleef.
- Overhead: Latentie nam toe met ongeveer 12–15 seconden per trial; de kostenstijging was verwaarloosbaar (<$0,003).
Klantenservice Workflows ( $\tau^2$ -Bench):
- Doel: Handhaving van bedrijfsregels (annuleringen, restituties, bagage) over drie frontier-modellen.
- Resultaat: Naleving verbeterde van 58% naar 98%. Het succes van taken bleef behouden of verbeterde (bijvoorbeeld steeg het slaagpercentage van 58% naar 98%).
- Overhead: End-to-end latentie nam toe met 19–38% (mediaan autorisatiebeslissing in sub-millisecond); kostenstijging was < $0,05 per trial.
Multi-Agent Farmacovigilantie (MALADE):
- Doel: Handhaving van goedkeuringsworkflows voor FDA-data-toegang over een multi-agent pijplijn.
- Resultaat: Ongeautoriseerde FDA-toegangen daalden van 40 naar 0 over 15 trials. De taaknauwkeurigheid bleef op 100% (15/15 correcte voorspellingen).
- Overhead: Latentie nam toe van 72,5s naar 95,4s (gedreven door geblokkeerd-herhaalde cycli); kosten stegen van $0,072 naar $0,103 per trial.

Real-World Implementaties: Het artikel beschrijft ook succesvolle toepassing in OpenClaw (inter-agent privacyafdwinging) en VS Code Copilot Chat (blokkeren van git push totdat statische analyse slaagt).

Betekenis en Claims

Het artikel beweert dat FORGE een aanzienlijke vooruitgang vertegenwoordigt door de kloof te overbruggen tussen informele beleidspecificaties en rigoureuze runtime-afdwinging in agente systemen. De primaire betekenis ligt in:

Deterministische Waarborgen: In tegenstelling tot prompt-gebaseerde benaderingen elimineert FORGE beleidsviolaties bij constructie, mits het omgevingscontract wordt nageleefd.
Stateful Afdwinging: Het ondersteunt uniek beleidsregels die afhankelijk zijn van causale geschiedenis en transitieve relaties over meerdere agenten, een capaciteit die ontbreekt in bestaande stateless of op lineaire traces gebaseerde systemen.
Modulariteit: Door afdwinging in de runtime te weven, maakt het het mogelijk complexe organisatiebeleid af te dwingen zonder wijzigingen aan de interne redenering van de agent of de onderliggende hulpmiddelen.
Analyseerbaarheid: Het gebruik van Datalog maakt detectie van beleidscontradicties en ambiguïteiten mogelijk voordat implementatie plaatsvindt, waarbij beleidsregels worden behandeld als reviewbare artefacten in plaats van ondoorzichtige prompts.

De auteurs tonen bescheidenheid met betrekking tot de vertaalketen, erkennend dat hoewel de vertaling van natuurlijke taal naar Datalog wordt gerealiseerd via LLM's, deze momenteel geen formele juistheidswaarborgen biedt en handmatige controle en iteratieve validatie vereist. Zij identificeren de robuustheid van deze vertaling en de uitbreiding naar beleidsauteurs zonder expertise als open problemen voor toekomstig werk.