🤖 AI

One Gate Is Not Enough: Composing Stateful Pre-Action Controls for Agentic AI

Dit artikel formaliseert de uitdagingen van door remediëring geïnduceerde koppelingsproblematiek in multi-gate Agentic AI-systemen, waarbij een "remediate-and-regate"-protocol wordt voorgesteld om de klankigheid te herstellen, terwijl wordt aangetoond dat de volgorde van remediëring semantisch cruciaal is en dat huidige mitigaties de risico's op vergiftiging op staatsniveau niet volledig kunnen elimineren.

Oorspronkelijke auteurs: Gaston Besanson

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaston Besanson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de opkomende wereld van kunstmatige intelligentie krijgen autonome agenten de taak om beslissingen te nemen met real-world consequenties, van het bestellen van voorraad tot het beheren van energienetten. Deze agenten opereren niet in een vacuüm; ze moeten navigeren door een complex landschap van regels. Voordat een agent handelt, moet hij door een reeks digitale controlepunten, of "poorten", gaan die drie fundamentele vragen stellen: Is de agent hiertoe bevoegd? Kan de organisatie dit betalen? En is het bewijs dat de beslissing ondersteunt geldig? Jarenlang hebben onderzoekers deze vragen behandeld als afzonderlijke hindernissen, waarbij elk onderdeel onafhankelijk werd gecontroleerd voordat er groen licht werd gegeven. Echter, naarmate deze systemen geavanceerder worden, is er een kritiek gebrek aan het licht gekomen: het oplossen van een probleem in één gebied kan onbedoeld de regels in een ander gebied schenden. Als een agent zijn plan wijzigt om binnen het budget te blijven, kan dat nieuwe plan plotseling een toestemmingsregel schenden die hij eerder wel had doorstaan. De kernuitdaging is niet langer alleen het hebben van meerdere poorten, maar het begrijpen van hoe de poorten met elkaar interageren wanneer één van hen precies datgene verandert wat de anderen meten.

Dit artikel pakt dat specifieke, verstrengelde probleem aan door te bestuderen wat er gebeurt wanneer een beslissing van een AI-agent wordt gewijzigd door één controlesysteem en vervolgens opnieuw wordt geëvalueerd door een ander. De onderzoekers bouwden een werkende demonstratie met drie verschillende motoren die omgaan met vergunningen, financiële budgetten en de geldigheid van bewijsmateriaal. Ze ontdekten dat als je deze controles simpelweg één keer, parallel, uitvoert op het oorspronkelijke plan, het systeem gevaarlijk fout kan zijn. Een agent kan worden goedgekeurd voor een actie op basis van een gecorrumpeerd stuk data, om vervolgens te zien dat die data door een tweede poort wordt gecorrigeerd. Tegen de tijd dat de actie wordt uitgevoerd, is de oorspronkelijke goedkeuring niet langer geldig omdat de onderliggende cijfers zijn veranderd. De studie bewijst dat een enkele controlebeurt onvoldoende is en kan leiden tot acties die veiligheidsregels schenden of budgetten overschrijden, zelfs terwijl het systeem dacht voorzichtig te zijn.

Om dit op te lossen, ontwikkelde de auteur een "fix-and-recheck"-protocol (corrigeer-en-controleer-opnieuw). In plaats van slechts één keer "ja" of "nee" te zeggen, staat het systeem een poort toe om een fout te corrigeren — zoals het vervangen van een slecht datapunt door een geverifieerd exemplaar of het verkleinen van een bestelomvang om in een budget te passen — en dwingt vervolgens elke enkele poort om het nieuwe, gecorrigeerde plan opnieuw te evalueren. Dit zorgt ervoor dat de uiteindelijke beslissing gebaseerd is op de daadwerkelijke actie die zal worden uitgevoerd, en niet op de gebrekkige versie die werd voorgesteld. De onderzoekers testten deze methode over dertig verschillende gesimuleerde scenario's en vonden deze solide, wat betekent dat elke uitgevoerde actie aan alle regels voldeed op het moment van uitvoering. Ze toonden ook aan dat deze aanpak geen valse veiligheid creëert; als een specifiek type fout niet door de individuele poorten wordt gedekt, zal het gecombineerde systeem dit niet magisch detecteren. Het blijft eerlijk over wat het wel en niet kan zien.

Een verrassende en significante bevinding kwam naar voren toen de onderzoekers een tweede type correctie introduceerden. In hun systeem kon één poort datafouten herstellen, terwijl een andere een bestelling kon verkleinen om geld te besparen. Ze testten of de volgorde waarin deze correcties werden toegepast uitmaakte. Het antwoord was een definitief ja. Het eerst toepassen van de datafix en daarna de budgetfix produceerde een ander resultiel dan het omgekeerde doen. Dit betekent dat de volgorde van operaties niet slechts een technisch detail is van hoe de software is geschreven; het is een fundamenteel onderdeel van het governancebeleid zelf. Als de volgorde fout is, kan het systeem stilzwijgend een actie goedkeuren die in werkelijkheid over budget is of ongeoorloofd is. De onderzoekers gebruikten een rigoureuze computerchecker om tientallen specifieke voorbeelden te vinden waar de volgorde de uitkomst veranderde, waarmee zij bewezen dat deze systemen niet in een willekeurige sequentie kunnen draaien.

De studie bracht ook een subtiel risico aan het licht met betrekking tot hoe het systeem eerdere beslissingen onthoudt. Wanneer een gecorrigeerd bewijsstuk wordt geaccepteerd en opgeslagen voor toekomstig gebruik, komt het terecht in een vertrouwde buffer. De onderzoekers demonstreerden dat als een gebrekkig stuk data door de initiële controles glipt en wordt opgeslagen, het toekomstige beslissingen kan vergiftigen. Het systeem kan deze gecorrumpeerde data later vertrouwen omdat deze uit zijn eigen "vertrouwde" geheugen komt. Om dit aan te pakken, testten ze twee mitigatiestrategieën: een "quarantaine"-periode waarbij nieuwe data consistent moet zijn over meerdere controles voordat deze wordt vertrouwd, en een methode om meerdere datapunten te middelen. In hun simulaties verminderden deze strategieën het aantal vergiftigde beslissingen aanzienlijk, hoewel ze het risico niet volledig elimineerden, met name in scenario's met zeer weinig datapunten.

Uiteindelijk biedt dit werk een duidelijk blauwdruk voor hoe men meerdere AI-governancecontroles veilig kan samenstellen. Het gaat verder dan het idee van het simpelweg stapelen van regels op elkaar en vestigt in plaats daarvan een dynamisch proces waarbij correcties nieuwe evaluaties triggeren. De onderzoekers merken er zorgvuldig bij op dat hun bevindingen gebaseerd zijn op een specifieke, gecontroleerde demonstratie en niet beweren elk mogelijk probleem in AI-governance op te lossen. Ze beweren niet dat hun systeem perfect is voor alle real-world implementaties, noch beweren ze het probleem van oneindige lussen of complexe interacties tussen meerdere agenten te hebben opgelost. Echter, voor de specifieke setting die zij bestudeerden, hebben zij bewezen dat een enkele controlebeurt onveilig is, dat de volgorde van de fixes ertoe doet, en dat een gedisciplineerd proces van hercontrole na elke wijziging de enige manier is om te garanderen dat de uiteindelijke actie van een agent werkelijk in overeenstemming is met al zijn leidende regels.

Technisch Overzicht: Eén Poort Is Niet Genoeg: Het Samenstellen van Stateful Pre-Action Controls voor Agentic AI

1. Probleemstelling

Agentic AI-systemen vereisen vaak meerdere pre-action controls (poorten) om consequentiële acties gelijktijdig te reguleren. Deze controls adresseren doorgaans verschillende zaken: autoriteit (permissies/verplichtingen), resources (kosten-/carbonbudgetten) en bewijs (datavaliditeit/metadata). Hoewel eerder werk individuele poorten heeft vastgesteld (SARC, Green SARC, SARC-DQ) en de compositie van handhavingsmonitoren heeft bestudeerd, blijft er een kritieke kloof bestaan wanneer deze controls heterogeen en stateful zijn.

Het kernprobleem dat wordt geadresseerd is remediatie-geïnduceerde control coupling. In veel systemen blokkeert een control niet louter een actie; het remedieert deze (bijv. het substitueren van een gecorrumpeerde datawaarde of het afschalen van een resource-verzoek). Wanneer Control A een actie medieert, verandert het de context, het bewijs of de afgeleide waarden (zoals de orderwaarde of voorspelde uitgave) van de actie. Als Control B de oorspronkelijke actie evalueerde vóór de remediatie door Control A, kan het oordeel van Control B ongeldig worden.

Dit creëert drie specifieke uitdagingen:

Invalidatie: Een single-pass evaluatie (parallel of serieel zonder her-evaluatie) kan leiden tot onveilige uitvoering waarbij de uiteindelijke actie een poort overtreedt die weliswaar werd voldaan in de pre-remediatie staat.
Niet-commutativiteit: Wanneer er meerdere remediatie-operators bestaan (bijv. bewijssubstitutie en resource downscaling), kan de volgorde van toepassing de uiteindelijke uitkomst veranderen. De volgorde is geen implementatiedetail, maar een semantische eigenschap van het governance-beleid.
State Contaminatie: Het toelaten van een record in een persistent governance-buffer (bijv. voor toekomstige substitutie) op basis van huidige toelaatbaarheid kan "onbedekte defecten" (gebreken die de huidige poort-predicaten niet detecteren) naar toekomstige vertrouwde staten propageren, wat toekomstige beslissingen compromitteert.

2. Methodologie en Formalisme

Het paper formaliseert deze kwesties met behulp van een deterministisch model waarbij een actie $a$ in context $c(a)$ wordt geëvalueerd door een set poorten $G_i$ . Elke poort brengt inputs in kaart naar een respons in een lattice $R = \{admit, substitute, degrade, escalate, block\}$ .

Kerndefinities

Remediatie-geïnduceerde Control Coupling: Twee controls $G_i$ en $G_j$ zijn gekoppeld als een remediatie-operator $\rho_i$ toegepast door $G_i$ de input wijzigt die door $G_j$ wordt geconsumeerd, zodanig dat $G_j(a) \neq G_j(\rho_i(a))$ .
Per-Action Soundness: Een systeem is sound als de uitgevoerde actie $a_{exec}$ elke poort voldoet op het moment van uitvoering, gegeven de geldende staat.
Niet-compenserende Join: Het paper maakt onderscheid tussen constraint satisfaction (waar elk veto de uitvoering blokkeert) en compensatory aggregation (waar hoge scores op één gebied lage scores op een ander gebied compenseren). Het bewijst dat voor harde governance-eisen, additieve gewogen aggregatie niet in staat is om veto-rechten te behouden, tenzij specifieke drempelvoorwaarden worden voldaan.

Het Remediate-and-Regate Protocol

Om single-pass unsoundness aan te pakken, stelt het paper een Remediate-and-Regate (RTR) protocol voor:

Fase I: Evalueer de bewijs-poort. Indien substitutie plaatsvindt, vorm een geremedieerde actie $a' = \rho_{sub}(a)$ en herbereken de context $c(a')$ . Indien een resource-poort aanwezig is, kan deze verder een downroute-operator $\rho_{route}$ toepassen op $a'$ , waarbij de context opnieuw wordt berekend.
Fase II: Re-evalueer alle poorten (inclusief de bewijs-poort) op de definitieve geremedieerde actie $a_{exec}$ en de bijgewerkte context.
Join: Bereken het samengestelde oordeel met behandeling van een niet-compenserende join (bijv. deny-overrides of min logica) op de Fase II responsen.

Het paper bewijst dat onder de aannames van determinisme, bounded remediation (one-shot), en idempotentie (substitutie triggert geen verdere substitutie), dit protocol per-actie soundness garandeert.

Omgaan met Niet-Commutativiteit

Het paper demonstreert dat de twee specifieke remediatie-operators die in het artefact zijn geïmplementeerd, $\rho_{sub}$ (bewijssubstitutie) en $\rho_{route}$ (resource downscaling), niet commutaat.

$\rho_{route}(\rho_{sub}(a)) \neq \rho_{sub}(\rho_{route}(a))$ in het algemeen voor deze operators.
Een finite-model checker vond concrete tegenvoorbeelden waar de volgorde van operaties de uitkomst bepaalt of een actie wordt toegelaten of geblokkeerd.
Conclusie: De volgorde van remediatie moet expliciet worden gespecificeerd als onderdeel van het governance-beleid (bijv. "Eerst Bewijs-Poort, dan Resource-Poort") in plaats van te worden overgelaten aan de implementatie. Het paper merkt op dat dit een eigenschap is van deze specifieke operators en geen algemene oplossing claimt voor willekeurige rewrite-systemen.

State Contaminatie en Mitigatie

Het paper identificeert een kwetsbaarheid waarbij "onbedekte defecten" (datafouten die de poort-predicaten niet kunnen detecteren) worden toegelaten tot een beheerde buffer en vervolgens worden gebruikt om toekomstige acties te remediëren.

Mechanisme: Een toegelaten maar defecte waarde komt in de buffer terecht $\to$ Toekomstige acties substitueren deze defecte waarde $\to$ Het defect propageert.
Mitigaties: Twee strategieën worden gedemonstreerd:
1. Quarantaine-venster: Een write wordt pas als vertrouwd beschouwd na $N$ opeenvolgende consistente admits.
2. Rolling Median-of-3: Het gebruik van de mediaan van recente waarden om uitschieters te filteren.
  Noot: Deze verminderen de blootstelling, maar elimineren de fundamentele kwetsbaarheid van stateful remediatie met incomplete dekking niet.

3. Belangrijkste Bijdragen

Formalisering van Remediatie-geïnduceerde Koppeling: Het paper definieert de condities waaronder de remediatie van één control de oordeelsvorming van een andere control ongeldig maakt, waarmee het verder gaat dan eenvoudige monitor-compositie naar de invalidatie van semantische objecten.
Soundness van Remediate-and-Regate: Het vestigt een protocol dat soundness herstelt in een begrensde, idempotente setting door ervoor te zorgen dat elke poort de definitieve actie opnieuw evalueert.
Niet-Commutativiteit van Specifieke Remediatie-Operators: Het demonstreert dat de twee specifieke remediatie-operators die in het artefact zijn geïmplementeerd (bewijssubstitutie en resource downscaling) niet commutaat, wat de noodzaak voor een vaste volgorde van operaties maakt voor deze specifieke controls. Dit is geverifieerd via een finite-model checker die 86/243 gridpunten (en 150/200 off-grid punten) vond waar de volgorde de uitkomst verandert. Het paper claimt expliciet niet dat deze niet-commutativiteit geldt voor willekeurige remediatie-operators.
Governance State Contaminatie: Het demonstreert dat het toelaten van records in persistente staat zonder volledige dekking de toekomstige remediatie kan vergiftigen, en toont aan dat mitigatiestrategieën (quarantaine, median filtering) dit risico verminderen maar niet elimineren.
Lineaire Aggregatie versus Veto-Semantiek: Het biedt een exacte conditie (Lemma) voor wanneer een gewogen som-aggregator veto-rechten behoudt: een vetoed profiel wordt toegelaten indien en slechts indien de drempel $\tau$ niet groter is dan de grootste "leave-one-out" gewogen som van de aggregator. Dit verduidelijkt dat additieve scoring geen vervanging is voor conjunctieve haalbaarheidssemantiek in harde governance.
Verenigde Bewijsset: Een mechanisme voor het behoud van volledige lineage over poorten heen, waarbij pre- en post-remediatie evidence ID's en de specifieke buffer writes worden vastgelegd, wat zorgt voor identiteitscommissie zonder aanspraak te maken op byte-reconstructie.

4. Empirische Resultaten

Het paper valideert deze mechanismen met behulp van een deterministisch artefact (suite-demo) bestaande uit drie ongewijzigde Apache 2.0 engines (SARC, Green SARC, SARC-DQ) over 30 vooraf geregistreerde seeds en twee workflows (Daily en Weekly).

Soundness (CH1): Onder het Remediate-and-Regate protocol waren er nul uitgevoerde acties die een poort overtraden op het moment van uitvoering over alle 30 seeds.
Single-Pass Unsoundness (CH2): In het geconstrueerde scenario (S4) week single-pass evaluatie af van het sound protocol met een gemiddelde van 207,5 beslissingen per 30 seeds, waarbij vaak acties werden toegelaten die na remediatie poorten overtraden.
Niet-Commutativiteit (CH7): Een model checker bevestigde dat de twee specifieke remediatie-operators niet commutaat, wat de noodzaak van een vaste volgorde voor deze operators valideert.
Coverage Honesty (CH4): Het samengestelde systeem detecteerde exact de unie van de door de lid-poorten gedekte klassen; er werd geen nieuwe detectie-dekking "gefabriceerd" door compositie.
Buffer Contaminatie (CH6): In de "Daily" workflow (W1) produceerde de plain buffer een gemiddelde van 14,70 vergiftigde substituties. Zowel quarantaine als median-of-3 mitigaties verminderden dit aantal strikt. In de "Weekly" workflow (W2) was het baseline poisoning rate lager (1,83), en hoewel mitigaties het aantal verminderden, resulteerde de kleine steekproefomvang soms in nul baseline events, waardoor een strikte reductie per seed statistisch gezien niet in alle gevallen voldaan kon worden.
Compensation Safety (CH5): Empirische en exhaustieve grid checks bevestigden dat additieve gewogen aggregatie vetoed acties kan toelaten (bijv. het blokkeren van een specifiek defect) indien de drempel niet zorgvuldig is gekalibreerd, terwijl min-join semantiek veto strikt behoudt.

5. Betekenis en Claims

De betekenis van het paper ligt in het vaststellen van bounded compositional semantics voor stateful pre-action controls in Agentic AI. Het betoogt dat:

Remediatie verandert de semantiek: Zodra een control toestemming krijgt om een actie te transformeren, worden eerdere oordelen afhankelijk van de versie van het geëvalueerde object. Correcte governance vereist expliciete semantiek voor het ongeldig maken en herberekenen van afhankelijke oordelen.
Volgorde is van belang: Wanneer meerdere remediatie-operators bestaan, is hun volgorde onderdeel van het governance-beleid, niet een implementatiedetail.
State vereist vertrouwensbeleid: Toelating tot de persistente governance-staat is verschillend van toekomstig vertrouwen; toegelaten-maar-onbedekte defecten kunnen toekomstige remediatie contamineren.

Scope en Beperkingen:
Het paper beperkt zijn claims expliciet:

Het is een mechanisme-demonstratie, geen studie naar de prevalentie in productie.
Het vestigt soundness voor de huidige one-shot, idempotente setting. Het claimt geen algemene convergentie, terminatie of confluence op te lossen voor willekeurige niet-idempotente remediators of cyclische afhankelijkheden.
Het claimt niet dat gewogen aggregatie inherent onveilig is, maar dat het ongeschikt is voor het implementeren van harde veto-semantiek zonder specifieke drempelrestricties.
De mitigatie van buffercontaminatie vermindert de blootstelling, maar elimineert de kwetsbaarheid van stateful remediatie met incomplete dekking niet.
De demonstratie van niet-commutativiteit is specifief voor de twee geïmplementeerde operators (bewijssubstitutie en resource downroute) en generaliseert niet naar willekeurige remediatie-operators zonder de checker opnieuw te af te leiden.

Het werk biedt een rigoureuze basis voor het samenstellen van heterogene, stateful controls in AI-agents, waarbij de noodzaak voor her-evaluatie, expliciete ordening en een zorgvuldig onderscheid tussen toelating en vertrouwen wordt benadrukt.