🤖 AI

Observability for Delegated Execution in Agentic AI Systems

Dit artikel behandelt het onvermogen van standaard auditlogs om delegatiespectra uniek te identificeren in dynamische op LLM gebaseerde agentische systemen door een agent-bewuste observabiliteitssubstraat voor te stellen die de delegatiecontext tijdens de uitvoering bindt om betrouwbare, heuristiek-vrije forensische reconstructie mogelijk te maken.

Oorspronkelijke auteurs: Abhinav Mishra, Kumar Sharad

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abhinav Mishra, Kumar Sharad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van hooggeschoolde, autonome assistenten (AI-agenten) inhuurt om een complex project voor je te beheren. Je geeft ze een breed doel: "Organiseer onze verkoopgegevens en deel de samenvatting met het team."

In het verleden, als je een menselijke werknemer inhuurde, kon je hun dag gemakkelijk volgen: ze openden een bestand, stuurden een e-mail en printten een rapport. Maar deze AI-agenten zijn anders. Ze volgen niet zomaar een rechte lijn. Ze kunnen bijvoorbeeld:

De taak opdelen in kleinere taken en deze naar andere AI-subassistenten sturen.
Een hulpmiddel proberen, falen, en een ander hulpmiddel proberen.
Meerdere taken tegelijkertijd uitvoeren op verschillende computers.
In de war raken door een lastig document en per ongeluk iets doen wat ze niet hadden mogen doen, terwijl ze nog steeds onder jouw oorspronkelijke toestemming handelen.

Het Probleem: De "Geest" van Delegatie
De auteurs van dit artikel beweren dat onze huidige manier om deze agenten te volgen kapot is. We hebben "audit logs" (zoals een beveiligingscamera) en "traces" (zoals een kaart van het afgelegde pad).

De paper beweert echter dat je niet kunt achterhalen welke acties bij jouw specifieke delegatie hoorden door alleen naar deze logs te kijken.

Hier is een analogie: Stel je voor dat twee verschillende bezorgers (Delegatie A en Delegatie B) in dezelfde stad werken. Ze gebruiken beide dezelfde wegen (hulpmiddelen) en passeren elkaar soms.

De Oude Manier: We hebben alleen een logboek van elke auto die een specifiek kruispunt passeerde en de tijd waarop dat gebeurde.
Het Probleem: Als Chauffeur A en Chauffer B beide om 14:00 uur het kruispunt passeren en hun paden op elkaar lijken, kunnen we niet zien welke chauffeur wat deed door alleen naar het verkeerslogboek te kijken. We kunnen gissen dat ze samen waren omdat ze dicht bij elkaar waren in tijd, maar dat is slechts een gok. Als ze overlappen, opnieuw proberen of zich opsplitsen, wordt die gok onmogelijk.

De paper bewijst wiskundig dat het zonder een specifieke label aan de toestemming zelf, onmogelijk is om precies te reconstrueren wat jouw gedelegeerde autoriteit heeft gedaan. De "autoriteit" (wie de opdracht gaf) staat volledig los van de "causaliteit" (de volgorde waarin dingen gebeurden).

De Oplossing: De "Slimme Gateway" en de "Universele Badge"
Om dit op te lossen, stelt de auteur een nieuw systeem voor genaamd CIM (Common Information Model) en een Gateway.

De Gateway (De Beveiliger): Stel je een beveiliger voor die bij de deur staat van elk hulpmiddel dat de AI wil gebruiken (zoals een bestandsserver, een chat-app of een database).
De Universele Badge (De Delegatie ID): Wanneer de AI een taak start, geeft het systeem een unieke, onveranderlijke "Badge ID" uit voor die specifieaf specifieke delegatie.
De Regel: Elke keer dat de AI iets aanraakt, controleert de Gateway op de Badge. Als de AI handelt onder jouw toestemming, stempelt de Gateway die actie met jouw Badge ID voordat het gebeurt.

Dit is anders dan alleen een "Session ID" toevoegen (zoals een ticketnummer voor een enkele rit). Een Session ID breekt als de AI de taak opsplitst in sub-teams of een taak opnieuw probeert uit te voeren. De Badge ID blijft bij de autoriteit, zelfs als de AI een sub-agent creëert, taken parallel uitvoert of heen en weer gaat.

Wat Dit Mogelijk Maakt
Met dit nieuwe systeem wordt het stellen van vragen makkelijk en accuraat, zoals het opzoeken van een specifieke klant in een database in plaats van te gissen op basis van wie er in de buurt van de deur stond.

De "Blast Radius" Vraag: In plaats van te gissen: "Welke bestanden heeft de AI aangeraakt tussen 14:00 en 14:30?" (wat mogelijk ook het werk van anderen bevat), kun je vragen: "Laat me elk enkel bestand zien dat is aangeraakt door Badge #123, ongeacht welk hulpmiddel werd gebruikt of wanneer."
De "Sub-Agent" Vraag: Als de hoofd-AI een sub-agent heeft ingehuurd om het vuile werk op te knappen, zorgt de Badge ervoor dat de acties van de sub-agent nog steeds duidelijk gekoppeld zijn aan jouw oorspronkelijke delegatie.
De "Drift" Vraag: Als de AI begon met het lezen van veilige bestanden en plotseling begon met het lezen van geheime bestanden, kan het systeem deze "drift" in de activiteitslog van de Badge detecteren, zelfs als de AI niet om toestemming heeft gevraagd om te veranderen.

Belangrijke Beperkingen (Wat de Paper NIET Beweert)

Het leest geen gedachten: Het systeem weet niet of de AI iets bedoelde te doen of dat het werd misleid (zoals door een "prompt injection"). Het registreert alleen dat de actie plaatsvond onder jouw delegatie. Als de AI werd misleid om een bestand te stelen, zegt het systeem: "Jouw delegatie heeft dit gedaan," en niet "De AI is gehackt."
Het heeft een deur nodig: Het systeem werkt alleen als de AI door de "Gateway" gaat. Als de AI een achterdeur vindt of een hulpmiddel gebruikt waar de Gateway niet naar kijkt, zijn die acties onzichtbaar.
Het is geen preventiemiddel: Het houdt de AI niet tegen om slechte dingen te doen; het zorgt er alleen voor dat we nauwkeurig kunnen zien wat er achteraf is gebeurd.

Samenvattend
De paper betoogt dat naarmate AI-agenten chaotischer en complexer worden, onze oude manier van volgen (kijken naar tijd en paden) faalt. We hebben een nieuwe manier van volgen nodig die de toestemming zelf volgt, niet alleen het pad. Door een permanente "Badge" aan elke actie te koppelen op het moment dat deze plaatsvindt, kunnen we eindelijk exact reconstrueren wat onze gedelegeerde AI heeft gedaan, zelfs wanneer deze cirkels draait, zich in teams opsplitst of over veel verschillende systemen werkt.

Technische Samenvatting: Observability voor Gedelegeerde Executie in Agentic AI-systemen

Probleemstelling

Het paper identificeert een kritieke kloof in de observability van op Large Language Models (LLM) gebaseerde agentic systemen: delegatie-gescopeerde executie is niet identificeerbaar vanuit standaard observables (auditlogs en executietraces).

In traditionele systemen volgt executie een voorgeschreven workflow. In agentic systemen is executie gedelegeerd: een principal verleent een duurzame autorisatiecontext aan een agent, die vervolgens dynamisch tools selecteert, executiesequenties varieert, terugkeert naar eerdere stappen (backtracking) en sub-agents genereert. Dit creëert een structurele mismatch:

Orthogonaliteit van Autoriteit en Causaliteit: De eenheid van verantwoording (de delegatie) is structureel orthogonaal aan de eenheid van executie (de causale trace/span). Een enkele delegatie kan causale, losstaande tool-aanroepen beslaan (parallelle retries, asynchrone fanout), terwijl causaal verbonden acties kunnen plaatsvinden onder verschillende delegaties (re-delegatie).
Niet-identificeerbaarheid: Het paper bewijst dat delegatie-lidmaatschap niet gereconstrueerd kan worden uit executietraces en lokale attributen van events alleen. Meerdere incompatibele delegatie-toewijzingen kunnen identieke observeerbare telemetrie produceren (auditlogs en causale grafen).
Beperkingen van Huidige Tools: Bestaande mechanismen (SIEM, OpenTelemetry, LangSmith) registreren individuele acties of causale ketens, maar missen de semantiek om "welke acties onder een bepaalde delegatie plaatsvonden" over heterogene systemen heen te reconstrueren. Ze vertrouwen op heuristische tijdvenster-correlaties of sessie-ID's, die falen bij multi-agent compositie, retries en overlappende delegaties.

Methodologie: Het Agent-Aware Common Information Model (CIM)

Om dit aan te pakken, stellen de auteurs CIM voor, een lichtgewicht, agent-bewuste observability-substraat. CIM is geen engine voor intentie-inferentie, maar een structureel model dat delegatiecontext bindt tijdens de executie.

Kerncomponenten

CIM introduceert een duaal-structureel model voor gedelegeerde executie:

Executiegraaf ( $G_{exec}$ ): Representeert causale relaties (traces, spans, ouder-kind links).
Autoriteitsgraaf ( $G_{auth}$ ): Representeert delegatierelaties (principals, agents, re-delegatie, lineage).
Autorisatie-relatie ( $R_{auth}$ ): Bindt events expliciet aan delegaties.

Semantische Vereisten

CIM handhaaft vier semantische commitments om de reconstructie van delegatie-gescopeerde executie welgedefinieerd te maken:

R1 (Persistente Delegatiecontext): Elk event is gebonden aan een duurzame delegation_id.
R2 (Scheiding van Autoriteit en Causaliteit): Autoriteitspartities hoeven niet samen te vallen met traces; het model ondersteunt expliciet divergentie.
R3 (Delegatie-closure): Re-delegatie en het genereren van agents worden gerepresenteerd met lineage-closure, waardoor queries mogelijk zijn over een delegatie en al haar afstammelingen.
R4 (Cross-Systeem Normalisatie): Acties en resources worden genormaliseerd naar een stabiele vocabulaire (bijv. read, write, share, invoke) om cross-tool queries mogelijk te maken zonder payload-inspectie.

Implementatie: De Gateway

De auteurs stellen een lichtgewicht gateway voor als de capture-boundary. Deze component (proxy, sidecar of library) onderschept de tool-invocaties van de agent om te:

Mint en Bind: Events associëren met geauthenticeerde principals en delegation_id's uitgeven.
Propageren: Ervoor zorgen dat de delegatiecontext door multi-agent ketens reist.
Normaliseren: Tool-specifieke operaties mappen naar de canonieke actie-vocabulaire.
Invarianten Afdwingen: Ervoor zorgen dat de delegation_id geen vrije tekst is maar een gevalideerde binding, en events expliciet als "unbound" markeren als de delegatiecontext ontbreekt.

Belangrijkste Bijdragen

Het paper levert drie belangrijke bijdragen:

Formalisering van Delegatie-Observability: Het definiëren van een systeemeigenschap waarbij de set acties onder een delegatie gereconstrueerd kan worden zonder heuristische tijdvenster-correlatie, zelfs onder concurrency en multi-agent compositie.
Bewijs van Niet-identificeerbaarheid: Het aantonen dat auditlogs en causale tracing alleen onvoldoende zijn om gedelegeerde autoriteit te herstellen, omdat gedelegeerde autoriteit orthogonaal is aan de causale control flow.
Introductie van CIM: Een Common Information Model dat gedelegeerde executie modelleert als duale structuren (autoriteits- en executie-grafen), wat betrouwbare post-hoc reconstructie en directe forensische queries mogelijk maakt.

Experimentele Resultaten

De auteurs evalueerden CIM met behulp van twee omgevingen: een hoog-volume synthetische generator (100k agents, 10k gebruikers) en een micro-deployment met echte tool-invocaties.

Reconstructienauwkeurigheid

Ambiguïteit: Onder baseline methoden (alleen trace, tijdvenster of hybride correlatie) nam de ambiguïteit (het aantal geldige delegatie-groeperingen) drastisch toe bij concurrency. Bijvoorbeeld, in multi-agent workflows bereikte de baseline ambiguïteit een mediaan van 10.856. CIM bereikte een ambiguïteit van 1 voor gedekte events door constructie.
Recall: Baseline methoden leden onder een lage recall (p05 zo laag als 0,03) wanneer trace-grenzen niet overeenkwamen met delegatie-grenzen. CIM bereikte 100% recall voor gedekte events.
Divergentie: De experimenten bevestigden dat autoriteit-causaliteit divergentie wijdverspreid is (bijv. enkele delegaties die 35+ causale componenten beslaan in sommige workflows), wat de noodzaak voor een model dat autoriteit en causaliteit als onafhankelijk behandelt, valideert.

Operationele Overhead

Event Grootte: CIM voegt ongeveer 247 bytes per event toe (delegatiecontext, lineage, genormaliseerde predicaten).
Latency: Gateway-verwerking voegt verwaarloosbare latency toe (mediaan 0,01 ms, p95 0,29 ms).
Query-inspanning: Het meest significante voordeel is de vermindering van de last bij het construeren van queries. Baseline queries vereisen 6–14 operaties (joins, windowing, normalisatie) per klasse. CIM reduceert dit tot 1–3 directe predicaten over stabiele velden. De runtime-prestaties van queries waren vergelijkbaar tussen CIM en baselines op de geteste schaal.

Betekenis en Claims

Het paper claimt dat agentic systemen delegatie-bewuste observability vereisen omdat gedelegeerde autoriteit achteraf niet betrouwbaar gereconstrueerd kan worden uit traces alleen.

Structurele Verantwoording: CIM maakt het mogelijk om workflows te reconstrueren als gestructureerde objecten in plaats van platte event-stromen, wat directe antwoorden mogelijk maakt op forensische vragen zoals "Wat is de blast radius van delegatie $d$ ?" of "Welke sub-agents handelden onder deze autoriteit?".
Agnostisch ten aanzien van Intentie: Het systeem scheidt expliciet attributie van intentie. CIM attribueert acties aan de delegatie waaronder ze werden uitgevoerd, ongeacht of de actie bedoeld was, het resultaat was van prompt injection, of een fout was. Dit maakt de "access/share footprint" auditeerbaar zonder de interne redenering van de agent te hoeven begrijpen of prompt injection te hoeven detecteren.
Complementariteit: CIM wordt gepresenteerd als infrastructuur die bestaande beveiligings- en auditing-inspanningen complementeert. Het voorkomt geen misbruik of concludeert intentie, maar biedt de noodzakelijke structurele data om de uitkomsten van composities, emergent gedrag en executie-drift in multi-agent systemen te onderzoeken.

De auteurs concluderen dat zonder een dergelijk substraat, het probleem van "delegatie-gescopeerde reconstructie" structureel onbepaald blijft in agentic AI, wat leidt tot onbetrouwbare forensische analyse naarmate deze systemen opschalen.