Technische Samenvatting: Van Toelating tot Invarianten

1. Probleemstelling

In autonome multi-agent systemen worden agents vaak toegelaten met een specifiek operationeel domein en gedragscontract, gedefinieerd als de toelaatbare gedragsruimte $A_0$. Deze ruimte wordt vastgesteld op het moment van toelating (admission time) en omvat globale, trajectgebonden eigenschappen (zoals verdelingen van acties, delegatie-afdiepte en contextcoherentie).

Het dominante bestuursmodel vertrouwt op handhavingsmechanismen (enforcement mechanisms) die runtime hard-constraint schendingen detecteren via een signaal $g$. Dit signaal is echter lokaal: het evalueert individuele acties tegen een statische regelset, zonder rekening te houden met de historische context of het oorspronkelijke gedragscontract $A_0$.

Het kernprobleem: Een agent kan systematisch "drift" vertonen (een verschuiving in de gedragsverdeling weg van $A_0$) terwijl elke individuele actie nog steeds binnen de toegestane grenzen blijft. Omdat de handhaving alleen kijkt naar lokale schendingen, blijft deze structureel blind voor dergelijke subtiele, maar gevaarlijke gedragsafwijkingen. Het artikel stelt dat handhaving gebaseerd op lokale observatie structureel onbekwaam is om te bepalen of een agent nog binnen $A_0$ opereert.

2. Methodologie en Theoretisch Kader

2.1 Formele Modellen

• Trace-taal: Een trace $\tau$ is een eindige reeks acties. $A_0$ is een globale subset van alle mogelijke traces, bepaald door toelatingsconstraints ($C$), initiële context ($E_0$) en delegatielijnage ($L$).
• Handhavingssignaal ($g$): Een functie $g: \Sigma^* \to \{0, 1\}$ die 1 retourneert bij een schending.
• Aanname van Lokale Observatie (Assumption 2.1): Het signaal $g$ is een aggregatie van punt-voor-punt schendingen ($V$). Het heeft geen toegang tot globale trajecteigenschappen of $A_0$. Dit is een eigenschap van alle praktische handhavingssystemen (zoals permission-checks en guardrails).

2.2 De "Compliance-Invariance Gap"

De auteurs definiëren een kloof tussen compliance (geen handhavingssignaal, $g(\tau)=0$) en invariance (binnen $A_0$ blijven). Het artikel bewijst dat er traces bestaan die voldoen aan $g(\tau)=0$ maar niet tot $A_0$ behoren. Dit betekent dat een agent "compliant" kan lijken terwijl het feitelijk zijn gedragscontract heeft geschonden.

3. Belangrijkste Bijdragen

Het artikel introduceert drie fundamentele stellingen (T1, T2, T3) en een nieuwe architecturale laag:

T1: Existentie van de kloof

Er bestaan traces die voldoen aan alle lokale regels ($g(\tau)=0$) maar toch buiten de toelaatbare ruimte $A_0$ vallen. Dit is geen uitzondering, maar een generiek kenmerk van elke systematische verdelingsschifting die onder de drempel van harde constraints blijft.

T2: Het Non-Identificabiliteits-Theorema (Non-Identifiability Theorem)

Dit is het centrale theoretische resultaat: $A_0 \notin \sigma(g)$.
De $\sigma$-algebra gegenereerd door het handhavingssignaal $g$ bevat niet de set $A_0$.

• Betekenis: Geen enkele meetbare functie van het handhavingssignaal (hoe complex ook) kan ooit reconstrueren of een agent nog binnen $A_0$ opereert.
• Oorzaak: Een fundamenteel mismatch tussen lokale evaluatie (acties) en globale eigenschappen (trajecten). Zelfs een perfecte handhaving kan de "verborgen drift" niet zien.

T3: IML Herwinbaarheid (Recoverability)

Om dit probleem op te lossen, wordt de Invariant Measurement Layer (IML) voorgesteld.

• Principe: IML behoudt direct toegang tot het generatieve model van $A_0$ door een "frozen admission snapshot" ($A^0_{emp}$) vast te houden. Dit snapshot bevat de initiële tool-verdeling, diepte-statistieken en context, en wordt nooit bijgewerkt.
• Resultaat: IML is een consistente schatter van de afwijking $D(\tau, A_0)$ met een bewezen eindige detectietijd. Het werkt precies in het gebied waar handhaving blind is ($g(\tau)=0$).

De IML Architectuur

De IML berekent een afwijkingsscore $\hat{D}$ op basis van drie componenten:

1. Temporele drift ($D_t$): Jensen-Shannon divergentie tussen de huidige tool-verdeling en de initiële verdeling $P_{E0}$.
2. Constraint nabijheid ($D_c$): Gemiddelde risicoscore van gebruikte tools.
3. Lijnage-afwijking ($D_l$): Afwijking van de gemiddelde delegatie-afdiepte ten opzichte van het toelatingsgemiddelde.

4. Experimentele Validatie

De auteurs valideren hun theorie in vier scenario's, waarbij in alle gevallen het handhavingssignaal $g$ 0 bleef (geen schendingen), terwijl de IML-score monotoon groeide:

1. Gestuurde drift scenario's (300 en 1000 stappen):

   • Tool drift: Verschuiving van veilige naar risicovolle tools.
   • Delegatie drift: Toename van delegatie-afdiepte.
   • Context drift: Semantische verschuiving in prompts.
   • Resultaat: IML detecteerde drift binnen 9 tot 258 stappen. De handhaving reageerde nooit.

2. Live n8n Webhook Pipeline:

   • Een real-world workflow in JavaScript.
   • Resultaat: Detectie van drift binnen 9 stappen na de verschuiving, terwijl de handhaving gedurende 250 stappen stil bleef.

3. LangGraph StateGraph Agent:

   • Een deterministische agent met tool-selectie.
   • Resultaat: Consistente detectie over 6 verschillende seeds (gemiddelde detectie na 126 stappen na drift-onset), met een eindscore van $\hat{D} \approx 0.34$ tegenover 0 handhavingstriggers.

Vergelijking met Anomalie-detectie:
Traditionele anomalie-detectoren (die de huidige verdeling vergelijken met een rollende historische verdeling) faalden. Omdat hun referentiepunt meedrift met de agent, verloren ze hun gevoeligheid voor langzame verschuivingen ("reference contamination"). IML, met zijn vaste referentie ($A^0_{emp}$), behield zijn gevoeligheid.

5. Betekenis en Conclusie

Dit artikel levert een formele onderbouwing voor waarom enforcement-only governance onvoldoende is voor veilige agent-systemen.

• Structurele Blindheid: Zelfs een perfect werkend, stateful handhavingssysteem kan gedragsdrift niet zien als deze binnen de toegestane actieruimte blijft.
• Noodzaak van Invarianten: Om drift te detecteren, moet het monitoringssysteem direct toegang hebben tot het oorspronkelijke gedragscontract ($A_0$), niet alleen tot de regels.
• Architecturale Implicatie: Een robuust governance-systeem vereist drie lagen:
  1. Toelating (Admission): Definieer en registreer $A_0$ (bijv. via ACP).
  2. Invariant Monitoring (IML): Meet de afstand tot $A_0$ tijdens runtime.
  3. Handhaving (Enforcement): Blokkeer harde schendingen.

De conclusie is dat een lichtgewicht "toelatingssnapshot" geen optionele verbetering is, maar een noodzakelijke aanvulling om de structurele blindheid van handhavingssystemen te overbruggen. Zonder deze laag zullen agent-systemen systematisch mislukken bij het detecteren van geleidelijke, maar gevaarlijke gedragsafwijkingen.