From Agent Failure Paths to Quantified Residual Risk: A Compositional Framework for Resilient Agentic AI

Technische Samenvatting: Van Agentische Faalpaden naar Gekwantificeerd Residu-risico

Probleemstelling
Agentische AI-systemen, die autonoom meerstapsdoelen nastreven door middel van planning en interactie met de omgeving, opereren over vertrouwensgrenzen heen sneller dan huidige risicomodellen deze kunnen representeren. Bestaande benaderingen lijden aan een dichotomie: structurele veiligheidsmethoden (bijv. STAMP, STPA) bieden causale faalpaden maar missen overdraagbare schattingen van het residu-risico, terwijl kwantitatieve risicomethoden (bijv. CVaR, adversarial risk analysis) risicoschatters bieden maar het interne faalpad als een black box behandelen. Bijgevolg kan geen enkel bestaand framework tegelijkertijd twee cruciale vragen beantwoorden: (1) door welk specifiek mechanisme faalt de integriteit, en (2) hoeveel residu-risico resulteert uit dat specifieke pad? Dit gat verhindert cross-domein redeneren en de kwantitatieve optimalisatie van controles voor pad-afhankelijke faalmodi in agentische en cyber-fysieke systemen.

Methodologie
Het paper stelt een compositioneel framework voor dat een structurele decompositie koppelt aan een kwantitatieve risicofunctie.

1. CPSAINT (Structurele Decompositie): De auteurs definiëren een zevenlaagse integriteitsdecompositie om de voortplanting van falen te modelleren:

   • Lagen: Fysieke staat ($P$), Sensoren ($S$), Data ($D$), Compute ($C$), Actuatoren ($A$), Omgeving ($E$), en Tijd ($T$).
   • Faalmodi: Het systeem maakt gebruik van een vijf-modus alfabet: corruptie, vertraging, omissie, replay en koppeling-misbruik (coupling abuse).
   • Pad-semantiek: Een geldig agent-faalpad ($\pi$) is een geordende sequentie van laag-modus paren die de voortplantingsrelatie van het geïnstantieerde systeem respecteert. Dit maakt het mogelijk dat diverse domeinen (bijv. robotica en bankwezen) een gemeenschappelijke grammatica delen terwijl de domeinspecifieke padinhoud behouden blijft.

2. FRIESA-K (Kwantitatieve Risicofunctie): Het framework koppelt elk faalpad aan een gekwantificeerde risico-instantie met behulp van de functie:
   $$R(\pi, \tau, u) = \frac{F(\pi) R_i(\pi) E(\pi) S(\pi) A(\pi)}{K(\pi, \tau, u)}$$

   • Teller: Vertegenwoordigt dreigingsfrequentie ($F$), bereikbaarheid ($R_i$), exploiteerbaarheid ($E$), ernst ($S$) en amplificatie ($A$). Ernst wordt gedefinieerd door terminale consequenties, terwijl amplificatie de verbreding van de impact over verschillende lagen vastlegt.
   • Noemer ($K$): Vertegenwoordigt de dynamische effectiviteit van de controle. In tegenstelling tot statische expertscores, wordt $K$ afgeleid van een gecontroleerd absorberend Markov-model. Het wordt gedefinieerd als de ratio tussen de baseline catastrofe-waarschijnlijkheid en de gecontroleerde catastrofe-waarschijnlijkheid binnen een eindige horizon $\tau$. Dit fundeert de effectiviteit van de controle in de staat-dynamiek in plaats van in willekeurige toewijzing.

3. Governance Observabiliteit: Om governance aan te pakken zonder de basisrisicovergelijking te herdefiniëren, introduceren de auteurs een aparte additieve strafterm, $R_{gov}$. Deze term kwantificeert de verblijftijd in "waarschuwingsstaten" (gedegradeerd maar niet-catastrofaal) die een gebrek aan observabiliteit vertonen. De uiteindelijke gerapporteerde score is $R_{res} = R + w_{gov} R_{gov}$.

4. Composabiliteit: Het paper formaliseert een compositiestelling die stelt dat een geldig CPSAINT-pad een goed gedefinieerde FRIESA-K risico-instantie induceert zonder de functionele vorm te wijzigen. Dit zorgt ervoor dat hetzelfde laag-grammatica en dezelfde variabele semantiek van toepassing zijn op verschillende domeinen.

Belangrijkste Bijdragen

• CPSAINT Definitie: Een zevenlaagse structurele decompositie met expliciete pad-semantiek die de faalanalyse tussen fysieke en software-intensieve agenten verenigt.
• FRIESA-K Definitie: Een risicofunctie met vaste grenzen voor variabelen en een dynamische weerstandsterm ($K$) geconstrueerd uit gecontroleerde stochastische dynamiek (Markov-ketens).
• Compositie Theorem: Een formeel bewijs dat geldige structurele paden goed gedefinieerde risico-instanties induceren, waarbij de functionele vorm over domeinen heen behouden blijft.
• Governance Integratie: Een mechanisme om de degradatie van governance-observabiliteit te rapporteren via een additieve strafterm, waardoor operationeel risico wordt gescheiden van assurance/verantwoordelijkheidsrisico's.
• Empirische Validatie: Demonstratie van het framework op twee contrasterende scenario's: een hard real-time magazijnrobot en een governance-geinstrumenteerde financiële dienstverleningsagent.

Resultaten
Het framework werd geëvalueerd met behulp van Gillespie SSA fault-injection simulaties en deterministische sensitiviteitsanalyse op twee gevallen:

1. Magazijnrobot: Een pad bestaande uit sensorcorruptie, datacorruptie, compute-vertraging en de koppeling-misbruik van actuatie. De resultaten toonden aan dat de residu-risicoscore scherp daalde bij verbeterde controles vanwege de hoge containments- en herstelelasticiteit. De operationele term domineerde de risicoscore.
2. Financiële Dienstverleningsagent: Een pad bestaande uit datacorruptie, compute-corruptie, timing-vertragingen en extern koppeling-misbruik. Hoewel het operationele risico lager was, modelleerde het framework succesvol het structurele governance-mechanisme. De resultaten toonden aan dat hoewel de governance-straf ($R_{gov}$) numeriek klein was bij korte horizonten (0,75s), de structurele scheiding ervoor zorgt dat deze materieel kan worden bij langere evaluatievensters (bijv. uren), waardoor onderscheid wordt gemaakt tussen onmiddellijke operationele veiligheid en langetermijn assurance-degradatie.

Sensitiviteitsanalyse bevestigde dat de risicoscore lineair is ten opzichte van de faalfrequentie ($F$) en omgekeerd evenredig aan de effectiviteit van de controle ($K$). Het framework slaagde erin om het risicoreductiewaarde-verschil tussen detectie in de datalaag versus containment in de actuatielaag te onderscheiden.

Significantie en Claims
Het paper claimt een "beknopte mechanisme-naar-magnitude pipeline" te bieden voor veerkrachtige agentische en belichaamde AI. De primaire significantie ligt in:

• Verenigde Visies: Het overbrugt de kloof tussen structurele faalcausaliteit en kwantitatieve risicoschatting, waardoor de "black box"-benadering van puur statistische methoden en het gebrek aan kwantificering in puur structurele methoden wordt vermeden.
• Cross-Domein Redeneren: Door een vast laag-grammatica en variabele semantiek te handhaven, ondersteunt het framework redeneren over materieel verschillende domeinen (bijv. robotica en financiën) zonder de risicofunctie te herdefiniëren.
• Expliciete Aannames: Het dwingt expliciete aannames af over faalpaden en de effectiviteit van de controle, weg van monolithische, breekbare risicoscores.
• Dynamische Controle Interpretatie: Het afleiden van de effectiviteit van de controle uit meetbare veranderingen in de catastrofe-waarschijnlijkheid via staat-dynamiek, in plaats van te vertrouwen op informele expert-scoring.

De auteurs merken op dat het framework een "compact kernel" is voor composabele vertrouwen. Zij erkennen beperkingen, waaronder de noodzaak voor domeinspecifieke kalibratie van parameters en de huidige aanname van onafhankelijkheid tussen de teller-termen, maar stellen dat het framework er succesvol in is geslaagd een formele koppeling te leggen tussen structurele faalmechanismen en gekwantificeerd residu-risico.