Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Technische Samenvatting: Een Drie-Lagen Probabilistische Aannem-Garantie-Architectuur voor Veilige Implementatie van LLM-Agenten

1. Probleemstelling

De implementatie van Large Language Model (LLM)-agenten in veiligheidskritieke omgevingen vormt een structurele uitdaging voor runtime-verzorging die niet kan worden opgelost door enkelvoudige handhavingsmechanismen. In tegenstelling tot statische tekstgeneratie, nemen LLM-agenten deel aan gesloten-lus uitvoering waarbij gegenereerde plannen de fysieke wereld en toekomstige waarnemingen beïnvloeden. Het artikel betoogt dat veilige werking vereist dat gelijktijdig aan drie onderscheiden dimensies wordt voldaan:

1. Semantische Intentie en Beleidsovereenstemming: Uitlijning met gebruikersinstructies, ethische beperkingen en domeinregels.
2. Omgevingsvaliditeit: Verificatie dat de huidige wereldtoestand binnen het Operationeel Ontwerpdomein (ODD) ligt.
3. Dynamische Haalbaarheid: Verzekering dat de uitvoeringstraject voldoet aan fysieke veiligheidsbeperkingen (bijvoorbeeld botsingsvermijding, krachtlagen).

Het kernprobleem is dat deze drie dimensies afhankelijk zijn van strikt verschillende informatiesets die op verschillende stadia van uitvoering beschikbaar worden. Semantische intentie is a priori bekend; omgevingsvaliditeit vereist sensordata op het moment van uitvoering; en dynamische haalbaarheid hangt af van de besturingslus-traject tijdens uitvoering. Het artikel postuleert dat elke architectuur die deze dimensies samenvoegt tot één abstractielaag noodzakelijkerwijs ten minste één dimensie ongecertificeerd laat, aangezien geen enkele veiligheidsbarrière gelijktijdig toegang heeft tot de benodigde informatie voor alle drie. Empirisch bewijs uit benchmarks (bijvoorbeeld AgentSafetyBench) ondersteunt dit, en toont aan dat veiligheidsfouten zich concentreren in omgevings- en fysieke dimensies die buiten het bereik van puur semantische controles liggen.

2. Methodologie: De Drie-Lagen Contract-gebaseerde Architectuur

Om deze structurele ontoereikendheid aan te pakken, stelt het artikel een Drie-Lagen Probabilistische Aannem-Garantie (A/G) Architectuur voor. Dit kader behandelt veiligheid niet als een deterministisch bewijs, maar als een compositie van probabilistische contracten, waarbij elke laag een specifieke veiligheidsdimensie afdwingt op basis van de informatie die op dat stadium beschikbaar is.

De architectuur bestaat uit drie sequentieel samengestelde lagen, elk gedefinieerd door een contract $\Sigma_i = (A_i, \Gamma_i)$, waarbij $A_i$ een aanname over invoer is en $\Gamma_i$ een probabilistische garantie over uitvoer:

• Laag 1: Gebruikersverzekeringslaag ($\Sigma_U$)

  • Informatieset ($I_U$): Gebruikersintentie, beleid, rolmetadata en ethische regels. Geen wereldwaarneming is beschikbaar.
  • Functie: Valideert het gegenereerde plan $p$ tegen semantische uitlijning (cognitief, regulatoir, ethisch) en gebruikersautorisatie.
  • Contract: Als het verzoek is geautoriseerd ($A_U$), garandeert de laag dat het plan uitsluitend op geautoriseerde locaties is gericht en geen beleidsovertredingen bevat ($\Gamma_U$). Deze garantie dient als aanname voor de volgende laag.
  • Mechanisme: Gebruikt neurale-symbolische methoden om informele intentie en beleidsbeperkingen te formaliseren.

• Laag 2: Operationele Verzekeringslaag ($\Sigma_O$)

  • Informatieset ($I_O$): Geschatte wereldtoestand $\hat{w}$, sensordata $\xi$ en ODD-specificaties.
  • Functie: Bepaalt of de agent is gecertificeerd om te handelen in de huidige wereldtoestand en definieert het autonomie-omhulsel (bijvoorbeeld snelheidslimieten, toegestane acties).
  • Contract: Aannemende dat het plan de Gebruikerslaag heeft doorstaan ($A_O \equiv \Gamma_U$), garandeert de laag dat uitvoering binnen het ODD blijft ($W_{ODD}$) en dat sub-plannen die ODD-beperkingen schenden worden geblokkeerd ($\Gamma_O$).
  • Mechanisme: Past deterministische validiteitscontroles toe op wereldtoestand-schattingen om auditbaarheid te waarborgen, en behandelt probabilistische onzekerheid stroomopwaarts.

• Laag 3: Functionele Verzekeringslaag ($\Sigma_F$)

  • Informatieset ($I_F$): Volledige statetrajecten $x(t)$, besturingsinvoer $u(t)$ en systeemdynamica.
  • Functie: Handhaaft veiligheid op de frequentie van de besturingslus tijdens activering.
  • Contract: Aannemende de validiteit van de Operationele Laag ($A_F \equiv \Gamma_O$), garandeert de laag geen botsingen en naleving van fysieke beperkingen (bijvoorbeeld krachtlagen) ($\Gamma_F$).
  • Mechanisme: Combineert specificatie-gebaseerde runtime-monitoring (Signaal Temporele Logica), Control Barrier Functions (CBF's) voor minimale interventie, en simulatie-gebaseerde synthese.

Compositional Veiligheidsgrenzen:
De systeemniveau veiligheidskans wordt afgeleid via de kettingregel van waarschijnlijkheid. Aangezien $\Gamma_U \implies A_O$ en $\Gamma_O \implies A_F$, is de kans op systeemveiligheid:
$$Pr(\text{veilig}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
waarbij $p_{O|U}$ en $p_{F|OU}$ voorwaardelijke kansen zijn die de effectiviteit van stroomopwaartse filtering weerspiegelen. Het artikel biedt vier karakterisering van deze grens (B1–B4), variërend van conservatieve Fréchet–Bonferroni ondergrenzen (alleen met marginales) tot de exacte kettingregel-decompositie (B4), die modulaire, laag-voor-laag certificering mogelijk maakt.

3. Belangrijkste Bijdragen

• Structureel Argument voor Drie Lagen: Het artikel levert een formeel bewijs (Bijlage B) dat drie onafhankelijk gecertificeerde stadia structureel noodzakelijk zijn. Het toont aan dat elke architectuur met minder dan drie lagen óf de causale tijdslijn van informatiebeschikbaarheid moet schenden (bijvoorbeeld operationele veiligheid certificeren voordat sensordata bestaat), óf impliciet de drie-stadiastructuur binnen één component moet reconstrueren, waardoor compositional verifieerbaarheid verloren gaat.
• Informatie-gedreven Decompositie: In tegenstelling tot eerdere taxonomieën gebaseerd op pijplijnartefacten (bijvoorbeeld doelen, plannen, tools), wordt deze architectuur gedreven door de temporele ordening van informatiebeschikbaarheid ($I_U \subset I_O \subset I_F$). Dit onderscheid zorgt ervoor dat certificeringen vertrouwen op het juiste informatiedomein op elk stadium.
• Probabilistisch Aannem-Garantie Kader: Het artikel past A/G-contracten aan op de niet-stationaire, niet-i.i.d. aard van LLM-agenten. Het gaat voorbij aan binaire garanties naar probabilistische grenzen, en erkent dat LLM-uitvoer inherent stochastisch is en omgevingen onzeker.
• Bidirectionele Verzekeringslus: De architectuur is ontworpen als een live lus waarbij veiligheidssignalen ($s_F, s_O$) van onderop naar boven propageren. Als een lagere laag een overtreding detecteert (bijvoorbeeld een botsingsrisico), triggert dit planherberekening in de Gebruikerslaag, in plaats van alleen uitvoering te stoppen.

4. Resultaten en Analyse

Als een position paper presenteert het werk geen nieuwe empirische benchmarks, maar synthetiseert bestaande literatuur om zijn structurele claims te ondersteunen:

• Benchmark Consistentie: Het artikel merkt op dat huidige agenten (bijvoorbeeld op AgentSafetyBench) significant falen in gedrags- en omgevingsveiligheid (30,4%) in vergelijking met contentveiligheid (68,4%), wat overeenkomt met het argument dat enkelvoudige semantische bewakers ontoereikend zijn.
• Theoretische Grenzen: Het artikel leidt de wiskundige grenzen (B1–B4) voor systeemveiligheid af. Het illustreert via een doorlopend voorbeeld (een verzorgingsrobot) dat de kettingregel-grens (B4) aanzienlijk hogere veiligheidskansen kan opleveren (bijvoorbeeld 0,857) in vergelijking met een naïeve product van marginales (0,787) als stroomopwaartse filtering effectief is.
• Sensitiviteitsanalyse: De analyse toont aan dat het systeem gevoelig is voor de zwakste laag; een degradatie in de waarschijnlijkheid van één laag degradeert de gehele systeemgrens multiplicatief, en geen enkele versterking van andere lagen kan een gat in één compenseren.

5. Betekenis en Open Problemen

Het artikel beweert dat de voorgestelde drie-lagen architectuur de minimale levensvatbare certificeringsstructuur is voor veilige implementatie van LLM-agenten. Het betoogt dat het veld momenteel veiligheidsmechanismen sneller produceert dan de theoretische infrastructuur om ze samen te stellen en te certificeren.

Het artikel identificeert expliciet drie open problemen die moeten worden opgelost om over te gaan van dit theoretische kader naar een implementeerbare standaard:

1. Grensraming vanuit Niet-I.I.D. Sporen: Standaard statistische methoden (zoals PAC-grenzen) falen omdat LLM-sporen niet-stationair en afhankelijk zijn. Nieuwe methoden (bijvoorbeeld martingaal-grenzen, conformale voorspelling voor niet-uitwisselbare data) zijn nodig om de voorwaardelijke kansen $p_{O|U}$ en $p_{F|OU}$ te schatten.
2. Graceful Degradatie onder Implementatie-Drift: Huidige contracten zijn breekbaar; als aannames worden geschonden, worden garanties nietig. Het artikel stelt "robuste contracten" voor die een proportionele degradatie van garanties toestaan wanneer aannames licht worden geschonden, waardoor gecontroleerde werking mogelijk is tijdens distributieve verschuivingen.
3. Uitbreiding naar Multi-Agent Settings: Het huidige kader behandelt enkelvoudige agenten. Multi-agent systemen introduceren nieuwe faalmodi (bijvoorbeeld cross-agent geloofmanipulatie) die een vierde informatiedomein vereisen (provenance van inter-agent berichten) en een herziene certificeringsstructuur.

Concluderend stelt het artikel dat veilige implementatie van LLM-agenten niet louter een engineering-uitdaging is van het bouwen van sterkere veiligheidsbarrières, maar een structurele vereiste voor een gefaseerde, contract-gebaseerde architectuur die de causale ordening van informatie respecteert. Het voorgestelde kader biedt de nodige theoretische fundamenten voor modulaire, compositional veiligheidscertificering in dynamische, onzekere omgevingen.