🤖 AI

ProbGuard: Probabilistic Runtime Monitoring for LLM Agent Safety

Het paper introduceert ProbGuard, een proactief runtime-monitoringsframework voor LLM-agenten dat veiligheidsrisico's voorspelt door het leren van Discrete-Time Markov-ketens uit uitvoeringssporen, waardoor het in staat is om onveilig gedrag in kritieke domeinen zoals autonoom rijden en huishoudelijke robots aanzienlijk te verminderen voordat het optreedt.

Oorspronkelijke auteurs: Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

Gepubliceerd 2026-03-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🛡️ ProbGuard: De "Voorspellende Co-piloot" voor AI

Stel je voor dat je een zeer slimme, maar soms wat onvoorspelbare robot hebt die voor je werkt. Deze robot (een LLM-agent) kan koken, een auto besturen of je agenda beheren. Hij is slim, maar hij maakt ook fouten. Soms denkt hij dat het veilig is om een mes in de magnetron te doen, of hij rijdt te snel naar een druk kruispunt omdat hij de verkeerslichten niet goed heeft gelezen.

De huidige manier om deze robots veilig te houden, is als een brandweer: ze komen pas in actie als het vuur al begint te vlammen. Als de robot al tegen een boom rijdt, zeggen ze: "Oeps, dat was niet veilig!" Maar dat is te laat.

ProbGuard is iets heel anders. Het is een voorspellende co-piloot die kijkt naar de weg voor de robot. Het zegt niet: "Je bent nu onveilig," maar wel: "Hé, als je zo doorrijdt, is de kans 90% dat je over 10 seconden een ongeluk krijgt. Laten we nu alvast de snelheid verlagen."

Hoe werkt dit magische systeem?

Het paper beschrijft een slimme drie-stappenplan om dit te doen:

1. De "Vereenvoudigde Kaart" (Symbolische Abstractie)

Een robot ziet de wereld als een enorme berg data: snelheid, temperatuur, positie van objecten, etc. Dat is te veel om direct mee te rekenen.

De Metafoor: Stel je voor dat je een gedetailleerde Google Maps-kaart hebt met elke boom en elke steen. ProbGuard maakt daar een simpel verkeersbordensysteem van. In plaats van "snelheid 54 km/u", zegt het systeem alleen: "Veilig" of "Gevaar".
Het vertaalt de complexe wereld van de robot naar een paar simpele ja/nee-vragen (bijv.: "Is de deur van de magnetron dicht?" en "Is de magnetron aan?").

2. De "Leerling-Detective" (Het Leren van een Model)

Voordat de robot echt aan het werk gaat, laat het systeem hem een tijdje oefenen.

De Metafoor: Het systeem fungeert als een detective die duizenden oefensessies van de robot bekijkt. Het noteert: "Als de robot in situatie A zit, gaat hij 30% van de tijd naar situatie B, en 70% naar situatie C."
Het bouwt hiermee een kansrekening-model (een DTMC). Dit is als een kaart van alle mogelijke toekomstige paden, waarbij elke weg een kans heeft. Het leert: "Oh, als de robot een mes pakt terwijl de magnetron aan staat, is de kans dat hij het erin doet heel groot."

3. De "Voorspeller" (Runtime Monitoring)

Nu de robot echt aan het werk is, kijkt ProbGuard continu naar de kaart.

De Metafoor: Stel je voor dat je een wandelaar bent die een pad volgt. ProbGuard is een vriend die naast je loopt en zegt: "Kijk, je loopt naar een afgrond. De kans dat je erin valt is nu 80%. Als je niet omdraait, is het binnen 30 seconden te laat."
Als de kans op een ongeluk te hoog wordt (bijvoorbeeld boven de 70%), grijpt ProbGuard in. Het zegt tegen de robot: "Stop! Bedenk het nog eens!" of "Draai om!" voordat het ongeluk gebeurt.

Wat hebben ze ontdekt? (De Resultaten)

Het team heeft dit getest in twee gevaarlijke werelden:

Zelfrijdende Auto's:
- Het probleem: Een auto moet niet botsen.
- Het resultaat: ProbGuard kon waarschuwingen geven tot wel 38 seconden van tevoren! Dat is als een co-piloot die zegt: "Weet je dat die vrachtwagen voor ons remt? We moeten nu al remmen, anders raken we hem over 38 seconden."
- De huidige systemen (zoals AgentSpec) wachten tot de botsing bijna gebeurt, wat te laat is.
Huisrobots (Embodied Agents):
- Het probleem: Een robot die in een keuken helpt, mag geen metaal in de magnetron doen.
- Het resultaat: ProbGuard kon het aantal gevaarlijke acties met 65% verminderen.
- Belangrijk: De robot bleef nog steeds zijn werk doen (80% van de taken werden succesvol afgerond). Het systeem is dus niet zo streng dat de robot helemaal stopt; het is slim genoeg om te weten wanneer het echt gevaarlijk is.

Waarom is dit zo speciaal?

Proactief vs. Reactief: De meeste systemen zijn als een alarm dat afgaat als er ingebroken wordt. ProbGuard is als een bewegingsmelder die zegt: "Iemand loopt naar de deur, ik ga het licht aandoen voordat ze binnenkomen."
Kansrekening: Het vertrouwt niet op vaste regels ("Doe nooit dit"), maar op kansen ("Als je dit doet, is de kans op ongeluk 90%"). Dit is veel flexibeler in een chaotische wereld.
Open Source: De makers hebben de code openbaar gemaakt, zodat andere ontwikkelaars dit ook kunnen gebruiken om hun AI's veiliger te maken.

Samenvattend

ProbGuard is als een verstandige, waakzame assistent die de toekomst van een AI-robot probeert te zien. Het gebruikt wiskunde en kansrekening om te voorspellen waar het mis kan gaan, en grijpt in op het allerlaatste moment voor het ongeluk gebeurt, zodat de robot veilig en slim blijft werken.

Probleemstelling

Grootte Taalmodellen (LLM's) worden steeds vaker gebruikt als basis voor autonome agenten in kritieke domeinen zoals robotica, virtuele assistenten en webautomatisering. Hoewel deze agenten flexibel zijn, introduceren hun stochastische (willekeurige) besluitvormingsprocessen veiligheidsrisico's die moeilijk te voorspellen zijn tijdens de uitvoering.

Bestaande runtime-monitoringsframeworks (zoals AgentSpec) zijn overwegend reactief. Ze detecteren veiligheidsviolaties pas wanneer een onveilige handeling imminent is of al heeft plaatsgevonden. Dit gebrek aan "temporeel vooruitzicht" maakt het moeilijk om langdurige afhankelijkheden (long-horizon dependencies) te beheren. Bijvoorbeeld: in autonoom rijden kan een reactieve monitor pas ingrijpen wanneer een botsing bijna onvermijdelijk is, terwijl proactief ingrijpen (bijv. het vertragen van het voertuig veel eerder) de situatie had kunnen voorkomen. Er is behoefte aan een systeem dat risico's voorspelt voordat de onveilige toestand wordt bereikt.

Methodologie: ProbGuard

ProbGuard is een proactief runtime-monitoringsframework dat veiligheidsviolaties anticipeert via probabilistische risicovoorspelling. Het framework werkt in drie hoofdfasen:

Formele Specificatie en Abstractie:
- Veiligheidseigenschappen worden gespecificeerd in Computation Tree Logic (CTL).
- Om complexe agent-toestanden hanteerbaar te maken, wordt een domeinspecifieke predikaatabstractie toegepast. Dit vertaalt concrete systemtoestanden (bijv. snelheid, positie, objectstatus) naar een eindige set van symbolische toestanden gebaseerd op Booleaanse predikaten (bijv. microwave_is_on, fork_inside).
- Onlogische of semantisch ongeldige toestanden worden uitgesloten om de consistentie te waarborgen.
Probabilistische Modellering (DTMC):
- Het framework leert een Discrete-Time Markov Chain (DTMC) uit uitvoeringstraces (trajecten) van de agent.
- De overgangsmatrix van de DTMC wordt geschat op basis van empirische tellingen van de symbolische toestanden, met toepassing van Laplace-smoothing om sparsiteit in de data te compenseren.
- Om statistische betrouwbaarheid te garanderen, wordt een PAC-analyse (Probably Approximately Correct) gebruikt. Dit stelt een theoretische ondergrens vast voor het aantal benodigde traces om te garanderen dat het geleerde model binnen een bepaalde foutmarge ( $\epsilon$ ) en betrouwbaarheid ( $\delta$ ) overeenkomt met de werkelijke systeemdynamiek.
Runtime Monitoring en Interventie:
- Tijdens de uitvoering abstracteert de monitor de huidige toestand van de agent en berekent de voorwaardelijke waarschijnlijkheid dat de huidige trajecten leiden tot een onveilige toestand (gebaseerd op de geleerde DTMC en de CTL-eigenschappen).
- Als deze voorspelde kans een door de gebruiker gedefinieerde drempelwaarde ( $\theta$ ) overschrijdt, wordt een proactieve interventie getriggerd.
- Interventies kunnen variëren van het direct stoppen van de agent tot het injecteren van een "risico-alert" in de prompt van de LLM, waardoor de agent wordt aangemoedigd zijn redenering bij te sturen naar veiligere opties.

Belangrijkste Bijdragen

Proactieve Probabilistische Monitoring: ProbGuard verschuift de focus van reactieve detectie naar anticipatie door de waarschijnlijkheid van toekomstige onveilige toestanden te schatten.
Statistische Garanties: Door gebruik te maken van PAC-theorie biedt het framework wiskundige garanties over de nauwkeurigheid van het geleerde model onder standaard aannames.
Domeinonafhankelijkheid: Het framework is ontworpen met een uniforme abstractie-interface, waardoor het toepasbaar is op verschillende domeinen (van fysieke robotica tot software-agenten).
Praktische Implementatie: ProbGuard is geïmplementeerd als een open-source extensie voor het LangChain-framework en is geïntegreerd met het autonome rijplatform Apollo.

Resultaten en Evaluatie

Het framework is geëvalueerd in twee veiligheidskritieke domeinen:

Autonoom Rijden:
- ProbGuard werd getest op verkeersregels en botsingsrisico's.
- Het systeem kon verkeersovertredingen en botsingsrisico's gemiddeld 38,66 seconden van tevoren voorspellen (afhankelijk van de drempelwaarde).
- Het bood een 100% detectiegraad voor alle geteste scenario's, waarbij waarschuwingen altijd vóór de daadwerkelijke overtreding werden gegeven.
- De runtime-overhead bedroeg ongeveer 100 ms, wat acceptabel is voor real-time toepassing.
Embodied Agents (Huishoudelijke Robotica):
- Getest op taken zoals het veilig hanteren van voorwerpen (bijv. geen metaal in een aanstaande magnetron plaatsen).
- ProbGuard verminderde onveilig gedrag met maximaal 65,37% in vergelijking met ongecontroleerde agenten.
- Tegelijkertijd werd de taakvoltooiing behouden op 80,4%, wat aantoont dat veiligheid niet ten koste hoeft te gaan van functionaliteit.
- In vergelijking met AgentSpec (een state-of-the-art reactief framework) reduceerde ProbGuard het token-gebruik met 12,05% door onnodige LLM-query's te voorkomen via predictieve filtering.

Betekenis en Impact

ProbGuard vertegenwoordigt een paradigmaverschuiving in de beveiliging van LLM-agenten. In plaats van te vertrouwen op statische regels of reactieve blokkades, introduceert het een data-gedreven, probabilistische aanpak die in staat is om risico's te kwantificeren en te anticiperen.

De belangrijkste implicaties zijn:

Betrouwbaarheid: Het biedt een methodologische basis voor het garanderen van veiligheid in stochastische systemen waar deterministische verificatie vaak faalt.
Schalbaarheid: Door het gebruik van abstraktie en het leren van modellen, kan het framework zich aanpassen aan nieuwe omgevingen zonder handmatig elke mogelijke regel te moeten specificeren.
Balans: Het demonstreert dat het mogelijk is om een hoge mate van veiligheid te bereiken zonder de nuttigheid en voltooiing van complexe taken te offeren.

Samenvattend biedt ProbGuard een robuust, wiskundig onderbouwd kader voor het veiligstellen van de volgende generatie autonome AI-systemen in dynamische en onzekere omgevingen.