💻 computer science

Runtime Verification: Monitoring, Knowledge, and Uncertainty (Lecture Notes)

Deze collegeaantekeningen presenteren de automata-theoretische, tijdslogische en epistemische grondslagen van runtime-verificatie, waarbij specificatieformalismen, diagnose, opaciteit en monitorbaarheid aan bod komen om uit te leggen hoe offline-analyse monitoren construeert voor deels waarneembare systemen, terwijl ook de uitdagingen van getimede extensies in real-time omgevingen worden aangepakt.

Oorspronkelijke auteurs: Benedikt Bollig

Gepubliceerd 2026-04-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benedikt Bollig

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te vinden of een mysterieuze machine correct werkt. Je kunt niet naar binnen kijken (het is een "black box") en je kunt hem niet stoppen om uit elkaar te halen. Je kunt alleen kijken wat eruit komt: een stroom lichtsignalen, geluiden of datapunten.

Dit is de wereld van Runtime Verification. In plaats van te proberen elke mogelijke actie die de machine zou kunnen uitvoeren, te voorspellen voordat hij start (wat vergelijkbaar is met het proberen van elke mogelijke route in een doolhof te mappen voordat je het binnenkomt), observeert runtime verification de machine tijdens het draaien en geeft een alarm als er iets mis wordt gezien.

Deze lezingenserie van Benedikt Bollig onderzoekt hoe dit gedaan kan worden wanneer je te maken hebt met onzekerheid. Misschien verbergt de machine sommige van zijn acties, of misschien weet je niet precies hoe hij werkt. De notities gebruiken een speciale vorm van logica (genaamd "epistemic logic" of kennislogica) om exact bij te houden wat de waarnemer weet en wat hij niet weet op elk willekeurig moment.

Hier is een uiteenzetting van de belangrijkste ideeën met behulp van alledaagse analogieën:

1. De Drie Niveaus van het Kennen van de Machine

Het artikel beschrijft drie manieren waarop we met een systeem kunnen interageren:

White Box: Je hebt de blauwdrukken. Je weet precies hoe elke tandwiel draait. Dit is alsof je de handleiding hebt en de motor openstaat. Je kunt controleren of de machine zal werken voordat je hem zelfs maar aanzet (Model Checking).
Gray Box: Je hebt een schetsmatige handleiding. Er staat "misschien gebeurt dit, misschien gebeurt dat". Er zijn gaten. Je kunt niet 100% zeker zijn wat er zal gebeuren, dus je moet het zien draaien om zeker te zijn.
Black Box: Je hebt helemaal geen handleiding. Je ziet alleen de output. Je moet raden wat er binnenin gebeurt op basis van wat je ziet.

2. De Drie Hoofdspellen: Diagnose, Opaciteit en Monitoring

Het artikel behandelt drie verschillende problemen als variaties van hetzelfde spel: "Wat kan ik afleiden uit wat ik zie?"

Diagnose: De Detective

Het Doel: Je wilt weten of een specifiek slecht ding (een "fout") is gebeurd.
De Analogie: Stel je een beveiliger voor die een bankkluis bewaakt. De kluis heeft een stil alarm (de fout) dat niemand hoort. De beveiliger ziet alleen mensen in- en uitlopen.
- Als een persoon binnenkomt, weet de beveiliger niet of ze iets hebben gestolen.
- Maar als de beveiliger ziet dat een persoon met een zak goud wegloopt, weet hij zeker dat de diefstal heeft plaatsgevonden.
- Diagnose is het vermogen om te zeggen: "Ik ben 100% zeker dat de diefstal heeft plaatsgevonden", zelfs als je de diefstal zelf niet hebt gezien, alleen de nasleep. Het artikel vraagt: Kan de beveiliger dit uiteindelijk altijd uitzoeken?

Opaciteit: De Spion

Het Doel: Je wilt een geheim verbergen. Je wilt ervoor zorgen dat de waarnemer nooit weet of het geheim heeft plaatsgevonden.
De Analogie: Stel je een spion voor die probeert een geheim bericht in een kamer te smokkelen. De waarnemer houdt de deur in de gaten.
- Als de spion binnenkomt, ziet de waarnemer "Iemand is binnengekomen".
- Als een normaal persoon binnenkomt, ziet de waarnemer ook "Iemand is binnengekomen".
- Opaciteit is de kunst om de binnenkomst van de spion exact te laten lijken op de binnenkomst van een normaal persoon. Als de waarnemer het verschil nooit kan vertellen, is het geheim "opake" (verborgen). Het artikel vraagt: Is het mogelijk om een systeem te ontwerpen waarbij het geheim van de spion altijd verborgen blijft?

Monitoring: De Verkeersagent

Het Doel: Een oordeel vellen over het gedrag van het systeem terwijl het gebeurt.
De Analogie: Een verkeersagent die een auto observeert.
- Oordeel "Waar": De auto rijdt perfect. De agent weet dat hij nooit zal crashen.
- Oordeel "Onwaar": De auto is zojuist door rood gereden. De agent weet dat hij de regels heeft overtreden.
- Oordeel "?": De auto rijdt momenteel normaal, maar hij zou over 5 seconden door rood kunnen rijden. De agent weet het nog niet.
- Het artikel onderzoekt wanneer een agent kan stoppen met het zeggen van "?" en kan beginnen met het zeggen van "Waar" of "Onwaar". Soms kun je, hoe lang je ook kijkt, nooit zeker zijn (het oordeel blijft "?").

3. Het "Kennis"-Probleem

De kern van het artikel is dat onzekerheid de belangrijkste vijand is.

Als je een lichtflits ziet, weet je dan of het "Fout" betekent of gewoon "Systeemcontrole"?
Het artikel gebruikt Epistemic Logic (de logica van kennis) om dit in kaart te brengen. Het behandelt het hoofd van de waarnemer als een kaart.
- Als de kaart slechts één mogelijke route toont, weet de waarnemer de waarheid.
- Als de kaart twee routes toont (één met een fout, één zonder), is de waarnemer onzeker.

4. De Twist: Tijd Verandert Alles

Het laatste hoofdstuk voegt Tijd toe aan de mix. Stel je voor dat de machine niet alleen dingen doet, maar ze doet op specifieke snelheden.

Zonder Tijd: Als je lang genoeg wacht, kun je misschien de waarheid achterhalen.
Met Tijd: De dingen worden rommelig.
- Diagnose: Je moet misschien weten dat een fout binnen 5 seconden is gebeurd. Als het systeem traag is, kun je het venster missen om zeker te zijn.
- Opaciteit: Het verbergen van een geheim wordt moeilijker als de timing van gebeurtenissen het verraadt.
- Het Grote Slechte Nieuws: Het artikel onthult een angstaanjagende limiet. In de wereld van de tijd, als je probeert het "kijken naar de klok" te combineren met "uitzoeken wat de waarnemer weet", breekt de wiskunde. Het wordt onbeslisbaar. Dit betekent dat er geen algoritme bestaat dat je altijd kan vertellen of een getimed systeem veilig of opake is. Het is als proberen een puzzel op te lossen waarbij de stukken van vorm veranderen terwijl je ernaar kijkt.

Samenvatting

Dit artikel is een gids voor het bouwen van "slimme waarnemers" voor complexe systemen.

Het leert ons hoe we Diagnostische Systemen (detectives) en Monitoren (verkeersagenten) kunnen bouwen die werken, zelfs als ze niet alles kunnen zien.
Het toont aan dat Diagnose (fouten vinden) en Opaciteit (geheimen verbergen) twee kanten van dezelfde medaille zijn.
Het bewijst dat terwijl we deze puzzels voor eenvoudige systemen kunnen oplossen, het toevoegen van Tijd sommige ervan onmogelijk maakt om perfect op te lossen.

De ultieme les is dat we in een wereld met gedeeltelijke informatie niet altijd direct de waarheid kunnen weten. We moeten slim zijn over wat we kunnen weten, wanneer we het kunnen weten, en wanneer we moeten accepteren dat we het nooit zullen weten.

Technische Samenvatting: Runtime-Verificatie, Monitoring, Kennis en Onzekerheid

1. Probleemstelling

Runtime-Verificatie (RV) is een lichtgewicht verificatietechniek die is ontworpen om systeemuitvoeringen te analyseren terwijl ze plaatsvinden, in plaats van een compleet systeemmodel offline te exploreren (zoals bij Model Checking). De kernuitdaging die in deze college-notities wordt aangepakt, is onzekerheid die voortvloeit uit:

Gedeeltelijke Waarneembaarheid: Observatoren (agenten) kunnen vaak niet alle systeemacties of interne toestanden zien (black-box of gray-box systemen).
Oneindige Uitvoeringen: Systemen zijn reactief en produceren oneindige traces, maar tijdens runtime zijn alleen eindige prefixen beschikbaar.
Epistemische Grenzen: Een observator weet mogelijk niet of een eigenschap geldt, heeft gegolden of zal gelden, uitsluitend op basis van de waargenomen geschiedenis.

Het artikel beoogt een verenigend kader te bieden voor drie verschillende maar gerelateerde verificatieproblemen—Diagnose (fouten detecteren), Opgenomenheid/Opaciteit (geheimen verbergen) en Monitoring (eigenschappen verifiëren)—met behulp van Epistemische Temporele Logica. Verder wordt onderzocht hoe deze concepten worden uitgebreid naar Real-Time (Getijde) systemen, waarbij de invoering van tijd en kennisoperatoren aanzienlijke algoritmische uitdagingen creëert.

2. Methodologie

De auteur hanteert een formele, op automata-theorie gebaseerde aanpak die is geworteld in Epistemische Lineaire-Tijds Temporele Logica (LTL $\sim$ ).

2.1 Formeel Kader

Systeemmodel: Systemen worden gemodelleerd als Büchi-automata (voor oneindige woorden) of Getijde Büchi-automata (voor real-time).
Observatie: Agenten observeren een projectie van de globale uitvoeringstrace op basis van een subset van waarneembare proposities ( $AP_a \subseteq AP$ ). Onderscheidbaarheid ( $\sim_a$ ) wordt gedefinieerd via perfecte herinnering van observatiesequenties.
Logica: De logica breidt standaard LTL uit met:
- Epistemische Operatoren: $K_a \phi$ ("Agent $a$ weet $\phi$ ").
- Temporele Operatoren: Strikte toekomst ( $U^+$ ) en verleden ( $S^+$ ) operatoren, die redeneren over specifieke posities in de trace mogelijk maken.
- Kennissemantiek: $K_a \phi$ geldt op een punt als $\phi$ waar is in alle uitvoeringen die niet te onderscheiden zijn van de huidige observatie.

2.2 Kernmechanismen

Kennismonitoren: Het artikel construeert Deterministische Eindige Automata (DEA) (of Moore-machines) die de verzameling mogelijke systeemtoestanden (geloofstoestanden) volgen die consistent zijn met de observatiegeschiedenis. Deze monitoren geven uitspraken af op basis van of de eigenschap bekend is als waar, onwaar of onbepaald.
Transductoren: Om model-checkingproblemen op te lossen, construeert de auteur (Systeem, Formule)-transductoren. Deze automata draaien parallel met het systeem en geven de waarheidswaarde van de formule bij elke stap uit.
Twin-Plant Constructies: Voor diagnoseerbaarheid omvat de methode het parallel simuleren van twee systeemruns (één met fout, één zonder fout) om te controleren of ze na een bepaalde vertraging nog steeds observationeel niet te onderscheiden blijven.

3. Belangrijkste Bijdragen

3.1 Vereniging van Verificatieproblemen

Het artikel toont aan dat Diagnose, Opaciteit en Monitoring uniform kunnen worden uitgedrukt als epistemische temporele eigenschappen over hetzelfde systeemmodel:

Diagnose: $G(\text{fout} \to F K_a \text{Verleden}(\text{fout}))$ . De agent weet uiteindelijk dat een fout is opgetreden.
Opaciteit: $G \neg K_a \text{Verleden}(\text{geheim})$ . De agent weet nooit dat een geheim is opgetreden.
Monitoring: Een driewaardig uitsprakensysteem (Waar, Onwaar, ?) afgeleid van $K_a \hat{\phi}$ , $K_a \neg \hat{\phi}$ , of geen van beide.

3.2 Algoritmische Resultaten (Niet-getijde Setting)

Beslisbaarheid: Model checking voor LTL $\sim$ is beslisbaar. De constructie van kennismonitoren maakt effectieve verificatie van diagnoseerbaarheid en opaciteit mogelijk.
Complexiteit:
- Standaard LTL model checking is PSPACE-compleet.
- Het toevoegen van epistemische operatoren leidt tot een niet-elementaire complexiteitsopblazing vanwege de geïtereerde machtsverzamelingconstructie die nodig is voor geloofstoestanden onder perfecte herinnering.
- Diagnoseerbaarheid (controleren of een systeem diagnoseerbaar is) kan worden beslist in Polynomiale Tijd (P) voor begrenste vertragingen, ondanks dat de algemene logica moeilijker is.
- Opaciteit blijkt PSPACE-compleet te zijn.

3.3 Monitorbaarheid

Het artikel definieert Monitorbaarheid als de structurele eigenschap die garandeert dat voor elke observatieprefix een eindige voortzetting bestaat die leidt tot een definitieve uitspraak.

Veiligheid en Co-veiligheid: Deze klassieke klassen blijken monitorbaar te zijn.
Algemene LTL: Monitorbaarheid is beslisbaar maar PSPACE-hard. De klasse van monitorbare formules bevat strikt veiligheid/co-veiligheid, maar is een strikte deelverzameling van alle LTL.

3.4 Getijde Systemen (Real-Time)

Het laatste hoofdstuk breidt de theorie uit naar Getijde Automata en Getijde Temporele Logica (TLTL).

Beslisbaarheid van Getijde Model Checking: Beslisbaar voor TLTL (zonder kennis) met behulp van regio-abstractie.
Onbeslisbaarheid van Epistemische Getijde Logica: Het toevoegen van kennisoperatoren aan getijde logica ( $TLTL\sim$ ) maakt model checking onbeslisbaar. Dit wordt bewezen via reductie vanuit het universaliteitsprobleem voor getijde automata.
Getijde Opaciteit: Bijgevolg is getijde opaciteit onbeslisbaar.
Getijde Monitorbaarheid:
- Verleden Fragment: Getijde monitorbaarheid voor formules die alleen het verleden betreffen, is beslisbaar.
- Volledige TLTL: De monitorbaarheid van talen gedefinieerd door Getijde Automata is onbeslisbaar.

4. Samenvatting Belangrijkste Resultaten

Probleem	Setting	Complexiteit / Status	Kerninzicht
Model Checking	Niet-getijde (LTL $\sim$ )	Beslisbaar (Niet-elementair)	Kennisoperatoren veroorzaken een explosie van geloofstoestanden.
Diagnoseerbaarheid	Niet-getijde (Begrensd)	Polynomiale Tijd	Reduceert tot bereikbaarheid in een "twin-plant" product.
Opaciteit	Niet-getijde	PSPACE-compleet	Equivalent aan universaliteit van NFA's.
Monitorbaarheid	Niet-getijde	Beslisbaar (PSPACE-hard)	Structurele eigenschap; veiligheid/co-veiligheid zijn voldoende maar niet noodzakelijk.
Model Checking	Getijde (TLTL)	Beslisbaar	Gebruikt regio-abstractie; verledenoperatoren zijn eenvoudiger dan toekomstoperatoren.
Model Checking	Getijde (TLTL $\sim$ )	Onbeslisbaar	Kennis + Tijd = Onbeslisbaar (reductie vanuit Getijde Universaliteit).
Opaciteit	Getijde	Onbeslisbaar	Direct gevolg van de onbeslisbaarheid van epistemische getijde logica.
Monitorbaarheid	Getijde (Verleden)	Beslisbaar	Construeerbaar via deterministische getijde automata.
Monitorbaarheid	Getijde (Algemeen)	Onbeslisbaar	Zelfs voor talen gedefinieerd door getijde automata.

5. Betekenis en Impact

Theoretische Vereniging: Het artikel overbrugt succesvol de kloof tussen de theorie van discrete-event systemen (diagnose/opaciteit) en formele verificatie (model checking/monitoring) door epistemische logica te gebruiken als gemeenschappelijke semantische basis. Dit verduidelijkt de relatie tussen "fouten detecteren" en "geheimen verbergen" als duale problemen van kennis.
Verduidelijking van Complexiteit: Het trekt precies de grens tussen hanteerbare en onhanteerbare problemen. Hoewel diagnose in de praktijk vaak efficiënt is (polynomiale tijd), is het algemene epistemische model-checkingprobleem computationeel duur.
De "Kennis + Tijd" Barrière: Een kritieke bijdrage is de demonstratie dat terwijl getijde verificatie op zichzelf beslisbaar is, de combinatie van real-time beperkingen en epistemisch redeneren (kennis) leidt tot onbeslisbaarheid. Dit stelt een harde limiet aan wat automatisch kan worden geverifieerd in real-time systemen met gedeeltelijke waarneembaarheid.
Praktische Monitorconstructie: De constructieve bewijzen bieden algoritmen voor het bouwen van runtime-monitoren (Moore-machines) en diagnosers (DTA's). Dit zijn niet alleen theoretische existentiebewijzen, maar blauwdrukken voor implementatie, waarbij de overgang van offline analyse naar online uitvoering wordt gehanteerd.
Omgaan met Onzekerheid: Door "onzekerheid" te formaliseren via onderscheidbaarheidsrelaties, bieden de notities een rigoureuze methode om te redeneren over wat een observator kan en niet kan weten, wat essentieel is voor beveiliging (opaciteit) en betrouwbaarheid (diagnose) in complexe, gedeeltelijk waarneembare systemen.

Kortom, deze college-notities vestigen een uitgebreid theoretisch kader voor runtime-verificatie onder onzekerheid, waarbij zowel de kracht van epistemische logica om diverse verificatietaken te verenigen als de fundamentele algoritmische grenzen die worden opgelegd door de combinatie van tijd en kennis, worden benadrukt.