🤖 AI

Assuming You Knew: Fixing an Epistemic Semantics for Flow Policies Using Agentic AI

Dit artikel presenteert een door een machine gecontroleerde correctie van een framework uit 2018 voor de epistemische semantiek van informatiestroombeleid, gerealiseerd met behulp van een agentische AI-coderingsassistent, om een robuust en algemeen fundament te bieden voor het specificeren en afdwingen van expressieve beveiligingseisen.

Oorspronkelijke auteurs: David A. Naumann

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David A. Naumann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Bewaarders van Geheim en de Digitale Fluistering

Stel je een wereld voor waar elk computerprogramma een bruisende stad is, en informatie de munteenheid is die door de straten stroomt. In deze stad zijn sommige geheimen zo waardevol—zoals een hoofdsleutel of een wachtwoord—dat ze nooit een specifieke kluis mogen verlaten. Dit is het domein van informatiestroombeveiliging (information flow security), een tak van de informatica die zich ermee bezighoudt dat gevoelige gegevens niet per ongeluk (of kwaadwillig) in de verkeerde handen vallen. Maar het leven is niet altijd zwart-wit. Soms moet een geheim gedeeld worden, maar dan alleen onder zeer specifieke voorwaarden. Misschien wil een bank aan een klant vertellen dat diens rekening veilig is, maar pas nadat de klant een beveiligingsvraag correct heeft beantwoord. Deze lastige balans wordt downgrading genoemd: het nemen van een hoogwaardig geheim en het zorgvuldig verlagen van het beschermingsniveau, zodat het gezien kan worden, maar alleen wanneer de regels dat toestaan.

Om deze complexe regels te begrijpen, gebruiken wetenschappers een tak van de logica genaamd epistemische logica. Denk hierbij aan de "logica van kennis". In plaats van alleen te vragen "Wat is er gebeurd?", vraagt het: "Wat weet de waarnemer?". Als een hacker de stad observeert, wat kan hij dan afleiden over de geheimen in de kluis op basis van het verkeer dat hij ziet? De uitdaging is altijd geweest om een perfect regelboek te schrijven dat precies aangeeft wanneer een geheim gedeeld mag worden zonder een lek te creëren. Jarenlang probeerden onderzoekers een wiskundig kader hiervoor op te stellen, maar de blauwdrukken bleven barsten vertonen. Als de wiskunde niet klopt, is de beveiliging een illusie.

Het Blauwdruk Repareren met een Robotassistent

Dit artikel vertelt het verhaal van hoe een onderzoeker, David Naumann, samenwerkte met een kunstmatige intelligentie-code-assistent om een defecte blauwdruk voor deze beveiligingsregels te repareren. De oorspronkelijke blauwdruk, gepubliceerd in 2018, was een slimme poging om precies te definiëren wanneer een programma een geheim mag "declassificeren". Het maakte gebruik van een concept genaamd relationele annotaties, die lijken op briefjes die op de code zijn geplakt met de tekst: "Het is oké om dit geheim te tonen indien de worp van de munt op kop landde." Het idee was dat als twee verschillende runs van het programma het eens waren over de muntworp, ze het ook eens konden zijn over het tonen van het geheim.

Echter, toen het oorspronkelijke artikel werd gepresenteerd, realiseerde de auteur zich dat er een aanzienlijk gebrek in zijn bewijs zat. Het was alsof men een brug bouwde die er stevig uitzag, maar instortte onder een specifiek type wind. De auteur had een correctie geschetst, maar de details waren slordig en niet geverifieerd. Dit artikel neemt die schets en verandert het in een solide, onwrikbare structuur.

De belangrijkste bevinding hier is een machine-gecontroleerd bewijs. De auteur heeft de wiskunde niet alleen op papier geschreven; hij heeft het ingevoerd in een computerprogramma genaamd Rocq (een bewijsassistent) dat fungeert als een hyper-attente wiskundeleraar. Deze robotleraar controleerde elke stap van de logica om ervoor te zorgen dat er geen verborgen gaten waren. Het resultaat is een gecorrigeerd kader dat bewijst: als een programma een specifieke set "veiligheidsregels" volgt (die gemakkelijk te controleren zijn terwijl het programma draait), dan is het wiskundig gegarandeerd veilig volgens de complexe "kennisregels".

Het artikel sluit expliciet de mogelijkheid uit dat het oorspronkelijke bewijs uit 2018 in de gegeven vorm correct was. Het laat zien dat de vorige definitie van "release policy" (het regelboek voor wanneer geheimen gedeeld mogen worden) gebrekkig was omdat het geen rekening hield met alle manieren waarop een programma vast kon lopen of kon divergeren. De auteur betoogt dat je niet simpelweg op de menselijke intuïtie kunt vertrouwen bij deze complexe scenario's met meerdere runs; je hebt de machine nodig om elke mogelijkheid te verifiëren.

De Detective en het Alibi

Om te begrijpen hoe dit werkt, stel je een detective (het beveiligingssysteem) voor die probeert te achterhalen of een verdachte (het programma) geheimen lekt. De detective heeft twee instrumenten: Veiligheid (Safety) en Beveiliging (Security).

Beveiliging is het ultieme doel: "De verdachte heeft niemand iets verteld wat hij niet mocht weten." Dit is moeilijk te bewijzen omdat je je elke mogelijke situatie moet voorstellen waarin de verdachte zich had kunnen bevinden.
Veiligheid is een simpelere, lokale controle: "Heeft de verdachte de regels stap voor stap gevolgd terwijl hij bezig was?"

De grote doorbraak van het artikel is het bewijs dat Veiligheid Beveiliging impliceert. Als het programma de "Veiligheidsregels" volgt (die lijken op een checklist van "alibi's" voor elke stap), dan geldt de complexe "Beveiligingsgarantie" automatisch. Het is alsoals bewijzen dat als een bestuurder nooit voor een rood licht staat of te hard rijdt (Veiligheid), hij nooit een specif kind type ongeluk zal veroorzaken (Beveiliging).

De auteur gebruikte een agentic AI-codeassistent (specifiek een tool genaamd Claude Code) om te helpen bij het schrijven van de code voor het Rocq-bewijs. Dit was niet slechts een spellingscontrole; de AI hielp bij het vertalen van de slordige wiskundige schetsen naar rigoureuze code en vond zelfs enkele van de eigen fouten van de auteur. Bijvoorbeeld, de AI wees erop dat een definitie voor "divergentie" (wanneer een programma vastloopt in een oneindige lus) te strikt was en versoepeld moest worden om het bewijs te laten werken. De AI probeerde ook "aannames sterker te maken dan nodig", maar de menselijke auteur merkte dit op en corrigeerde de koers.

Het Resultaat: Een Geverifieerd Regelboek

Het artikel concludeert dat het gecorrigeerde kader solide is. Het machine-gecontroleerde bewijs bevestigt dat het oorspronkelijke idee op de goede weg was, maar dat de details een grote revisie nodig hadden. Het nieuwe kader maakt een "release policy" mogelijk die duidelijk gedefinieerd is en losstaat van de beveiligingscontrole zelf. Dit betekent dat ontwikkelaars hun code kunnen schrijven met "assume"-statements (zoals "ga ervan uit dat de gebruiker is ingelogd") en een wiskundige garantie hebben dat deze aannames de onthulling van geheimen correct controleren.

De auteur is zeer zeker van dit resultaat omdat het machine-gecontroleerd is. Dit is geen simulatie of suggestie; het is een formeel bewijs dat de logica standhoudt onder de kritische blik van een computer. Hij geeft echter toe dat de code momenteel nog wat rommelig is en menselijke opschoning nodig heeft om echt leesbaar te zijn, vergelijkbaar met een briljante maar krabbelige schets op een servet die moet worden overgeschreven in een schoon boek.

Uiteindelijk is dit artikel een overwinning voor precisie. Het laat zien dat zelfs in de abstracte wereld van computerbeveiliging, waar logica ongelooflijk ingewikkeld kan worden, we zowel menselijk inzicht als AI-assistentie kunnen gebruiken om een fundament te bouwen dat wiskundig onbreekbaar is. Het verandert een wankele schets in een geverifieerd fort, waardoor we verzekerd zijn dat wanneer we besluiten een geheim te delen, we dat doen precies wanneer we dat bedoelen, en niet een moment eerder.

Technische Samenvatting: Uitgaande van de kennis: Het herstellen van een epistemische semantiek voor flow-policies met behulp van Agentic AI

1. Probleemstelling

Hoge-niveau beveiligingseisen met betrekking tot informatieflow, in het bijzonder die waarbij selectieve degradatie (declassificatie) betrokken is, zijn berucht moeilijk nauwkeurig te formaliseren. Hoewel epistemische logica een veelbelovend kader heeft opgeleverd voor het definiëren van vertrouwelijkheid (wat een waarnemer op een specifiek privilegieniveau mag weten), is een robuust, algemeen kader voor expressieve flow-policies tot nu toe onbereikbaar gebleven.

Een eerder werk, aangeduid als CN (Naumann et al., CSF 2018), probeerde een verenigend kader te bieden voor reactieve programmamodellen. In CN werden policies uitgedrukt via assume-statements binnen de code, terwijl de daaruit afgeleide release-policy uitsluitend werd uitgedrukt in termen van inputstromen. Bovendien bevatte de formalisering in CN een significante fout in het bewijs, die tijdens de conferentiepresentatie werd aangekondigd. De oorspronkelijke definitie van de release-policy en het daaropvolgende bewijs dat veiligheid (safety) impliceert dat een programma beveiligd is (security), waren gebrekkig en incorrect. Bovendien vertrouwen bestaande, door machines gecontroleerde adaptaties (bijv. Murray et al. voor concurrente C-programma's) vaak op sterke eigenschappen zoals constante-tijd uitvoering, wat de complexiteiten van het afstemmen van meerdere executies vereist voor epistemisch redeneren trivialiseert.

De kernuitdaging is het bieden van een gecorrigeerde, door machines gecontroleerde formalisering die:

De epistemische semantiek herziet om staat-afhankelijke degradatie correct af te handelen.
Expliciet de semantiek definieert van een release-policy afgeleid van code-annotaties.
Bewijst dat een programmatische eigenschap genaamd veiligheid (safety) de epistemische beveiliging (security) impliceert.

2. Methodologie

De auteur hanteert een formele verificatiebenadering met behulp van de Rocq proof assistant (voorheen Coq). De methodologie omvat:

Programmamodel: Een kleine imperatieve reactieve taal met input-handlers voor specifieke beveiligingsniveaus. Programma's consumeren inputstromen en produceren outputs.
Annotaties: Het framework maakt gebruik van relationele asserties (assert) en aannames (assume) om informatieflow-vereisten te specificeren. Deze annotaties maken voorwaardelijke flows mogelijk die afwijken van het basis non-interference beleid.
Epistemische Semantiek: Beveiliging wordt gedefinieerd in termen van de kennis van een waarnemer. Een waarnemer op niveau $\ell$ kent een verzameling mogelijke input-historieën die consistent zijn met hun zichtbare observaties (inputs en outputs op niveaus $\ell' \sqsubseteq \ell$ ).
Release Policy ( $RP_\ell$ ): Gedefinieerd als de verzameling inputlijsten die een waarnemer mag leren, afgeleid van de assume-statements in de code. Deze policy wordt geïnterpreteerd via alignments (afstemmingen) tussen een "major" pre-run (werkelijke executie) en "minor" pre-runs (mogelijke executies met verschillende inputs).
Veiligheidsconditie (Safety Condition): Een programmatische eigenschap gedefinieerd door de afwezigheid van "fouten" (assertion failures, alignment failures) of de aanwezigheid van specifieke "fiats" (assumption fiats, divergence fiats) bij het vergelijken van een major run tegen alle mogelijke minor runs.
Agentic AI Assistance: De formalisering is ontwikkeld met hulp van Claude Code, een agentic AI coding assistant. De AI werd gestuurd om LaTeX-definities te vertalen naar Rocq-specificaties en om te assisteren bij het construeren van bewijzen, hoewel er aanzienlijke menselijke curatie nodig was om logische fouten te corr corrected, definities te verfijnen en de bewijsstrategie te beheren.

3. Belangrijkste Bijdragen

A. Gecorrigeerde Epistemische Semantiek

Het artikel presenteert een herziene formalisering van de epistemische semantiek voor flow-policies. Belangrijke technische revisies omvatten:

Definitie van de Release Policy: De definitie van de release policy $RP_\ell(gs)$ is gecorrigeerd om een predicaat te zijn op pre-runs (eindige executie-prefixes) in plaats van enkel geobserveerde event-traces. Het wordt gedefinieerd via semi-conformance: een relatie tussen een major pre-run en minor pre-runs die hen afstemt op specifieke annotatiepunten.
Progress-Insensitive Security: Het framework hanteert een progress-insensitieve beveiligingsdefinitie. Het maakt gebruik van een begrip van progress knowledge ( $k_\ell^\to$ ) om divergentie af te handelen, waardoor de beveiligingsgaranties standhouden zelfs als het programma divergeert, mits de divergentie zelf geen informatie lekt over verborgen inputs.
Goed Gespecificeerde Programma's: De auteur introduceert "boilerplate annotaties" (aannames aan het begin van handlers en asserties voor outputs) om de formalisering te stroomlijnen en ervoor te zorgen dat baseline policies worden gecodeerd zonder het observeerbare gedrag te wijzigen.

B. Veiligheid Impliceert Beveiliging

Het centrale theoretische resultaat is Stelling 2: Voor alle niveaus $\ell$ , is elke pre-run die veilig is voor $\ell$ , ook beveiligd voor $\ell$ .

Veiligheid wordt gedefinieerd als de afwezigheid van assertion/alignment failures en de aanwezigheid van geldige fiats (assumption of divergence) voor elke alternatieve inputlijst.
Het bewijs toont aan dat als een programma veilig is, de verzameling inputs die een waarnemer leert ( $k_\ell$ ), een deelverzameling is van de inputs die toegestaan zijn door de release policy ( $RP_\ell$ ), geïntersecteerd met de progress knowledge.
Dit resultaat valideert de aanpak van het afdwingen van beveiliging via relationele verificatie van programmatische annotaties in plaats van complexe runtime monitoring van alle mogelijke executies.

C. Machine-Gecontroleerde Verificatie

De gehele ontwikkeling, inclusief de gecorrigeerde definities en de hoofdstelling, is machine-gecontroleerd in Rocq. Dit bevestigt dat de correcties aan het CN-artikel fundamenteel solide zijn, terwijl het ook subtiele details in de bewijzen blootlegde die in de oorspronkelijke door mensen geschreven schetsen over het hoofd werden gezien.

D. Ervaring met Agentic AI

Het artikel documenteert het gebruik van een agentic AI (Claude Code) in het formaliseringsproces. De auteur merkt op dat, hoewel de AI in staat was om niet-triviale infrastructuur en routinematige bewijzen te genereren, er menselijk toezicht nodig was om:

Foutieve formalisaties van lemma's te corrigeren (bijv. Lemma 3).
Logische hiaten in de definitie van "divergence fiat" te identificeren en te herstellen.
De definities van kennis ( $k_\ell$ ) te verfijnen om prefixes te gebruiken in plaats van gelijkheid, een wijziging die noodzakelijk werd door door de AI gevonden tegenvoorbeelden.
Te voorkomen dat de AI aannames te sterk maakte of onnodige beslisbaarheidshypothesen introduceerde.

4. Resultaten

Formele Correctheid: Het machine-gecontroleerde bewijs bevestigt dat de herziene veiligheidsconditie correct de epistemische beveiligingseigenschap impliceert voor het reactieve programmamodel.
Resolutie van CN-Fouten: De specifieke fouten in het 2018 CN-bewijs met betrekking tot de alignment van runs en de definitie van de release-policy zijn opgelost.
Haalbaarheid van AI-ondersteunde Formalisering: De studie toont aan dat agentic AI effectief kan assisteren bij het vertalen van complexe wiskundige specificaties naar machine-gecontroleerde bewijzen, mits de menselijke expert de tool actief stuurt, logische misstappen corrigeert en de algehele bewijsarchitectuur beheert.

5. Betekenis en Claims

Het artikel claimt bescheiden maar significante bijdragen:

Verenigend Kader: Het biedt een gecorrigeerd, algemeen kader voor het uitdrukken en verifiëren van expressieve flow-policies met behulp van epistemische logica en relationele annotaties.
Praktische Verificatie: Door aan te tonen dat veiligheid (een eigenschap die geschikt is voor runtime monitoring en inductief bewijs) beveiliging impliceert, overbrugt dit werk de kloof tussen hoge-niveau policy-specificaties en afdwingbare programmatische eigenschappen.
Betrouwbaarheid van Machine Checking: Het werk onderstreept de noodzaak van machine checking voor verificatie, zelfs voor theoretische ontwikkelingen in geïdealiseerde omgevingen, aangezien het subtiele fouten blootlegt die menselijke review zou kunnen missen.
AI in Formele Methoden: Het biedt een concrete casestudy van het gebruik van agentic AI voor substantiële formele ontwikkelingen, waarbij zowel de potentie voor efficiëntiewinst als de kritieke behoefte aan menselijke expertise om logische strengheid te waarborgen, wordt benadrukt.

De auteur stelt expliciet dat de ontwikkeling van compositionele bewijsregels voor de veiligheidsconditie een openstaand probleem blijft en dat het huidige werk zich richt op de fundamentele semantiek en de hoofdimplicatie-stelling. Het artikel is gewijd aan David Basin, ter erkenning van zijn pioniersrol in machine-gecontroleerde formalisering.