💻 computer science

Runtime Compliance Verification for AI Agents

Dit artikel introduceert C-Trace, een runtime-verificatieframework dat de naleving van de AVG afdwingt voor AI-agenten door regelgevende vereisten uit te drukken als formele predicaten, executietracen te monitoren om niet-conforme acties te blokkeren, en een hoge effectiviteit aan te tonen bij het mitigeren van door aanvallen geïnduceerde schendingen over meerdere casestudy's.

Oorspronkelijke auteurs: Nafiseh Kahani, Masoud Barati, Diana Addae

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nafiseh Kahani, Masoud Barati, Diana Addae

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een uiterst intelligente, praatgrage persoonlijke assistent inhuurt om je leven te beheren. Deze assistent kan telefoontjes plegen, e-mails sturen, je bankgegevens opzoeken en zelfs je gegevens verwijderen. Maar omdat deze assistent wordt aangedreven door een AI, kent hij niet altijd de regels van privacy. Hij kan per ongeluk je adres aan een vreemde vertellen, of je marketingmails sturen terwijl je nooit "ja" hebt gezegd.

Dit artikel introduceert een systeem genaamd C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement). Zie C-Trace niet als een nieuwe assistent, maar als een strenge, uiterst waakzame beveiligingsbeambte die direct naast de AI-assistent staat, die elk woord dat hij spreekt en elke actie die hij onderneemt in realtime in de gaten houdt.

Hier is hoe het systeem werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Vergetelijke" Assistent

De huidige manieren om deze AI-assistenten te testen, zijn als het geven van een tussentijdse toets voordat ze aan het werk gaan. Je vraagt: "Zul je de regels volgen?" en ze zeggen "Ja." Maar zodra ze daadwerkelijk aan het werk zijn en met echte mensen praten, kunnen ze die regels vergeten.

Het Probleem: Een AI kan in het ene gesprek wel voldoen aan de regels, maar in het volgende gesprek de regels breken, afhankelijk van wat de gebruiker vraagt.
De Kloof: Bestaande veiligheidstools zijn als uitsmijters die alleen je ID controleren bij de deur (statische controles). Ze weten niet of je al eerder tijdens de avond hebt beloofd eerder weg te gaan. Ze missen de context van het hele gesprek.

2. De Oplossing: De "Beveiligingsbeambte" (C-Trace)

C-Trace zit tussen de AI en de buitenwereld in. Het houdt het hele gesprek in de gaten (de "trace"). Het kijkt niet alleen naar één zin; het onthoudt het hele verhaal.

Het handhaaft vier belangrijke "Privacywetten" (gebaseerd op de AVG/GDPR) door te fungeren als een filter:

De "Toestemming"-controle (P1): Voordat de AI iets mag doen zoals een marketingmail versturen, controleert de bewaker: "Heeft de gebruiker hier eerder expliciet 'Ja' tegen gezegd?" Als de gebruiker alleen zei: "Ik vind het wel best," maar nooit een formeel "Ja" heeft aangeklikt, stopt de bewaker de actie.
De "Doel"-controle (P2): De AI is ingehuurd voor een specifieke taak, zoals het oplossen van een defecte bestelling. Als de gebruiker de AI vraagt om die bestelgegevens te gebruiken om een profiel op te bouwen voor een ander bedrijf, zegt de bewaker: "Nee, dat is een andere taak. Je bent hiervoor niet ingehuurd."
De "Minimale Gegevens"-controle (P3): Als de AI een bestelling moet controleren, heeft hij alleen het bestelnummer en de e-mail nodig. Als de AI probeert de geboortedatum of het identiteitsbewijs van de gebruiker op te vragen om alleen een bestelling te controleren, zegt de bewager: "Dat is te veel informatie. Je hebt alleen de basis nodig."
De "Verwijdering"-controle (P4): Als een gebruiker zegt: "Verwijder mijn gegevens," markeert de bewaker die gebruiker als "verwijderd". Als de AI later weer over die gebruiker probeert te praten, slaat de bewaker de deur dicht: "Deze persoon bestaat niet meer in ons systeem. Je kunt hen niet noemen."

3. Hoe ze het hebben getest: Het "Kat en Muis"-spel

Om te zien of deze beveiligingsbeambte echt werkt, speelden de onderzoekers een spel van "Kat en Muis".

De Aanvallers: Ze gebruikten een speciaal programma (DSPy) om honderden lastige, verwarrende of agressieve gesprekken te generen die ontworpen zijn om de AI te misleiden om de regels te breken. Ze gebruikten ook echte "jailbreak" prompts uit andere beveiligingstests.
De Test: Ze lieten de AI proberen deze lastige gesprekken af te handelen, zowel met als zonder de beveiligingsbewaker.
Het Resultaat: Zonder de bewaker brak de AI voortdurend de regels (soms wel 100% van de tijd). Met de C-Trace bewaker werd de AI bijna elke keer gestopt. Zelfs wanneer de bewaker moest "raden" welke gegevens in een zin zaten (omdat het moeilijk is om menselijke taal perfect te lezen), onderschepte het nog steeds het overgrote deel van de overtredingen.

4. De "Driehoofdige" Verificatie

Om er zeker van te zijn dat de bewaker niet zomaar dingen verzint, bouwden de onderzoekers hetzelfde regelboekje in drie verschillende talen (Python-code, een beleidstaal genaamd Rego, en een logische taal genaamd MFOTL).

De Analogie: Stel je voor dat drie verschillende rechters hetzelfde script lezen. Als ze het er allemaal over eens zijn wie schuldig is, weet je dat het vonnis solide is. In dit artikel kwamen alle drie de "rechters" bij elke testcase perfect overeen.

5. De Conclusie

Het artikel beweert dat C-Trace werkt.

Het voorkomt dat de AI in realtime de privacyregels breekt.
Het vertraagt de AI niet significant (het voegt slechts een fractie van een seconde toe aan het proces).
Het creëert een permanent "auditlog" (een schriftelijk verslag) van elke beslissing die de bewaker heeft genomen, zodat mensen dit later kunnen controleren.

Kortom: Als je een AI-assistent hebt die met gevoelige gegevens werkt, is C-Trace het systeem dat ervoor zorgt dat de assistent niet per ongeluk je geheimen verklapt, je gegevens aan de verkeerde mensen verkoopt of je verzoek om vergeten te worden negeert, door elke beweging in de gaten te houden en het proces te stoppen op het moment dat de assistent probeert de regels te overtreden.

Technische Samenvatting: Runtime Compliance Verificatie voor AI-agenten

Probleemstelling

AI-agenten verwerken steeds vaker persoonsgegevens via tool-gebruik, functieaanroepen en meerzaalige dialogen. In tegenstelling tot traditionele API's beslissen agenten dynamisch welke tools ze aanroepen, welke argumenten ze doorgeven en wat ze in natuurlijke taal onthullen. Deze runtime-beslissingen kunnen verplichtingen onder de Algemene Verordening Gegevensbescherming (AVG/GDPR) triggeren, zoals het verwerken van persoonsgegevens zonder toestemming of het onthullen van gegevens na een verzoek tot gegevenswissing.

Huidige testpraktijken adresseren deze dynamische risico's niet:

Offline Red-Teaming: Test modellen met gecureerde prompts, maar dwing geen regels af tijdens runtime en observeert de sessiestatus van uitgerolde agenten niet.
Guardrail-bibliotheken: Matchen patronen in individuele inputs/outputs, maar missen de sessiegeschiedenis, waardoor ze niet kunnen bijhouden of eerder in een dialoog toestemming is verleend of dat een doel is verklaard.

Gevolgelijk kan een agent-implementatie in de ene dialoog wel compliant zijn en in de andere niet-compliant, zonder dat er wijzigingen zijn aangebracht in de code of de modelgewichten. Dit creëert een behoefte aan runtime-verificatie over de event-trace van de agent, gekoppeld aan een in-process attack driver om de monitor te testen met vijandige inputs.

Methodologie: C-Trace Framework

De auteurs stellen C-Trace voor (Compliance Trace-based Runtime Agent Conformance Enforcement), een framework dat GDPR-compliance behandelt als een runtime-eigenschap van een eventstream in plaats van een eigenschap van een enkel bericht.

1. Event Model en Extractie

Het framework instrumenteert de agent-loop om natuurlijke taal-runs om te zetten in een getypeerde event-trace ( $\tau = e_1 \dots e_n$ ). Events omvatten UserMsg, AsstMsg, ToolCall, ToolRet, Consent en Erasure.

Annotatie: Een extractor annoteert elk event met datacategorieën ( $C(e)$ ) en doeleinden ( $\Pi(e)$ ).
Beleid: Een sessiebeleid definieert verklaarde doeleinden, tool-naar-doel bindingen en per-doel datalijsten (noodzakelijke datatypen).

2. Formele Predicaten

Vier GDPR-principes zijn gecodeerd als eerste-orde predicaten over de groeiende trace. Deze predicaten zijn monotoon: zodra een overtreding plaatsvindt, kan deze niet meer worden "hersteld" door opeenvolgende events.

P1 (Toestemming): Verwerking van gegevens vereist een voorafgaande Consent-event voor dat specifieke doel (tenzij een grondslag van gerechtvaardigd belang van toepassing is).
P2 (Doelbinding): Elk doel dat aan een event is gekoppeld, moet in het beleid zijn verklaard.
P3 (Dataminimalisatie): Datacategorieën in een tool-call moeten noodzakelijk zijn voor ten minste één van de verklaarde doelen van de call.
P4 (Recht op gegevenswissing): Na een Erasure-event voor een betrokkene mag geen enkel volgend event de identifier van die betrokkene onthullen.

3. Runtime Monitor en Attack Driver

Interceptor: Geplaatst tussen de agent-loop en de tool-API's; evalueert predicaten incrementeel. Beslissingen zijn forward (doorgaan), redact (verwijderen van niet-noodzakelijke data) of block (het event weigeren).
Attack Driver: Genereert adversariële dialogen gericht op elk predicaat met behulp van:
- DSPy-gegenereerde prompts: Varianten van seed-verzoeken met gebruik van rollenspel, urgentie en jailbreak-framing.
- Real-corpus prompts: Letterlijke prompts uit red-teaming corpora (HarmBench, AdvBench, DAN).
Oracle: Een apart, observeerbaar oracle bepaalt het succes van de aanval door de geaccepteerde trace te controleren tegen het beleid, onafhankelijk van de interne predicaten van de monitor.

4. Cross-Validatie

Om te waarborgen dat de operationele monitor overeenkomt met de formele specificatie, wordt dezelfde beleidslogica geïmplementeerd in drie runtimes:

Python: Operationele handhaving.
Rego/OPA: Auditor-gerichte beleid.
MFOTL (MonPoly): Formele temporele logica specificaties.
De auteurs verifiëren dat alle drie overeenstemmen op event-niveau bij elke trace.

Evaluatie en Resultaten

Het framework werd geëvalueerd op vier GDPR-geherformuleerde casestudies: Shopper (retail), Airline (reizen), MedAgent (gezondheidszorg) en FinAssist (bankwezen/KYC).

Belangrijkste Metrieken

Attack Success Rate (ASR): Het percentage aanvallen dat erin slaagt de monitor te omzeilen.
False Positive Rate (FPR): Het percentage onschuldige verzoeken dat onterecht wordt geblokkeerd.
Realization Rate: Hoe vaak het model de overtreding probeert in de afwezigheid van een monitor.

Bevindingen

Kwetsbaarheid van onbewaakte agenten: Zonder monitor begaan agenten overtredingen in alle vier de families. Toestemmingsbypass (A1) en overmatige verzameling (A3) worden frequent getriggerd (tot 100% ASR in sommige gevallen).
Beperkingen van baselines:
- Regex/Presidio (Stateless): Deze baselines falen bij het detecteren van overtredingen die afhankelijk zijn van de sessiegeschiedenis (Toestemming, Doelbinding, Wissing). Hoewel Presidio overmatige verzameling vermindert, kan het geen toestemmingsbypass of herinnering na wissing stoppen.
- Random Baseline: Hoge false positives (72–88%) zonder gerichte bescherming.
C-Trace Prestaties:
- Perfecte Extractie: Bereikt 0% ASR en 0% FPR over alle casestudies en attack registers (gegenereerd en real-corpus).
- Ruizige Extractie: Bij minder dan 10% ruis per categorie in de extractor (simulatie van uitval en over-typering):
  - ASR blijft $\le$ 12% (significant lager dan baselines).
  - FPR blijft $\le$ 16%.
- Ablatie: Het verwijderen van individuele predicaten herstelt specifieke aanvalsfamilies (bijv. het verwijderen van P1 herstelt toestemmingsbypass), wat bevestigt dat elk predicaat noodzakelijk is.
Overhead: De monitor voegt een verwaarloosbare mediane latentie toe van 1,8 $\mu$ s per event.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat de runtime-verificatie van GDPR-verplichtingen toepast op de natuurlijke taal-executietraces van AI-agenten.

Nieuwigheid: In tegenstelling tot staatloze guardrails redeneert C-Trace over de sessie-trace, wat het mogelijk maakt om overtredingen te detecteren die afhankelijk zijn van eerdere events (zoals voorafgaande toestemming of wissing).
Praktiseerbaarheid: Het framework werkt als een in-process interceptor zonder dat wijzigingen in het onderliggende model of de tool-implementaties nodig zijn. Het produceert append-only JSONL auditlogs die geschikt zijn voor compliance-review.
Betrouwbaarheid: De resultaten geven aan dat de betrouwbaarheid van de monitor sterk afhankelijk is van de nauwkeurigheid van de categorie-extractor. Hoewel de beleidslogica robuust is, zijn gemiste categorieën door extractiefouten de primaire foutmodus.
Scope: De aanpak richt zich op vier kernprincipes van de GDPR (Toestemming, Doelbinding, Dataminimalisatie, Recht op gegevenswissing) die van toepassing zijn op meerdere domeinen (retail, gezondheidszorg, financiën) en rechtsgronden (toestemming, wettelijke verplichting).

De auteurs concluderen dat trace-gebaseerde monitoring een praktische handhavingslaag is voor AI-agenten, mits de onderliggende event-extractie van hoge kwaliteit is en er rekening wordt gehouden met 'fail-closed' mechanismen voor ambigue dat categories.