🤖 AI

Formal Methods Meet LLMs: Auditing, Monitoring, and Intervention for Compliance of Advanced AI Systems

Dit artikel stelt een hybride raamwerk voor dat formele methoden (specifiek Lineaire Temporele Logica) combineert met machine learning om effectieve offline auditing en online runtime monitoring van black-box AI-systemen mogelijk te maken, en toont aan dat deze technieken LLM-baselines overtreffen bij het detecteren van schendingen van temporele beperkingen en risico's actief kunnen mitigeren terwijl de taakprestaties behouden blijven.

Oorspronkelijke auteurs: Parand A. Alamdari, Toryn Q. Klassen, Sheila A. McIlraith

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Parand A. Alamdari, Toryn Q. Klassen, Sheila A. McIlraith

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar lichtjes chaotische chef (de AI) hebt ingehuurd om een restaurant te runnen. Deze chef kan bijna alles koken, maar volgt niet altijd het recept, vergeet soms zijn handen te wassen, of serveert een gerecht aan de verkeerde tafel. Je moet ervoor zorgen dat ze de regels naleven, maar je kunt niet in hun brein kijken om te zien hoe ze denken.

Dit artikel gaat over het bouwen van een slimme beveiligingsagent die deze chef van buitenaf in de gaten houdt, hun acties controleert tegen een regelboek, en zelfs ingrijpt om hen te stoppen voordat ze een fout maken.

Hier is de uiteenzetting van hun oplossing, met eenvoudige analogieën:

1. Het Probleem: Het "Tijdsreizen"-Blind Vlekje

De auteurs merkten op dat terwijl AI-chefs geweldig zijn in koken, ze vreselijk zijn in het onthouden van de volgorde van gebeurtenissen in de tijd.

De Analogie: Stel je een regel voor die zegt: "Als je een ei pakt, moet je het uiteindelijk openbreken."
De Strijd van de AI: Als de chef een ei pakt, dan 10 minuten over het weer praat, en het daarna openbreekt, kan een standaard AI-"rechter" in de war raken. Hij zou kunnen denken: "Ze hebben een ei gepakt, maar ze hebben het niet nu opengebroken, dus ze hebben de regel overtreden!" Of, als ze te lang wachten, vergeet de AI de connectie helemaal.
De Bevinding: Het artikel bewijst dat zelfs de slimste AI-rechters slechter worden in het opsporen van deze "tijdsvertraagde" regels naarmate het tijdsverschil tussen gebeurtenissen groter wordt, of naarmate het aantal regels toeneemt. Ze raken overweldigd.

2. De Oplossing: Het "TRAC"-Systeem

De auteurs hebben een systeem genaamd TRAC (Temporal Rule Assessment and Compliance) ontwikkeld. Denk aan TRAC als een gespecialiseerde beveiligingsagent die niet probeert "te denken" zoals de chef; in plaats daarvan gebruikt hij een strikte, wiskundige checklist.

De Labeler (De Vertaler): Eerst vertaalt een kleinere AI (de Labeler) de rommelige acties van de chef naar simpele "Ja/Nee"-vlaggen.
- Chef zegt: "Ik ga het ei pakken en het misschien later openbreken."
- Labeler zegt: "Actie: Ei opgepakt. Status: Waar."
De Monitor (De Wiskundemotor): Dit is de kern. In plaats van de AI te vragen te raden of een regel is overtreden, gebruikt TRAC Lineaire Temporele Logica (LTL).
- De Metafoor: Stel je een afteltimer of een voortgangsindicator voor. Wanneer de chef het ei pakt, start de "Ei openbreken"-timer. De monitor geeft niet om wat de chef in tussentijd doet; hij controleert gewoon de wiskunde: "Is de timer verlopen? Is het openbreken gebeurd?"
- Omdat dit gebaseerd is op wiskunde, niet op "gevoel", wordt hij nooit moe, vergeet hij nooit, en is hij perfect in het opsporen van regels die over lange perioden plaatsvinden.

3. De Upgrade: De "Voorspellende" Agent (TRACP+I)

De auteurs wilden niet alleen fouten opsporen nadat ze waren gebeurd; ze wilden ze voordat ze plaatsvonden stoppen. Ze hebben TRAC opgewaardeerd naar TRACP+I.

De Kristallen Bol (Voorspelling): Het systeem bekijkt de huidige acties van de chef en simuleert een paar stappen de toekomst in. Het vraagt: "Als de chef deze weg vervolgt, zullen ze binnen 3 stappen een regel overtreden?"
De Interventie (De Stop-Hand): Als het systeem een overtreding ziet aankomen, schreeuwt het niet alleen "Je hebt de regel overtreden!". Het handelt direct. Het heeft drie manieren om het op te lossen:
1. Herverstalen: Het zegt: "Probeer die actie opnieuw, maar dan anders," en kiest een veiligere versie.
2. Prompten: Het fluistert een herinnering naar de chef: "Hé, vergeet de regel over het openbreken van eieren niet!"
3. Wisselen: Als de chef echt moeite heeft, wisselt het de chef uit voor een "veiligere" versie van de chef, alleen voor dat specifieke moment.

4. De Resultaten: Kleine Tools Verslaan Grote Hersenen

De meest verrassende bevinding gaat over wie het beste werk levert.

De Oude Manier: Het gebruik van een enorme, superduurzame AI als rechter (de "LLM-as-a-Judge").
De Nieuwe Manier: Het gebruik van een kleine, goedkope AI alleen om acties te vertalen naar "Ja/Nee"-vlaggen, en vervolgens het gebruik van het op wiskunde gebaseerde TRAC-systeem om de daadwerkelijke beoordeling te doen.
Het Resultaat: Het team "Kleine AI + Wiskunde" versloeg het team "Super AI" elke keer. De enorme AI bleef in de war raken door de tijdsverschillen, terwijl het systeem van kleine AI + wiskunde foutloos was. Dit betekent dat bedrijven niet miljoenen hoeven uit te geven aan de grootste AI-modellen om veiligheid te garanderen; ze kunnen kleinere, goedkopere tools gebruiken in combinatie met deze wiskundige bewaker.

Samenvatting

Het artikel betoogt dat we om geavanceerde AI veilig te houden, niet op de AI zelf moeten vertrouwen om zichzelf te controleren (omdat het slecht is in het onthouden van langetermijnregels). In plaats daarvan moeten we een hybride aanpak gebruiken:

Laat een kleine AI vertalen wat de grote AI doet naar simpele feiten.
Gebruik een strikte, wiskundige "regelengine" (TRAC) om die feiten te bewaken.
Als de wiskundige engine een fout voorspelt, grijpt hij in om deze te stoppen.

Dit creëert een veiligheidsnet dat sneller, goedkoper en accurater is dan het proberen te laten "nadenken" van de AI om uit de problemen te komen.

Technische Samenvatting: Formele Methoden Kruisen LLM's

Probleemstelling

Het artikel adresseert een kritieke lacune in AI-governance: het ontbreken van robuuste mechanismen om AI-gestuurde producten en diensten gedurende hun volledige ontwikkelingscyclus te monitoren, te auditeren en te interveniëren. Hoewel aanzienlijke inspanningen worden gericht op de veiligheid van frontier AI-modellen (bijvoorbeeld via veiligheidskaders en red-teaming), ontbreken kleine en middelgrote ondernemingen (KMO's) en derden vaak de hulpmiddelen om ervoor te zorgen dat hun ingezette, black-box AI-systemen (specifiek Large Language Models of LLM's) voldoen aan product-specifieke, sector-specifieke en jurisdictie-specifieke regelgeving.

Een kernuitdaging die wordt geïdentificeerd, is dat veel nalevingsvereisten tijdelijk uitgebreid zijn. Dit zijn gedragsbeperkingen waarbij de relatie tussen gebeurtenissen tijd overspant, zoals "als een factuur wordt ontvangen, moet deze uiteindelijk worden betaald" of "verzend geen product totdat de betaling is bevestigd". De auteurs betogen dat de huidige afhankelijkheid van LLM-as-a-Judge-methoden voor auditing ontoereikend is, omdat LLM's moeite hebben met het redeneren over deze tijdelijke patronen, met name wanneer de tijd tussen gebeurtenissen varieert, het aantal beperkingen toeneemt of het aantal proposities per stap groeit.

Methodologie

De auteurs stellen een kader voor dat formele methoden (specifiek Lineaire Temporele Logica of LTL) koppelt aan machine learning om een black-box monitoring- en auditorsysteem te creëren. De kernbenadering omvat het decomponeren van het probleem: het gebruik van LLM's om gebeurtenissen te labelen (het extraheren van atomaire proposities uit ongestructureerde tekst) en het gebruik van formele logica om te redeneren over de reeks van deze gebeurtenissen.

Het TRAC-kader

De auteurs introduceren TRAC (Temporal Rule Assessment and Compliance), een familie van algoritmen ontworpen voor black-box AI-systemen:

Labelingsfunctie ( $L$ ): Een LLM (of andere classifier) koppelt een reeks invoer en uitvoer aan een set propositiesymbolen (atomaire feiten) die waar zijn op een gegeven tijdstap.
LTL-progressie: In plaats van beperkingen te compileren tot een statische automaat, gebruikt het systeem LTL-progressie. Deze techniek herschrijft een LTL-formule $\psi$ $ψ$ op basis van de huidige waarheidstoewijzing $\sigma_t$ $σ_{t}$ om een residuformule $\psi_{t+1}$ $ψ_{t + 1}$ te produceren die beschrijft wat voor het restant van de trace moet gelden.
- Dit maakt dynamische, incrementele evaluatie van tijdelijke eigenschappen mogelijk.
- Het behoudt de symbolische structuur van de beperkingen, waardoor het genereren van interpreteerbare "getuigen" (uitvoeringstraces) mogelijk is die uitleggen waarom een schending heeft plaatsgevonden.
Algoritmen:
- TRAC: Het basisalgoritme voor real-time monitoring en offline auditing. Het geeft een oordeel (Geschonden, Bevredigd of Nog niet bepaald) en een getuige.
- TRACR (TRAC met Reset): Breidt TRAC uit om continue monitoring te hanteren. Als een schending of bevrediging wordt gedetecteerd, reset het systeem de formule naar zijn initiële staat, waardoor het in staat is om daaropvolgende schendingen te detecteren (nuttig in ruizige omgevingen of terugkerende taken).
- TRACP+I (TRAC met Predictieve en Intervenerende capaciteiten):
  - Predictieve Monitoring: Gebruikt op steekproeven gebaseerde methoden om de waarschijnlijkheid van een toekomstige schending binnen een horizon $k$ te schatten.
  - Interventie: Als het voorspelde risico een drempelwaarde overschrijdt, activeert het systeem een black-box interventie. Strategieën omvatten:
    - Afwijzende Steekproefneming (Rejection Sampling): Het opnieuw steekproeven van de modeloutput totdat een conforme output wordt gevonden.
    - Beperking-geleid Prompting: Het injecteren van de residu LTL-formule (in natuurlijke taal) in de prompt om het model te sturen.
    - Modelsubstitutie: Overschakelen naar een veiliger, alternatief model om de output te genereren.

Belangrijkste Bijdragen

Wiskundig Kader: Een formele definitie voor het beoordelen van black-box AI-systemen tegen door de gebruiker gespecificeerde gedragsvereisten die zijn uitgedrukt in natuurlijke taal of formele logica (LTL).
TRAC-algoritmen: Een suite van algoritmen (TRAC, TRACR, TRACP+I) die LTL-progressie gebruiken om schendingen te detecteren, bronnen te lokaliseren en verklarende getuigen te verschaffen. Het artikel bewijst de soundness van het op LTL-progressie gebaseerde algoritme onder de voorwaarde van een perfecte labelingsfunctie.
Superioriteit ten opzichte van LLM-rechters: Empirisch bewijs dat aantoont dat TRAC aanzienlijk beter presteert dan LLM-as-a-Judge-baselines bij het detecteren van tijdelijk uitgebreide schendingen. Opmerkelijk is dat kleinere modellen die als labelers binnen het TRAC-kader worden gebruikt, de prestaties van frontier LLM's die als zelfstandige rechters optreden, evenaren of overtreffen.
Predictieve en Intervenerende Monitoring: De introductie van TRACP+I, wat schendingpercentages in op LLM gebaseerde agenten verlaagt door proactieve interventie zonder de taakprestaties significant te degraderen.
Karakterisering van LLM-beperkingen: Gecontroleerde experimenten die aantonen dat de nauwkeurigheid van LLM-tijdelijk redeneren voorspelbaar verslechtert bij:
- Een toegenomen afstand tussen relevante gebeurtenissen (tijdelijke elasticiteit).
- Een toegenomen aantal gelijktijdige beperkingen.
- Een toegenomen aantal proposities per tijdstap.

Experimentele Resultaten

De auteurs evalueerden hun aanpak in drie omgevingen: IPC-Trucks (logistieke planning), TextWorld (kooktaken) en ScienceWorld (wetenschappelijk redeneren).

Auditprestaties: Bij audittaken behaalde TRACR + LLM (als Labeler) de hoogste F1-scores in alle omgevingen. Zelfs kleine labelmodellen (bijvoorbeeld Qwen-7B) in combinatie met TRACR presteerden beter dan grote frontier-modellen (bijvoorbeeld GPT-4.1, Gemini-2.5-Pro) die werden gebruikt als zero-shot of few-shot rechters.
Tijdelijke redeneergrenzen: Experimenten met synthetische traces bevestigden dat LLM's moeite hebben met tijdelijke patronen. De nauwkeurigheid daalde aanzienlijk naarmate de kloof tussen gebeurtenissen toenam (van ongeveer 10 stappen voor kleine modellen tot ongeveer 1000 voor frontier-modellen op eenvoudige formules) en naarmate de complexiteit van de formule (aantal beperkingen/proposities) toenam.
Effectiviteit van Interventie: Het TRACP+I-kader slaagde erin de schendingpercentages van beperkingen te verlagen in alle modellen en omgevingen. De interventies (opnieuw steekproeven, prompting, substitutie) stuurden agenten effectief naar naleving terwijl vergelijkbare taakprestaties (cumulatieve beloning) ten opzichte van de baseline werden behouden.

Betekenis en Claims

Het artikel beweert dat klassieke formele methoden waardevol blijven voor AI-toezicht, maar aanpassing vereisen aan op taal gebaseerde systemen. De primaire betekenis ligt in de voorgestelde decompositiestrategie: het benutten van LLM's voor hun sterkte in semantische labeling (het extraheren van proposities) terwijl men vertrouwt op formele methoden (LTL-progressie) voor hun sterkte in het redeneren over tijdelijke patronen.

De auteurs benadrukken dat deze aanpak:

Nalevingsaudits toegankelijk maakt zonder het budget dat nodig is voor frontier-modellen.
Interpreteerbaarheid biedt via getuigen, wat cruciaal is voor debugging en verantwoordingsplicht.
Proactieve governance mogelijk maakt door middel van predictieve monitoring en interventie, verder gaand dan retrospectieve diagnose.
De specifieke governance-uitdagingen van agente AI-systemen aanpakt, waar gedrag zich over lange horizonnen ontwikkelt, een domein waar evaluaties voorafgaand aan de implementatie vaak ontoereikend zijn.

Het artikel sluit af met een bescheiden erkenning van beperkingen: black-box monitoring kan niet alle faalmodi detecteren, labelingsfuncties kunnen fouten introduceren, en de vertaling van vage natuurlijke taalvereisten naar precieze LTL-formules blijft een sociotechnische uitdaging die onderhevig is aan de "Formalisme-val". Uiteindelijk wordt TRAC gepresenteerd als een inzetbaar hulpmiddel binnen een breder ecosysteem van AI-verantwoordingsplicht.