🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

Het artikel introduceert CIVeX, een verificateur voor causale interventies die betrouwbaar gereedschapgebruik in taalagenten waarborgt door voorgestelde acties af te beelden op structurele causale queries om identificeerbare causale effecten te garanderen, waardoor valse uitvoeringen in verward workflows worden voorkomen waar standaardvalidatiebeveiligingen falen.

Oorspronkelijke auteurs: Fabio Rovai

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabio Rovai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip. Je schip wordt bestuurd door een geavanceerde AI-assistent die knoppen kan indrukken om de koers van het schip te veranderen, luiken te openen of stuwraketten af te vuren. De AI is zeer slim, maar heeft een gevaarlijke blinde vlek: het kijkt alleen naar geschiedenis.

Als de AI ziet dat elke keer dat het schip naar links draaide, de temperatuur daalde, zou het kunnen besluiten: "Naar links draaien koelt het schip af!" Dus drukt het op de knop "Naar links draaien" om de temperatuur te verlagen.

Maar wat als de echte reden dat de temperatuur daalde, was dat het schip tegelijkertijd een schaduwrijke nevel betrad? De AI wist niets van de nevel. Het zag alleen een patroon. Als de AI naar links draait zonder de nevel, kan het schip eigenlijk juist heter worden. In de wereld van data heet dit verwarring: een verborgen factor die je ertoe brengt te denken dat twee dingen met elkaar verbonden zijn, terwijl dat niet zo is.

Dit artikel introduceert een nieuwe veiligheidsbeveiliging genaamd CIVeX (Causal Intervention Verification) om te voorkomen dat de AI deze gevaarlijke aannames doet.

Het Probleem: "Geldig" betekent niet "Veilig"

Momenteel voert een AI, wanneer het een knop wil indrukken, een checklist door:

Grammaticacontrole: Is de opdracht correct geschreven?
Toestemmingscontrole: Mag de AI dit doen?
Voorspellingscontrole: Denk de AI dat dit zal werken?

Het artikel stelt dat het doorlopen van deze controles vergelijkbaar is met een bestuurder die een geldig rijbewijs, een schone auto en een goede GPS heeft. Het betekent niet dat de bestuurder weet dat het draaien van het stuur het voertuig daadwerkelijk laat sturen, vooral niet als er onzichtbare krachten (zoals een sterke wind of een glad wegdek) het resultaat verstoren.

De Oplossing: Het "Causale Certificaat"

CIVeX fungeert als een streng veiligheidsinspecteur die de AI weigert een knop te laten indrukken tenzij het wiskundig kan bewijzen dat de actie het gewenste resultaat daadwerkelijk zal veroorzaken.

In plaats van alleen te vragen: "Is dit eerder gebeurd?", vraagt CIVeX: "Als we dit geforceerd laten gebeuren, zal het dan het resultaat veroorzaken?"

Om toestemming te krijgen om te handelen, moet de AI een Causaal Certificaat presenteren. Denk aan dit certificaat als een "Veiligheidspaspoort" dat vier specifieke dingen moet bevatten:

De Kaart (Het Grafiek): Een tekening die laat zien hoe de actie, het resultaat en verborgen factoren met elkaar verbonden zijn.
Het Bewijs (Identificatie): Een wiskundig argument dat aantoont dat we het effect daadwerkelijk kunnen berekenen, zelfs met de verborgen factoren.
De Veiligheidsmarge (Onderste Vertrouwensgrens): Een garantie dat de actie, zelfs in het slechtst mogelijke scenario, ons geen kwaad zal doen.
De Bron (Provenance): Bewijs van waar de data vandaan komt, zodat niemand de cijfers kan vervalsen.

De Vier Uitspraken

Wanneer de AI een actie voorstelt, beoordeelt CIVeX het certificaat en geeft één van de vier antwoorden:

UITVOEREN: "De kaart is duidelijk, de wiskunde klopt en de veiligheidsmarge is hoog. Ga ervoor."
AFWIJZEN: "De wiskunde toont aan dat dit ons waarschijnlijk kwaad zal doen, of de veiligheidsmarge is te laag. Doe het niet."
EXPERIMENTEREN: "We kunnen nog niet zeker zijn vanwege een verborgen factor. Maar als je een kleine, veilige test kunt uitvoeren (zoals een gerandomiseerde trial) om te bewijzen dat het werkt, laten we je het proberen."
AFZIEN: "We hebben geen idee wat er zal gebeuren en het is te riskant om te gokken. Doe niets."

Hoe het Presteerde (De Wedstrijd)

De auteurs testten CIVeX tegen andere methoden met behulp van een "Causal-ToolBench" (een gesimuleerde omgeving met 1.890 verschillende scenario's).

De "Altijd Gokken" AI: In lastige situaties waar verborgen factoren de AI bedotten, maakte deze methode 45% van de tijd fouten, vaak met schade tot gevolg.
De "Doe Nooit Iets" AI: Deze methode was veilig maar nutteloos. Het weigerde te handelen, zelfs wanneer het veilig was om dat te doen, en miste hierdoor voordelen.
De "Grote Taalmodel" AI: Zelfs wanneer het een slimme prompt kreeg om "stap voor stap na te denken", maakte de AI nog steeds fouten. Het was goed in redeneren maar kon veiligheid niet garanderen. Het drukte nog steeds ongeveer 1% tot 10% van de tijd op de "gevaarlijke knop" in lastige scenario's.
CIVeX: Het maakte nul fouten in de tests. Het drukte nooit op een knop die schade zou veroorzaken. Cruciaal was dat het niet alleen "op safe" speelde door niets te doen; het slaagde erin om te identificeren wanneer het veilig was om te handelen en wanneer het eerst een test moest uitvoeren.

De Haken (Beperkingen)

Het artikel is zeer eerlijk over wat CIVeX niet doet:

Het heeft een goede kaart nodig: CIVeX gaat ervan uit dat de "Kaart" (het causale grafiek) die aan het wordt gegeven, correct is. Als de kaart verkeerd is, breekt de veiligheidsgarantie. Het artikel stelt dat in de echte wereld mensen of andere systemen deze kaarten moeten goedkeuren om ervoor te zorgen dat ze accuraat zijn.
Het is een poortwachter, geen bestuurder: CIVeX beslist niet wat er gedaan moet worden; het beslist alleen of de AI mag doen wat het wil.
Het is geen magie: Het is afhankelijk van het hebben van data die een "veilige test" (Experiment) toelaat wanneer dingen onduidelijk zijn.

De Conclusie

Het artikel concludeert dat we, om AI-agenten veilig de wereld te laten veranderen (zoals bestanden verwijderen, aandelen verhandelen of code repareren), moeten stoppen met vragen "Is deze actie geldig?" en moeten beginnen met vragen "Is deze actie causaal bewezen?"

CIVeX is het eerste systeem dat zegt: "Ik laat je niet op de knop drukken tenzij je kunt bewijzen, met een wiskundig certificaat, dat het indrukken ervan daadwerkelijk het goede resultaat zal veroorzaken dat je wilt, en niet het slechte waar je bang voor bent."

Technische Samenvatting: CIVeX – Causale Interventieverificatie voor Taalagenten

1. Probleemstelling

Huidige veiligheidsmechanismen voor taalagenten die hulpmiddelen gebruiken (zoals schema-validatoren, beleidsfilters, toestandsvoorspellers en prompts voor zelfverificatie) zorgen ervoor dat een actie goed geformeerd, toegestaan en logisch consistent is. Deze veiligheidsmaatregelen slagen er echter niet in om een kritieke faalmodus in verwardde omgevingen aan te pakken: een geldige hulpmiddeloproep is niet noodzakelijk een geldige interventie.

In observationele logs kan een actie correleren met hoge nuttigheid vanwege latente verwarrende factoren die voor de agent onbekend zijn. Bij uitvoering kan deze actie lage nuttigheid opleveren of schade veroorzaken, omdat de historische correlatie de ware causale effecten niet weerspiegelt. Bestaande veiligheidsstapels verifiëren niet of een voorgestelde actie die de toestand verandert, een identificeerbaar causaal effect heeft op het resultaat van belang. Het artikel betoogt dat zonder verificatie van identificeerbaarheid agenten het risico lopen acties uit te voeren die "schadelijke valkuilen" zijn: gevallen waarbij het observationele teken op voordeel wijst, maar het ware causale effect schadelijk is.

2. Methodologie: CIVeX

De auteurs introduceren CIVeX (Causal Intervention Verification), een runtime-verificator die hulpmiddeluitvoering behandelt als een probleem van causale inferentie. In plaats van acties te voorspellen, blokkeert CIVeX deze door voor uitvoering een veronderstellingsgebonden causaal certificaat te eisen.

2.1 Het Causale Certificaat

Een geldige uitvoering vereist een certificaat $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ , bestaande uit:

$G$ : Een vastgelegd causaal diagram over actie- en toestandsvariabelen (inclusief latente verwarding via bidirectionele randen).
$A$ : Een set expliciete veronderstellingen (bijv. SUTVA, correctheid van het diagram).
$\pi$ : Een machine-controleerbaar identificatiebewijs (bijv. backdoor-aanpassing, frontdoor-decompositie of instrumentele variabelen).
$\hat{\theta}$ : Het puntsschatting van het causale effect $E[Y \mid do(T=t^*)]$ .
$LCB_\alpha$ : Een eenzijdige ondergrens van het betrouwbaarheidsinterval voor $\hat{\theta}$ op niveau $1-\alpha$ .
$prov$: Herkomstmetadata (hash) van de gebruikte data.
$risk$: Een bovengrens voor potentiële schade.

2.2 Het Triage-algoritme

CIVeX koppelt een voorgestelde actie aan een structurele causale query en routeert deze naar één van vier controleerbare uitspraken:

UITVOEREN: Alleen afgegeven als de query identificeerbaar is onder het vastgelegde diagram, de eenzijdige $LCB_\alpha$ een nuttigheidsthorshold ( $\tau_u$ ) overschrijdt, en de kosten binnen een risicolimiet ( $\tau_r$ ) vallen.
WEIGEREN: Afgegeven als de query identificeerbaar is maar de $LCB_\alpha$ ontoereikend is of de kosten de risicolimiet overschrijden.
EXPERIMENTEREN: Afgegeven als het effect niet identificeerbaar is (bijv. door niet-blokkerende verwarrende paden) maar de actie reversibel en goedkoop is. Dit triggert een verzoek om experimentele data (bijv. een RCT-achtige dataset) om het diagram op te lossen.
AFZIEN: Afgegeven als het effect niet identificeerbaar is en de actie irreversibel of te duur is.

2.3 Theoretische Waarborgen

Het artikel biedt twee kernproposities:

Propositie 1: Niet-causale verifiers (die uitsluitend vertrouwen op observationele tekens) lopen een false-execution rate die minstens gelijk is aan het "schadelijke-valkuil-aandeel" in verwardde omgevingen.
Propositie 2: Onder correcte diagramvastleggingen en geldige schatters is de waarschijnlijkheid dat CIVeX een schadelijke actie uitvoert, begrensd door het eenzijdige betrouwbaarheidsniveau $\alpha$ . Deze grens geldt per instantie, niet alleen asymptotisch.

3. Belangrijkste Bijdragen

Formalisatie van het Causale Certificaat: Het artikel definieert een rigoureus, controleerbaar object dat een voorgestelde actie koppelt aan een structurele causale query, een identificatieargument en een onzekerheidsgrens.
De CIVeX-verifier: Een triage-algoritme dat identificeerbaarheid en risicobeperkingen afdwingt, en onderscheid maakt tussen geldige hulpmiddeloproepen en geldige interventies.
Causal-ToolBench: Een nieuwe benchmark bestaande uit 1.890 instanties over zes tool-workflow-families (bijv. database-indexering, serviceherstarts). Deze omvat:
- Expliciet geparametriseerde Structurele Causale Modellen (SCM's).
- Twee regimes: Matige verwarding en Adversariële verwarding (waarbij latente verwarrende factoren zijn gekalibreerd om het observationele teken om te draaien ten opzichte van het ware causale effect).
- Gekoppelde RCT-achtige data voor het evalueren van de "EXPERIMENT"-tak.
Theoretische Karakterisering: Bewijzen die aantonen dat observationele verificatie inherent onveilig is in verwardde settings en dat CIVeX een beperkte false-execution rate biedt, conditioneel op de correctheid van het diagram.

4. Experimentele Resultaten

De evaluatie vergelijkt CIVeX met een Oracle, 12 baselines (inclusief beleidspoorten, heuristische classifiers en op LLM gebaseerde verifiers), en ablatiestudies.

4.1 Prestaties in Verwardingsregimes

Adversariële Verwarding: CIVeX behaalde 0% false executions en 84,9% nauwkeurigheid, wat resulteerde in een nuttigheid van +2,23. Daarentegen leverde de "AlwaysAbstain"-baseline +0,99 op, en de beste LLM-baseline (Chain-of-Thought Opus) daalde naar +1,65 (74% van de CIVeX-nuttigheid) met 0% false executions maar excessief afzien.
Matige Verwarding: CIVeX behaalde +2,29 nuttigheid met 0% false executions.
Robuustheid: Onder een harde nul-false-execution-beperking was CIVeX de enige niet-oracle-methode die de "AlwaysAbstain"-bodem overschreed.

4.2 LLM-baselines

Het artikel testte Chain-of-Thought (CoT) LLM's (Claude Opus en Sonnet) als verifiers.

Hoewel CoT false executions verminderde in vergelijking met beknopte prompts, slaagde het er niet in de per-instantie waarborg van CIVeX te bieden.
Onder adversariële verwarding daalde de nuttigheid van CoT-Opus aanzienlijk door overmatig afzien, en behield CoT-Sonnet een residuële false-execution rate (1,0%), waardoor de harde veiligheidsbeperking niet werd gehaald.
Conclusie: Sterke prompting verbetert redenering, maar vervangt geen algoritmische identificatiecontroles voor harde veiligheidsbeperkingen.

4.3 Ablatiestudies

EXPERIMENT-tak: Het verwijderen van de mogelijkheid om experimentele data aan te vragen (het mappen van EXPERIMENT naar ABSTAIN) veroorzaakte een ineenstorting van de CIVeX-nuttigheid in adversariële settings naar de "AlwaysAbstain"-bodem (+0,99), wat aantoont dat deze tak cruciaal is voor het vastleggen van nuttigheid wanneer identificeerbaarheid aanvankelijk geblokkeerd is.
Diagrammisspecificatie: Wanneer waargenomen verwarrende factoren werden hernoemd tot latent (wat onblokkeerbare paden introduceerde), faalde CIVeX correct bij identificatie en routeerde instanties naar EXPERIMENT of ABSTAIN, waarbij 0% false executions werd behouden terwijl correcte uitvoeringen afnamen (zoals verwacht).

5. Betekenis en Claims

Het artikel beweert dat interventie-identificeerbaarheid, en niet actie-geldigheid, het ontbrekende primitief is voor betrouwbare hulpmiddelgebruik.

Veiligheidswaarborg: CIVeX biedt een conditionele veiligheidswaarborg: als het vastgelegde diagram correct is en de infrastructuur dit ondersteunt, is de waarschijnlijkheid van een false execution begrensd door $\alpha$ .
Controleerbaarheid: Elke beslissing wordt begeleid door een certificaat of een weigering die de ontbrekende veronderstelling uitlegt, wat post-hoc auditing mogelijk maakt.
Beperkte Scope: De auteurs stellen expliciet dat CIVeX op zichzelf geen veiligheid garandeert; de waarborg is conditioneel aan een infrastructuur voor diagramvastlegging (versiebeheer, ondertekening, drift-monitoring) die buiten het bereik van dit artikel valt maar noodzakelijk is voor productie-implementatie.
Beperkingen: De resultaten zijn gebaseerd op synthetische SCM's (Causal-ToolBench) en maken geen claim op asymptotische regret-begrenzingen. De false-execution rates zijn empirische waarnemingen op de benchmark, theoretisch begrensd door het betrouwbaarheidsniveau $\alpha$ .

Kortom, CIVeX stelt een verschuiving voor van "het valideren van de hulpmiddeloproep" naar "het valideren van de interventie", waarbij machinery voor causale inferentie wordt gebruikt om agenten te voorkomen dat ze acties uitvoeren die observationeel correleren met succes maar causaal schadelijk zijn.