🤖 AI

SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do

Het paper SafetyDrift introduceert een model op basis van absorberende Markov-ketens dat voorspelt wanneer veilige AI-agent-acties cumulatief leiden tot veiligheidsviolaties, en bewijst dat deze methode significante waarschuwingen biedt met een veel hogere detectiesnelheid en lagere rekenkosten dan bestaande technieken.

Oorspronkelijke auteurs: Aditya Dhodapkar, Farhaan Pishori

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aditya Dhodapkar, Farhaan Pishori

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚗 De Kern: Het "Veiligheids-Drift" Probleem

Stel je voor dat je een slimme, autonome chauffeur (een AI-agent) hebt die voor je werkt. Je vraagt hem: "Haal de notities van de vergadering en stuur ze naar het team."

De AI doet stap voor stap dingen die allemaal prima lijken:

Hij opent een map met notities (Veilig).
Hij leest de bestanden (Veilig).
Hij slaat ze op in een tijdelijk bestand (Veilig).
Hij stuurt een e-mail naar het team (Veilig).

Maar hier zit de valkuil: De AI vergeet dat hij in stap 2 ook per ongeluk een bestand met geheime wachtwoorden heeft geopend. Omdat hij die nu in zijn "geheugen" heeft, stuurt hij in stap 4 per ongeluk die wachtwoorden mee in de e-mail.

Geen enkele enkele stap was verkeerd. Maar de reeks van stappen leidde tot een ramp. Dit noemen de auteurs Safety Drift (Veiligheids-Afwijking). Het is alsof je een auto een beetje te hard rijdt, dan een bocht te snel neemt, en dan een remfoutje maakt. Geen van die acties op zich is een crash, maar samen zorgen ze ervoor dat je uit de bocht vliegt.

🎲 De Oplossing: Een Voorspellende Kristallen Bol

Tot nu toe keken beveiligingssystemen alleen naar de huidige stap. "Is dit een gevaarlijk commando?" Nee? Dan mag het.
SAFETYDRIFT kijkt echter naar de reis die de AI maakt.

De auteurs gebruiken wiskunde (genaamd Absorberende Markov-ketens) om te voorspellen waar de AI naartoe gaat.

De Vergelijking: Stel je voor dat je een bordspel speelt. Je staat op een vakje. Je weet niet precies welke worp je gaat doen, maar je kunt wel berekenen: "Als ik nu op dit vakje sta, is de kans 85% dat ik binnen 5 zetten in de 'Gevangenis' (een veiligheidsfout) beland."

Het systeem berekent dus niet of de huidige stap veilig is, maar of de AI binnenkort in de problemen komt als hij zo doorgaat.

🗺️ De Belangrijkste Ontdekkingen

Sommige routes zijn gevaarlijker dan andere:
- Communicatie-taken (zoals e-mails sturen of verslagen maken): Zodra de AI hier een klein beetje risicovol gedrag vertoont (bijv. een privé-bestand openen), is de kans dat hij binnen 5 stappen een fout maakt 85%. Dit is een "Punt van Geen Terugkeer".
- Technische taken (zoals code debuggen of servers beheren): Hier is de kans op een fout zelfs na risicovol gedrag heel klein (minder dan 5%).
- Conclusie: Je kunt niet met één beveiligingsregelset voor alles werken. Een AI die e-mails schrijft, moet veel strenger worden gecontroleerd dan een AI die code schrijft.
Het systeem is supersnel en goedkoop:
- Andere systemen proberen bij elke stap een andere AI te laten oordelen ("Is dit veilig?"). Dit duurt lang en kost veel rekenkracht (alsof je bij elke stap een nieuwe expert belt).
- SAFETYDRIFT werkt als een snelle check-list. Het kost minder dan 0,001 seconde. Het is 60.000 keer sneller dan de alternatieven.
Het werkt als een waarschuwingssysteem:
- Het systeem geeft 3,7 stappen van voorspelling.
- Vergelijking: Het is alsof je navigatie zegt: "Let op, over 4 kilometer kom je bij een afslag die je niet wilt nemen. Draai nu alvast naar links."
- Hierdoor kun je ingrijpen voordat de fout gebeurt, in plaats van achteraf te zeggen: "Oeps, wachtwoorden zijn gestolen."

🛠️ Hoe werkt het in de praktijk?

Het systeem heeft drie ogen:

Gegevens: Wat voor soort bestanden heeft de AI aangeraakt? (Publiek, Intern, Gevoelig, Wachtwoorden?)
Kracht: Welke macht heeft de AI gebruikt? (Alleen lezen, schrijven, code uitvoeren, internet?)
Terugdraaien: Kan de AI dit ongedaan maken? (Een e-mail sturen is ongedaan te maken, maar een bestand verwijderen soms niet).

Op basis van deze drie factoren berekent het systeem: *"Oké, deze AI zit nu in een 'Mild Risico' staat. Omdat hij e-mails schrijft, is de kans dat hij binnen 5 stappen een datalek veroorzaakt 85%. BLOKKEER HEM NU."*

🏁 Samenvatting

SAFETYDRIFT is een slimme, snelle en goedkope manier om AI-agenten in de gaten te houden. In plaats van te wachten tot ze een fout maken, kijkt het naar het patroon van hun gedrag. Het weet dat bepaalde taken (zoals communicatie) gevaarlijker zijn dan andere, en geeft een waarschuwing lang voordat de ramp gebeurt.

Het is alsof je een slimme passagier in je auto hebt die zegt: "Je rijdt nu prima, maar je hebt een sleutel in je hand en je bent naar een schoolgebied gereden. De kans dat je een kind aanrijdt is groot. Laat die sleutel los en rem af, voordat je überhaupt een ongeluk hebt."

1. Het Probleem: Veiligheidsdrift (Safety Drift)

Het paper introduceert het concept van veiligheidsdrift. Dit is een kritieke foutmodus bij Large Language Model (LLM) agenten waarbij een reeks individueel veilige acties collectief leidt tot een onveilig resultaat.

Voorbeeld: Een agent leest een vertrouwelijk bestand, maakt een samenvatting en stuurt deze per e-mail. Elk van deze stappen op zich lijkt veilig. Echter, de sequentie (lezen van gevoelige data + extern verzenden) vormt een datalek.
Beperking van bestaande systemen: Huidige veiligheidsmonitoren evalueren acties vaak stap-voor-stap (per step). Ze missen de "traject-context" en kunnen daarom niet detecteren dat een reeks veilige acties cumulatief gevaarlijk wordt.
Het doel: Het paper stelt dat we niet alleen moeten meten of een agent een fout heeft gemaakt (post-hoc), maar voorspellen wanneer dit gaat gebeuren voordat de schending optreedt.

2. Methodologie: SAFETYDRIFT Framework

SAFETYDRIFT modelleert het veiligheidsverloop van een agent als een Absorberende Markov-keten.

A. Veiligheidsstaat Model (Safety State Model)

De cumulatieve risicoprofiel van een agent wordt gemodelleerd als een toestand $s = (d, t, r)$ :

Data blootstelling ( $d$ ): De maximale gevoeligheid van de data die de agent heeft geraadpleegd (bijv. van 'Openbaar' tot 'Referenties').
Tool escalatie ( $t$ ): De krachtigste functionaliteit die de agent heeft gebruikt (bijv. van 'Alleen lezen' tot 'Netwerktoegang' of 'Code uitvoeren').
Herkeerbaarheid ( $r$ ): Of de uitgevoerde acties ongedaan gemaakt kunnen worden (Volledig herkeerbaar, Gedeeltelijk, Onherkeerbaar).

Deze staten zijn monotoon: eenmaal dat een agent gevoelige data heeft gelezen of code heeft uitgevoerd, kan de staat niet terugkeren naar een veiliger niveau. Dit maakt de Markov-aanneming (dat de toekomstige staat alleen afhangt van de huidige staat) geldig.

B. Risico-niveaus en Absorberende Staten

Een deterministische functie mapt de staten naar discrete risiconiveaus: {VEILIG, LICH, VERHOOGD, KRITIEK, SCHENDING}.

Schending (VIOLATED) is een absorberende staat: eenmaal bereikt, kan de agent niet terug.
Door de monotonie is de absorptiekans voor elke staat theoretisch 1,0 (als de agent oneindig lang zonder toezicht blijft, zal hij uiteindelijk falen). Het praktische probleem is dus het voorspellen van wanneer dit binnen een beperkt horizon gebeurt.

C. Analyse en Monitoring

Overgangsmatrix: De auteurs schatten overgangskansen tussen risiconiveaus empirisch op basis van agent-traces.
Finite Horizon Analyse: In plaats van oneindige horizon analyse, berekent het model de kans op het bereiken van de 'Schending'-staat binnen een specifiek aantal stappen ( $h$ ).
Categorie-bewustzijn: Het model erkent dat veiligheidsdynamiek sterk afhankelijk is van de taaksoort (bijv. communicatie vs. systeembeheer). Er worden aparte Markov-modellen getraind per categorie.
Runtime Monitor: Een lichtgewicht monitor die in real-time de huidige staat bepaalt, de vooraf berekende absorptiekans opzoekt en ingrijpt als de kans een drempelwaarde overschrijdt.

3. Belangrijkste Bijdragen

Formeel Veiligheidsmodel: Een state-model dat cumulatief risico vastlegt via drie dimensies (data, tools, herkeerbaarheid) met een deterministische synthese naar risiconiveaus.
Empirische Markov-analyse: Het aantonen dat agenten onvermijdelijk falen zonder toezicht, maar dat er scherpe "punten van geen terugkeer" (points of no return) bestaan die specifiek zijn voor bepaalde taakcategorieën.
Lichtgewicht Voorspellende Monitor: Een systeem dat overtredingen voorspelt met een gemiddelde voorspellingstijd van 3,7 stappen, met een verwaarloosbare rekentijd (<0,001 ms per stap).

4. Resultaten

De evaluatie is uitgevoerd op 357 traces over 40 realistische taken in vier categorieën (Data Handling, Systeembeheer, Onderzoek & Communicatie, Code Debugging).

Categorie-afhankelijkheid:
- Onderzoek & Communicatie: Agenten die de staat 'LICH' (MILD) bereiken, hebben een 85% kans om binnen 5 stappen een schending te veroorzaken. Er is een duidelijk punt van geen terugkeer.
- Systeembeheer & Code Debugging: De kans op schending blijft onder de 5% vanuit elke staat; er zijn geen scherpe punten van geen terugkeer.
Prestaties van de Monitor:
- Detectie: 94,7% van de overtredingen gedetecteerd.
- Valse Positieven: 11,8% (vergeleken met 38,2% bij LLM-judges).
- Voorspellingstijd: Gemiddeld 3,7 stappen vooraf waarschuwing.
- Snelheid: De monitor is 60.000x sneller dan per-stap LLM-judges (die ~600ms per stap nodig hebben).
Vergelijking met Baselines:
- Trefwoord-matching: Slechts 44,7% detectie, hoge valse positieven.
- LLM Judge (zonder context): 52,6% detectie.
- LLM Judge (met 3-stap context): 57,9% detectie, maar hogere valse positieven (47,1%) en hoge latentie.

5. Betekenis en Conclusie

SAFETYDRIFT bewijst dat traject-niveau veiligheidsmodellering niet alleen haalbaar is, maar noodzakelijk. Per-stap evaluatie faalt omdat het de cumulatieve dynamiek van veiligheidsdrift mist.

Praktische Implicatie: Een universele veiligheidsmonitor is suboptimaal. Monitoring moet categorie-bewust zijn; wat een risico is in communicatietaken, is het niet in technische debug-taken.
Toekomstperspectief: Het framework biedt een schaalbare, goedkope oplossing voor real-time interventie. De bevinding dat agenten "inevitably" falen zonder toezicht (absorptiekans 1,0) onderstreept het belang van actieve monitoring voor elke agent met persistente tool-toegang.
Reproduceerbaarheid: De auteurs publiceren hun code, scenario's en gelabelde traces om verder onderzoek te ondersteunen.

Kortom, dit paper verschuift de focus van het reageren op veiligheidsincidenten naar het voorspellen en voorkomen ervan door gebruik te maken van wiskundige modellen van agent-gedrag.