Technische Samenvatting: StepShield – Wanneer, niet of, te interveniëren bij Rogue Agents

Probleemstelling

Huidige benchmarks voor AI-agentveiligheid (bijv. Agent-SafetyBench, SafeArena, R-Judge) opereren volgens een trajectniveau-paradigma, waardoor ze pas een binaire conclusie trekken nadat de uitvoering van een agent is voltooid. Deze aanpak beantwoordt de vraag of een agent rogue is gegaan, maar adresseert niet wanneer de afwijking plaatsvond. De auteurs stellen dat deze temporele blindheid een kritiek gebrek is: het verschil tussen een veiligheidsinterventie en een post-mortem autopsie ligt volledig in de timing. Bestaande metrieken zoals nauwkeurigheid, recall en F1 zijn structureel niet in staat om een detector te onderscheiden die een overtreding signaleert op het moment van divergentie (wat preventie mogelijk maakt) van een detector die het pas signaleert nadat onherstelbare schade is aangericht. Bovensstaande metrieken confunderen voortijdige valse alarmen op benigne code met echte vroege detectie, waardoor de operationele nutteloosheid van veel uitgerolde monitors wordt gemaskeerd.

Methodologie

Het paper introduceert StepShield, de eerste evaluatie-framework die detectie-timeliness behandelt als een eersteklas metriek.

1. De StepShield Dataset

De auteurs hebben een dataset geconstrueerd van 9.429 op stappenniveau geannoteerde code-agent trajecten, gebaseerd op 127 real-world beveiligingsincidenten (afgeleid van productie-observaties, MITRE ATT&CK en de AI Incident Database).

• Samenstelling: De dataset bevat 639 gematchte rogue-clean paren voor training/contrastief leren en een voor deployment-realistische testset van 7.935 trajecten met een rogue-rate van 8,1% (het simuleren van een "needle-in-the-haystack" scenario).
• Annotatie: Elk rogue traject is geannoteerd met een precies divergentiepunt ($s_r$), het specifieke stap waar de actie van de agent afwijkt van de geautoriseerde taakspecificatie om schade te veroorzaken of risico te vormen.
• Taxonomie: Overtredingen worden gecategoriseerd in zes typen: Data Exfiltration, Privilege Escalation, Resource Hijacking, Supply Chain Attack, Destructive Action en Covert Persistence.

2. Temporele Metrieken

StepShield definieert drie metrieken om detectie-timeliness formeel vast te leggen, waarbij bewezen wordt dat ze informatieel niet-redundant zijn met standaard nauwkeurigheid:

• Early Intervention Rate (EIR): Het fractie van gedetecteerde rogue trajecten waarbij het alarm afgaat binnen een $k$-stappenvenster (standaard $k=3$) na het divergentiepunt ($s_r \le s_d \le s_r + k$). Cruciaal is dat detecties die plaatsvinden vóór het divergentiepunt ($s_d < s_r$) nul krediet krijgen, om timingkwaliteit te isoleren van coverage.
• Intervention Gap (IG): De gemiddelde gesigneerde stapvertraging ($s_d - s_r$). Negatieve waarden duiden op voortijdige detectie op benigne prefixes, wat dient als een diagnose voor recall gedreven door false-positives.
• Tokens Saved: Het fractie van rogue-suffix tokens die voorkomen worden in uitvoering, berekend over enkel echte vroege interventies ($s_d \ge s_r$).

3. Experimenteel Protocol

De auteurs evalueerden vier detectieparadigma's op een strikt uitgesloten testset (nul overlap met ontwikkelingsdata):

1. StaticGuard: Een patroongebaseerde guardrail gebruikmakend van 847 regex-regels afgeleid van OWASP en MITRE.
2. ConstraintGuard: Een specificatiegebaseerde detector die 23 gedragsmatige restricties afdwingt.
3. LLMJudge: Een semantische detector die GPT-4.1-mini gebruikt om stappen in context te evalueren.
4. HybridGuard: Een cascade-architectuur waarbij StaticGuard stappen met hoge betrouwbaarheid filtert en onzekere stappen escaleren naar LLMJudge.

Belangrijkste Resultaten

De "Forensics Trap"

De centrale bevinding is het bestaan van een Forensics Trap: een patroongebaseerde detector kan een hoge recall bereiken terwijl deze statistisch ononderscheidbaar is van willekeurige timing.

• StaticGuard behaalde 86% recall maar een EIR van 0,23, wat statistisch ononderscheidbaar is van een willekeurige timing-baseline (0,24; $p=0,66$). De negatieve Intervention Gap (-5,0 stappen) onthult dat het gemiddeld 5 stappen vóór de werkelijke overtreding afgaat, getriggerd door benigne codepatronen die overeenkomen met de regex-regels.
• LLMJudge behaalde een EIR van 0,89, wat betekent dat 89% van de gedetecteerde rogue trajecten werd geflagd binnen 3 stappen van het divergentiepunt.
• De 4× Gap: Het 4-voudige verschil in vroege interventie-capaciteit tussen regelgebaseerde en semantische detectoren is volledig onzichtbaar voor standaard nauwkeurigheid of F1-scores (StaticGuard F1: 0,65 vs. LLMJudge F1: 0,95).

Operationele Levensvatbaarheid en Trade-offs

• False Positives: StaticGuard lijdt onder een FPR van 77,8% op cleane trajecten. Bij een realistische rogue base rate van 8,1% daalt de PPV naar 0,089 (91% van de alerts zijn valse alarmen), wat het operationeel nutteloos maakt ondanks de hoge recall.
• Semantische Superioriteit: LLMJudge behoudt een FPR van 5,6% en een PPV van 0,60 bij dezelfde base rate. Het bereikt 91,2% Tokens Saved, waardoor de uitvoering van het merendeel van de schadelijke suffixes wordt voorkomen.
• Categorie Moeilijkheidsgraad: Terwijl LLMJudge een perfecte EIR (1,00) behaalt op Supply Chain, Destructive en Resource Hijacking aanvallen, heeft het moeite met subtiele overtredingen zoals Privilege Escalation (EIR 0,72) en Data Exfiltration (EIR 0,78), waarbij covert gedragsveranderingen moeilijker temporeel te lokaliseren zijn.

Menselijke Baseline

Menselijke beveiligingsexperts behaalden een EIR van 0,92, wat aantoont dat de benchmark niet verzadigd is en dat huidige geautomatiseerde methoden (zelfs de beste LLM-gebaseerde) nog steeds achterlopen bij menselijke capaciteiten in de meest uitdagende categorieën.

Betekenis en Claims

Het paper claimt te hebben vastgesteld dat stap-niveau rogue detectie een werkelijk onopgeloste uitdaging is. De primaire bijdragen zijn:

1. Een Nieuwe Evaluatiedimensie: Het bewijs dat timing een onderscheidende, kritieke metriek is die standaard benchmarks negeert. De auteurs demonstreren dat een detector in binaire zin "nauwkeurig" kan zijn terwijl deze onbruikbaar is voor real-time veiligheid.
2. Structureel Falen van Regex: De bevinding dat de gehele uitgerolde klasse van patroongebaseerde monitors (regex guardrails) ongeschikt is voor real-time toezicht omdat ze syntaxis detecteren, geen intentie, en het moment waarop een agent rogue wordt niet kunnen onderscheiden.
3. De Forensics Trap: Het identificeren van een systematisch fenomeen waarbij een hoge recall wordt bereikt door voortijdige valse alarmen, wat een vals gevoel van veiligheid creëert.
4. Resource Efficiëntie: Het demonstreren dat een cascade-architectuur (HybridGuard) de kosten aanzienlijk kan verlagen (door ~74% van de stappen op te lossen met zero-cost regex) terwijl een hoge EIR behouden blijft, mits de initiële filter geen catastrofale timingfouten introduceert.

De auteurs concluderen dat zonder temporele metrieken zoals EIR, de community niet het onderscheid kan maken tussen preventie en post-mortem forensica, en dat huidige veiligheidsdeployments die vertrouwen op patroonmatching fundamenteel niet in lijn zijn met de vereisten voor real-time agent oversight.