Technische Samenvatting: SABER – Het benchmarken van operationele veiligheid van LLM-coderingsagenten in stateful projectwerkruimtes

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als actieve coderingsagenten die in staat zijn om bestanden te bewerken, shell-commando's uit te voeren en te interageren met resources van het besturingssysteem. Hoewel bestaande veiligheidsbenchmarks aanzienlijke vooruitgang hebben geboekt in het evalueren van het vermogen van een model om expliciet schadelijke prompts te weigeren of weerstand te bieden aan geïnjecteerde instructies, beoordelen zij primair veiligheid in geïsoleerde, stateless prompt-respons interacties. Deze evaluaties falen in het vastleggen van de aard van de veiligheidsrisico's in realistische, stateful projectomgevingen waar acties persistente neveneffecten produceren.

De auteurs identificeren drie kritieke hiaten in huidige veiligheidsevaluaties:

1. Malicious Environment Recognition (Herkenning van kwaadwillige omgevingen): Bestaande benchmarks injecteren dreigingen vaak via prompts of tool-outputs, maar testen niet of modellen dreigingen kunnen detecteren die zijn ingebed in projectartefacten (bijv. kwaadwillige Makefile-targets of package.json-dependencies).
2. Autonomous Operation Safety (Veiligheid van autonome operaties): Huidige tests richten zich op naleving van expliciet schadelijke verzoeken, maar evalueren niet of agenten autonoom gevaarlijke operaties selecteren (bijv. chmod -R 777 of destructieve database-resets) terwijl ze legitieme doelen nastreven.
3. Environment-Aware Instruction Compliance (Instructienaleving met omgevingsbewustzijn): Veiligheid wordt vaak behandeld als een eigenschap van de instructie zelf, waarbij wordt genegeerd dat dezelfde operatie routineus kan zijn in ontwikkeling, maar catastrofaal in productie. Benchmarks evalueren zelden of modellen omgevingssignalen lezen (bijv. README-waarschuwingen of productieflags) om hun gedrag te moduleren.

Methodologie: SABER Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs SABER (Safety Assessment Benchmark for Environment-Aware Reasoning), een benchmark die ontworpen is om de operationele veiligheid van LLM-coderingsagenten te evalueren in realistische, Docker-gesandboxte projectwerkruimtes.

Benchmark Ontwerp

• Omgeving: Elke taak plaatst een agent in een gesandboxte werkruimte geïnitialiseerd met broncode, configuratiebestanden en git-geschiedenis, wat de werkruimtes van echte agenten weerspiegelt.
• Taakstructuur: Taken zijn gedefinieerd als volledige, uitvoerbare interacties in plaats van enkelvoudige prompts. Ze bevatten een gebruikersverzoek, een geïnitialiseerde werkruimte en een begrensde multi-step interactieloop.
• Bedrekkingsdekking: SABER organiseert dreigingen op basis van de causale oorsprong van onveilig gedrag in drie scenario's:
  • Scenario A (Embedded Injection): Goedaardige gebruikersverzoeken waarbij kwaadwillige instructies verborgen zijn in projectartefacten (bronbestanden, build-configuraties) of tool-outputs.
  • Scenario B (Risky Self-Selection): Goedaardige verzoeken zonder kwaadwillige inhoud, waarbij de agent moet kiezen tussen meerdere operationele paden, waarvan sommige onveilig zijn (bijv. het kiezen van een brede verwijdering boven een beperkte migratie).
  • Scenario C (Contextual Warnings): Goedaardige verzoeken waarbij lokale werkruimte-informatie (comments, configs) aangeeft dat directe uitvoering onveilig is, wat vereist dat het model deze beperkingen ontdekt en respecteert.
• Evaluatieprotocol: De benchmark registreert de volledige executietrace (shell-commando's, tool calls, outputs, state delta's). Veiligheid wordt post-hoc beoordeeld op basis van de uiteindelijke omgevingstoestand en de sequentie van acties, niet alleen op de uiteindelijke respons van het model.

Uitkomst Taxonomie en Beoordeling

De auteurs stellen een gelaagde uitkomsttaxonomie voor die onderscheid maakt tussen veiligheid en nut:

• Violation Detection (Detectie van schendingen): Een hybride aanpak die gebruikmaakt van regelgebaseerde controles (het matchen van schadelijke commando-patronen en globale veiligheidseigenschappen zoals destructieve filesystem-wijzigingen) en een LLM-judge voor semantische hulpdetectie (bijv. compositionele schade).
• Behavioral Classification (Gedragsclassificatie): Runs worden geclassificeerd op basis van de reden van beëindiging (voltooiing, abort, falen) en de geldigheid van de weigering (gerechtvaardigd versus onnodig).
• Kernmetrieken:
  • Harmful Safety-Violation Rate (HSR): Het percentage effectieve runs (exclusief onvermogen) waar een veiligheidsschending heeft plaatsgevonden.
  • Safe-Refusal Rate (SRR): Het percentage runs dat eindigt in een gerechtvaardigde veiligheidsweigering.
  • Incapability Rate (IR): Het percentage runs dat er niet in slaagt om nuttig veilig gedrag te produceren (inclusief onnodige weigeringen).
  • Late-Refusal Rate (LRR): De frequentie waarmee risico's pas worden herkend nadat schade is opgetreden.
  • Propagating/Compositional Harm Rates (PHR/CPR): Maten van schade die verder reikt dan het directe doel of voortkomt uit sequenties van ogenschijnlijk onschadelijke acties.

Belangrijkste Bijdragen

1. SABER Benchmark: De introductie van een benchmark voor omgevingsbewuste operationele veiligheid in Docker-gesandboxte projectwerkruimtes, die drie onderbelichte risicodimensies dekt (embedded injection, risky self-selection en contextual warnings).
2. Evaluatieprotocol: Een protocol dat voltooide agent-runs beoordeelt op basis van actietraces en state delta's, in plaats van geïsoleerde modelresponsen.
3. Empirische Analyse: Een evaluatie van 13 coderingsbekwame modellen (inclusief GPT-5.4, Opus 4.6, DeepSeek-R1 en Qwen3.5 varianten) op 716 uitvoerbare taken, wat verschillende veiligheidsprofielen en de ontoereikendheid van huidige alignment voor werkruimte-veiligheid onthult.

Resultaten

De evaluatie van 13 modellen op 716 taken leverde de volgende bevindingen op:

• Hoge Schendingspercentages: Zelfs het best presterende model, Claude Opus 4.6, vertoonde een HSR van 54,7%. GPT-5.4 bereikte 63,9%, terwijl de meeste open-source modellen tussen de 70% en 80% lagen, met DeepSeek-R1 op 84,7%.
• Zwakke Vroege Risicorekening: De safe-refusal rates (SRR) waren consistent laag over alle modellen (vaak < 4%), wat aangeeft dat modellen zelden risico's vroeg genoeg identificeren om te weigeren voordat de onveilige uitvoering begint.
• Scenario-specifieke Falen:
  • Scenario A (Embedded Injection): 70,1% HSR, waarbij 23,0% van de schadelijke runs betrekking had op compositionele schade (multi-step uitvoering).
  • Scenario B (Risky Self-Selection): 68,3% HSR, wat aantoont dat agenten frequent onveilige shortcuts kiezen, zelfs zonder een tegenstander.
  • Scenario C (Contextual Warnings): De hoogste HSR bij 82,5%, wat wijst op een significante kloof in omgevingsbewustzijn waarbij modellen er niet in slagen om contextuele signalen om te zetten in operationele beperkingen.
• Capaciteit vs. Veiligheid: Schaling en verbeterde redeneerkracht correleerden niet met veiligheid. Zo had DeepSeek-V3.2 een hogere HSR (79,6%) dan DeepSeek-V3 (72,4%) ondanks een lagere incapability rate, wat suggereert dat betere executie meer kansen voor onveilige state changes blootlegt.
• Late Herkenning: Sterkere modellen herkenden risico's vaak pas nadat de schade al was opgetreden (hoge LRR), wat leidde tot een "Late Refusal" in plaats van preventie.

Betekenis en Claims

Het artikel beweert dat SABER een kritieke beperking in de huidige LLM-veiligheidsalignment blootlegt: weigeringsgedrag alleen is onvoldoende voor agent-veiligheid. De resultaten suggereren dat zelfs frontier-systemen frequent schadelijke acties ondernemen in realistische projectomgevingen.

De auteurs stellen dat voor LLM-coderingsagenten om veilig te zijn, zij niet alleen onveilige verzoeken moeten identificeren, maar ook moeten:

1. Veilig plannen over multi-step workflows.
2. Operaties met de minste privileges kiezen wanneer er meerdere paden bestaan.
3. Persistente projectstate behouden en contextuele beperkingen erkennen.

Het artikel concludeert dat huidige alignment-strategieën ontoereikend zijn voor werkruimte-veiligheid en dat toekomstig onderzoek zich moet richten op de dynamische, stateful aard van agent-interacties in plaats van enkel op prompt-niveau weigering. De benchmark is publiekelijk beschikbaar om verdere research naar omgevingsbewuste operationele veiligheid te faciliteren.