🤖 AI

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

Het artikel introduceert "Safety Sentry", een lichtgewicht guard-model dat verbetering brengt op binaire veiligheidscontroles door een contextbewust, per instantie werkend drieweg-routingsysteem (EXECUTE, ASK, REFUSE) te implementeren om de balans tussen veiligheid en gebruikersautonomie te optimaliseren, terwijl een aanpasbare risicotolerantie mogelijk wordt gemaakt via een enkele decoderingsdrempel.

Oorspronkelijke auteurs: Tianyu Chen, Chujia Hu, Wenjie Wang

Gepubliceerd 2026-07-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyu Chen, Chujia Hu, Wenjie Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je net een super-slimme robotassistent hebt gebouwd die bijna alles kan doen wat je vraagt: e-mails schrijven, je agenda beheren of zelfs je digitale bestanden organiseren. Het is alsof je een magische butler hebt die nooit slaapt. Maar hier komt de adder onder het gras: als je deze robot vertelt om "alles te verwijderen", kan hij dat doen zonder met zijn ogen te knipperen, wat potentieel je hele levenswerk zou kunnen wegvagen. Dit is de wereld van AI Agents—programma's die niet alleen chatten, maar ook daadwerkelijk dingen doen in de echte wereld. De grote vraag waar wetenschappers nu mee worstelen is: hoe stoppen we deze robots ervoor dat ze verschrikkelijke fouten maken, zonder ze te veranderen in nutteloze, aarzelende robots die om toestemming vragen om te ademen?

Een lange tijd was de oplossing een simpel "stopbord". Een veiligheidsbewaker keek naar alles wat de robot wilde doen en zei: "Veilig" of "Onveilig". Als het onveilig was, stopte de robot. Als het veilig was, ging hij door. Maar deze aanpak was als een beveiligingsbeambte die je bij de deur tegenhoudt, of je nu alleen een pen komt pakken of probeert de kluis van het gebouw te stelen. Ze behandelen beide acties op dezelfde manier: "Stop en vraag!" Dit maakte de robot irritant en traag, en uiteindelijk begonnen mensen de bewaker te negeren, simpelweg door hem weg te zwaaien zodat ze hun werk konden doen. Het nieuwe idee is om de bewaker een beetje meer hersenkracht te geven, zodat hij het verschil kan zien tussen "een pen pakken" (ga door), "de kluis stelen" (stop onmiddellijk) en "misschien een pen pakken, maar ik weet niet zeker of je dat echt wilt" (vraag het aan de mens).

Dit is precies wat de onderzoekers aan de ShanghaiTech University deden in hun nieuwe paper, SAFETY SENTRY. Ze realiseerden zich dat het oude "Veilig vs. Onveilig"-systeem te lomp was. In plaats daarvan hebben ze hun AI-bewaker geleerd om drie duidelijke keuzes te maken voor elke actie die de robot wil ondernemen: EXECUTE (ga ervoor!), ASK (hé mens, weet je het zeker?) of REFUSE (absoluut niet, dat is gevaarlijk).

Denk aan het als een zeer slimme uitsmijter bij een club. De oude uitsmijter liet gewoon iedereen binnen of schopte iedereen eruit. De nieuwe SAFETY SENTRY-uitsmijter kijkt naar je ID en je gedrag. Als je alleen bent gekomen om een drankje te halen, zegt hij: "Ga je gang" (EXECUTE). Als je probeert een gigantisch, verdacht pakket naar binnen te brengen, zegt hij: "Nee mogelijk, je komt er niet doorheen" (REFUSE). Maar als je een kaartje hebt dat er echt uitziet, maar je gedraagt je een beetje vreemd, dan zet hij je niet buiten; hij zegt gewoon: "Wacht even, laat me eerst even de manager checken" (ASK). Op deze manier kan de robot nog steeds snel en behulpzaam zijn, maar blaast hij niet per ongeluk de keuken op of verwijdert hij niet je foto's.

Om deze bewaker te leren hoe hij deze drie keuzes moet maken, hebben de onderzoekers niet alleen een tekstboek gebruikt; ze bouwden een hele speeltuin. Ze zetten negen verschillende real-world "services" op (zoals nepversies van e-mailsystemen, opslagdiensten en teamchat-apps) en lieten een AI-robot rondrennen om taken uit te voeren. Daarna lieten ze de AI-bewaker elke stap die de robot zette observeren. Ze trainden de bewaker om naar de context te kijken: Probeert de robot een bestand te verwijderen? Vraagt hij om een wachtwoord? Heeft de gebruiker een specifieke regel, zoals "altijd bevestigen voor het verwijderen" of "vooraf goedkeuren voor routinematige bewerkingen"?

De resultaten waren indrukwekkend. Toen ze deze nieuwe drieweg-bewaker testten tegen andere top-tier AI-veiligheidssystemen (inclusief enkele zeer dure, gesloten bronnen), was SAFETY SENTRY veel beter in het weten wanneer de robot door kon gaan en wanneer hij moest stoppen. Het maakte minder fouten in beide richtingen: het stopte de robot niet wanneer dat niet nodig was (wat de robot traag maakt), en het liet de robot geen gevaarlijke dingen doen wanneer het wel had moeten stoppen.

Een van de coolste onderdelen van dit systeem is hoe flexibel het is. Normaal gesproken, als je een veiligheidsbewaker strenger of milder wilt maken, moet je het hele systeem vanaf nul opnieuw trainen, wat eeuwig duurt. Maar SAFETY SENTRY heeft een speciale "draaiknop" (een threshold genoemd) die de gebruiker kan draaien. Als je een ziekenhuis-systeem runt waar fouten dodelijk zijn, kun je de knop op "super voorzichtig" draaien, en zal de bewaker bijna altijd om menselijke goedkeuring vragen. Als je een persoonlijke notitie-app runt waar snelheid belangrijker is, kun je de knop op "ga door" draaien, en zal de bewaker alleen de echt gevaarlijke zaken stoppen. Het beste deel? Je hoeft de AI hiervoor niet opnieuw te trainen; je draait gewoon aan de knop en het systeem past zich direct aan.

Het paper toonde ook aan dat deze bewaker kan begrijpen wie de gebruiker is door hun specifieke risicopreferenties te lezen. Als je tegen de bewaker zegt: "Ik vereis expliciete bevestiging voor elke onomkeerbare bestandsverwijdering", dan zal hij om toestemming vragen voordat de robot zelfs maar één bestand verwijdert. Als je zegt: "Ik keur routinematige bewerkingen voor mijn dagelijkelijkse aantekeningen vooraf goed", dan zal hij de robot het laten verwijderen of bewerken van die bestanden zonder te vragen. Deze personalisatie betekent dat de robot minder aanvoelt als een rigide machine en meer als een behulpzame partner die jouw specifieke operationele regels respecteert.

Uiteindelijk suggereert SAFETY SENTRY dat we niet hoeven te kiezen tussen een krachtige, autonome robot en een veilige robot. Door af te stappen van een simpel "ja of nee"-systeem naar een slimmer "ja, nee, of laat mij even checken"-systeem, kunnen we onze digitale assistenten snel en vrij houden, terwijl we ervoor zorgen dat ze nooit de grens naar een ramp overschrijden. Het is een kleine verandering in hoe we de robot laten denken, maar het kan wel de sleutel zijn om AI-agents ongebreideld te laten werken zonder dat het huis in brand vliegt.

Technische Samenvatting: SAFETY SENTRY

Probleemstelling

LLM-agenten opereren in de echte wereld via tool-aanroepen, waarbij een enkele verkeerd ingeschatte actie onomkeerbare schade kan veroorzaken. Huidige veiligheidsmechanismen vertrouwen op guard-modellen die voorgestelde acties classificeren als ofwel "veilig" of "onveilig". De auteurs stellen dat dit binaire kader lijdt onder twee kritieke gebreken:

Conflatie van Beslissingen: Het faalt om onderscheid te maken tussen een actie die inherent schadelijk is en een actie die op zichzelf gepast is, maar menselijke bevestiging vereist vanwege de gebruikerscontext of onzekerheid.
Granulariteitsproblemen: Het opereert op het niveau van actiecategorieën in plaats van individuele instanties. Dit leidt tot "routinematige onderbrekingen" waarbij laag-risico acties (bijv. schrijven naar een scratch-bestand) identiek worden gemarkeerd als destructieve acties (bijv. rm -rf), wat de autonomie van de agent ondermijnt en gebruikers traint om waarschuwingen te negeren (alarmmoeheid).

Bovendien ontbreken bestaande kaders een intermediaire beslissingsgrens. Veel acties zijn noch strikt veilig, noch onveilig; hun gepastheid hangt af van de gebruikersintentie en de runtime-context. Het standaard binaire beeld dwingt tot een keuze tussen outright weigeren of uitvoeren, waarbij de cruciale optie om om bevestiging te vragen wordt gemist.

Methodologie: SAFETY SENTRY

Het paper herformuleert agentveiligheid als een per-instantie drieweg-routingbeslissing: {EXECUTE, ASK, REFUSE}.

EXECUTE (UITVOEREN): Acties die duidelijk veilig zijn, worden autonoom uitgevoerd.
ASK (VRAGEN): Acties met onzekerheid, hoog potentieel impact of contextafhankelijke gepastheid worden gerouteerd naar mensen voor bevestiging.
REFUSE (WEIGEREN): Acties die structureel schadelijk of onacceptabel zijn, worden geblokkeerd.

Dataconstructie

Om een model te trainen dat in staat is tot deze genuanceerde routing, hebben de auteurs een corpus voor stap-niveau supervisie geconstrueerd:

Omgeving: Negen zelf-gehoste, productie-waardige enterprise-services (bijv. Gitea, Rocket.Chat, OpenEMR, Vaultwarden) draaiend in Docker-containers met realistische seeded content.
Taken: 9.203 stap-niveau records afgeleid van interne door LLM gegenereerde instructies en vijf publieke benchmarks (bijv. AgentHarm, AT-Bench).
Persona Conditionering: Taken werden gekoppeld aan "persona-geheugens" die drie gebruikersprofielen vertegenwoordigen: Cautious (vereist bevestiging voor onomkeerbare operaties), Permissive (vooraf goedkeurt voor routinematig werk) en Adversarial (simuleert memory-poisoning aanvallen).
Annotatie: Een trigger-taxonomie van 14 patronen werd gebruikt om stappen te labelen. Twee LLM-annotatoren labelden de data, met arbitrage door de auteurs bij onenigheid, wat resulteerde in 92% menselijke overeenstemming op de testset.

Modelarchitectuur en Training

SAFETY SENTRY is een lichtgewicht guard-model (gebaseerd op een 4B parameter Qwen3.5 backbone) die is gefinetuned met behulp van Supervised Fine-Tuning (SFT) met LoRA.

Input: Een snapshot die gebruikersgeheugen, taak, applicatiedomein, voorafgaande trace en de voorgestelde actie bevat.
Output: Het model genereert een reasoning-blok, een decision token (<|direct_execute|>, <|ask_human|> of <|refuse|>), en een JSON-payload met een reden (en een verhelderingsvraag indien ASK).
Inference Control: Een enkele decoding-time drempelwaarde ( $\tau$ ) regelt de EXECUTE/ASK grens. De REFUSE beslissing blijft vastgesteld als een veiligheidsbodem. Dit maakt het mogelijk om één checkpoint te herpositioneren voor verschillende risicotoleranties (autonoom versus conservatief) zonder opnieuw te trainen.

Belangrijkste Resultaten

De auteurs evalueerden SAFETY SENTRY tegen open-weight modellen (bereik 3B–27B) en frontier closed-source modellen (GPT, Claude, Gemini, DeepSeek) op een in-distributie testset en een held-out out-of-distribution (OOD) service (Mailu).

Superieure Accuratesse en Balans: SAFETY SENTRY behaalde 91,02% accuratesse en 90,92% Macro-F1, waarmee het alle baselines significant overtrof. Cruciaal was dat het tegelijkertijd de directionele foutpercentages controleerde:
- Over-Ask Rate (OAR): 5,05% (minimaliseert onnodige onderbrekingen).
- Under-Ask Rate (UAR): 4,96% (minimaliseert onveilige autonome uitvoering).
- Contrast: Baselines klapten doorgaans in aan één kant; bijvoorbeeld had DeepSeek-V3 een lage OAR (3,70%) maar een hoge UAR (57,79%), terwijl Llama-3.2-3B een hoge OAR (6,67%) en extreme UAR (80,12%) had.
Dynamische Controle: Door de drempelwaarde $\tau$ te variëren, volgt het model een Pareto-front waarbij lagere OAR en UAR simultaan worden bereikt in vergelijking met baselines. Eén enkel checkpoint kan dienen voor zowel high-risk (conservatief $\tau$ ) als low-risk (autonoom $\tau$ ) implementaties.
Personalisatie: Bij tests op geheugen-geaugmenteerde data behield SAFETY SENTRY een hoge accuratesse (87,0%), zelfs wanneer de gold label versprong op basis van de gebruikerspersona. Baselines degradeerden aanzienlijk (bijv. Claude-Opus-4.7 daalde van 72,5% naar 56,5%), wat aangeeft dat zij niet effectief konden conditioneren op gebruikerscontext.
Generalisatie: Op de held-out Mailu service (OOD) behaalde SAFETY SENTRY 85,35% accuratesse, waarmee het de sterkste propriëtaire baseline (Claude-Opus-4.7 op 80,81%) versloeg. Het behield een gebalanceerd foutenprofiel, terwijl baselines inklapten naar vaste priors (altijd vragen of nooit weigeren).
Efficiëntie: Het model voegt ~1,57s latentie toe per stap (42% van de kosten van de hoofdagent), maar biedt een gestructureerd, actiegericht oordeel met redenering, in tegen tegenstelling tot snellere binaire guards die geen rationale bieden.

Betekenis en Claims

Het paper claimt dat SAFETY SENTRY een verschuiving vertegenwoordigt van "het blokkeren van onveilige acties" naar "het balanceren van autonomie, veiligheid en menselijk toezicht." De primaire bijdragen zijn:

Herformulering van Veiligheid: Van binaire classificatie naar een drieweg-routingprobleem dat "vragen" expliciet scheidt van "weigeren".
Contextbewustzijn: Aantonen dat veiligheidsbeslissingen geconditioneerd moeten zijn op gebruikersintentie en geheugen, niet alleen op de actie zelf.
Inzetbaarheid: Het bieden van een lichtgewicht, single-checkpoint oplossing die getuned kan worden voor variërende risicotoleranties via een eenvoudige drempelwaarde, waardoor hertraining of afhankelijkheid van dure frontier API's wordt vermeden.
Robuustheid: Aantonen dat de geleerde beslissingsgrens overdraagbaar is naar verschillende upstream agent-frameworks en backbones.

De auteurs positioneren SAFETY SENTRY als een noodzakelijke laag in een "defense-in-depth" strategie, die de automation bias en alarmmoeheid aanpakt die worden veroorzaakt door huidige binaire guardrails.