🤖 AI

Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human

Dit artikel betoogt dat menselijk toezicht op LLM-agenten een probleem van hulpbronallocatie is in plaats van een eenvoudige classificatietaak, waarbij wordt aangetoond door middel van modellering en een nieuw open-source systeem dat vermoeidheid bij reviewers en subjectieve onenigheid een omgekeerde U-vormige veiligheidscurve creëren waarbij optimale bescherming vereist dat escalatiesnelheden onder de 100% worden gekalibreerd om flooding-aanvallen te voorkomen en rekening te houden met menselijke beperkingen.

Oorspronkelijke auteurs: Emre Turan

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emre Turan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer snelle, zeer capabele robotassistent hebt die code kan schrijven, bestanden kan verwijderen en zelfs wijzigingen op het internet kan doorvoeren. Omdat deze robot echte schade kan aanrichten, stel je een "menselijke bewaker" aan die de leiding heeft. De regel is simpel: als de robot iets risicovolle wil doen, moet hij pauzeren en de mens vragen: "Is dit oké?"

De meeste mensen gaan ervan uit dat hoe vaker de robot vraagt, hoe veiliger het systeem is. Ze denken: "Als de robot 500 keer per dag vraagt, zal de mens elke fout ontdekken!"

Dit artikel betoogt dat deze aanname onjuist is. Sterker nog, te veel vragen stellen kan het systeem juist minder veilig maken.

Hier is de uitsplitsing van de bevindingen van het artikel met behulp van eenvoudige analogieën:

1. Het "Stempelprobleem" (Menselijke Vermoeidheid)

Stel je voor dat de menselijke bewaker een beveiligingsbeambte is bij een drukke luchthaven.

Beambte A controleert 5 tassen per dag. Zij zijn fris, alert en kijken nauwkeurig naar elke tas.
Beambte B controleert 500 tassen per dag. De eerste 499 zijn gewoon normale sokken en shirts. Tegen de tijd dat de 500ste tas arriveert, is Beambte B uitgeput, verveeld en wil hij gewoon naar huis. Ze beginnen alles "af te stempelen" zonder er echt naar te kijken.

Het artikel laat zien dat als een kwaadwillende actor (een hacker) een gevaarlijke bom verstopt in een stroom van 499 onschuldige tassen, Beambte B de bom waarschijnlijk zal missen omdat hij moe is. Beambte A, die slechts 5 tassen controleerde, zou de bom onmiddellijk hebben opgemerkt.

De Les: Meer toezicht betekent niet altijd meer veiligheid. Als je de mens overlaadt met te veel "Is dit oké?"-vragen, stoppen ze met opletten, en glippen de gevaarlijke zaken erdoorheen.

2. Er is Geen "Perfect Antwoord" (Subjectiviteit)

Het artikel keek ook naar hoe mensen bepalen wat "risicovol" is. Ze vroegen aan drie verschillende mensen om 125 verschillende acties te labelen (zoals "een map verwijderen" of "een programma installeren").

Het resultaat: De mensen waren het slechts voor de helft met elkaar eens.
De analogie: Stel je voor dat je drie chefs vraagt of een soep "te zout" is. De één zegt ja, de ander zegt nee, en de derde is onzeker. Er is geen enkel "correct" antwoord.

Dit betekent dat we niet simpelweg kunnen zeggen: "De bewaker is 99% accuraat", omdat er geen perfect scorebord is om hen tegen af te zetten. Het label "risicovol" is vaak een kwestie van mening en context.

3. De "Sweet Spot" (De Inversie-U-curve)

De onderzoekers modelleerden de relatie tussen hoe vaak de robot om hulp vraagt en hoe veilig het systeem daadwerkelijk is. Ze vonden een curve in de vorm van een omgekeerde "U" (of een heuvel).

Te weinig vragen: De robot handelt te veel op eigen initiatief en maakt fouten. (Lage veiligheid).
Te veel vragen: De mens wordt moe, stopt met kijken en stempelt de slechte dingen af zonder te kijken. (Lage veiligheid).
De Sweet Spot: Er is een middenweg. Het veiligste systeem is een systeem waarbij de robot net genoeg om hulp vraagt om veilig te blijven, maar niet zo veel dat de mens opbrandt.

De Les: Het beste veiligheidsbeleid is niet "om toestemming vragen voor alles". Het is "om toestemming vragen voor de dingen die er echt toe doen, en de mens de makkelijke zaken laten afhandelen zonder dat ze moe worden."

4. De "Flooding Attack" (Overstromingsaanval)

Het artikel liet ook zien dat kwaadwillende actoren deze vermoeidheid tegen ons kunnen gebruiken.

De Aanval: Een hacker stuurt een stroom van 100 onschuldige verzoeken, gevolgd door één gevaarlijk verzoek.
Het Resultaat: Als het systeem is ingesteld om de mens over alles te informeren, wordt de mens moe bij het 100ste onschuldige verzoek en stempelt hij het 101ste gevaarlijke verzoek af zonder te kijken.
De Verdediging: Als het systeem "slim" is en alleen de mens vraagt over de echt verdachte zaken (en de onschuldige ruis negeert), blijft de mens fris en vangt hij het gevaarlijke verzoek op.

Samenvatting van Wat Dit Artikel Eigenlijk Doet

Dit artikel verzint geen nieuw type robot of een nieuwe manier om mensen minder moe te maken. Die ideeën bestaan al in andere vakgebieden.

In plaats daarvan is dit artikel als een meetlint.

Het heeft een hulpmiddel gebouwd om precies te meten hoeveel "vragen" te veel is.
Het bewees dat menselijke aandacht een beperkte bron is, zoals een batterij.
Het toonde aan dat als je die batterij leegtrekt door te veel triviale vragen te stellen, het systeem kwetsbaar wordt.

De Kernboodschap:
Om AI-agenten veilig te houden, moeten we niet alleen meer mensen op het probleem afvuren. We moeten slim zijn over wanneer we hen om hulp vragen. We moeten de aandacht van de mens beschermen, zodat ze nog steeds alert genoeg zijn om "Nee" te zeggen wanneer er een echt gevaar komt.

Technische Samenvatting: "Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human"

Probleemstelling
Terwijl Large Language Model (LLM) agents overgaan van het suggereren van code naar het uitvoeren van onomkeerbare acties (bijv. het deployen van code, het draaien van shell-commando's), is het standaard veiligheidsmechanisme een menselijke goedkeuringspoort (human-in-the-loop, HITL). De heersende aanname in het vakgebied is tweeledig: (1) er bestaat een grondwaarheid over de definitie van "risicovolle" acties, en (2) de menselijke beoordelaar is een perfecte, oneindig beschikbare oracle wiens betrouwbaarheid onafhankelijk is van het volume aan verzoeken.

Dit paper betoogt dat beide aannames onjuist zijn. Ten eerste is risicobeoordeling subjectief en contextafhankelijk; er ontbreekt een enkele correcte label. Ten tweede zijn menselijke beoordelaars endogeen aan het systeem; hun betrouwbaarheid neemt af naarmate het volume aan escalaties (belasting) toeneemt, wat leidt tot "goedkeuringsmoeheid" waarbij zij kwaadaardige acties goedkeuren om de wachtrij leeg te krijgen. Bijgevolg is een guard-beleid dat meer acties escaleert niet noodzakelijkerwijs veiliger; het kan het eindige aandachtsbudget uitputten dat vereist is voor echte dreigingen, wat resulteert in een veiligheidsoptimaal escalatiepercentage dat strikt lager ligt dan "alles escaleren."

Methodologie
De auteurs operationaliseren agent-toezicht als een selectief classificatieprobleem onder asymmetrische kosten en resource allocatie.

Dataset: Een gecureerde set van 125 handmatig gelabelde agent-acties, doelbewust gewogen naar moeilijke, ambigue en adversariële gevallen (bijv. geobfusceerde rm -rf, package.json wijzigingen, geheime exfiltratie). Labels zijn gecategoriseerd als veilig, goedkeuring, of geblokkeerd.
Guard Scoring: Acties worden gescoord door een LLM (standaard Haiku, met Sonnet voor vergelijking) op een risicoschaal van 0–100. Deterministische regels behandelen duidelijk afgebakende gevallen.
Meetframework:
- Noise Floor: Drie LLM-persona's (voorzichtig, pragmatisch, strikte naleving) labelen de dataset om de subjectiviteit van "risico" te kwantificeren, waarbij de Fleiss' $\kappa$ wordt berekend om een baseline voor overeenstemming vast te stellen.
- Kostengevoelige Kalibratie: Het systeem scant beslissingsdrempels ( $\theta$ ) om operatiecurves te genereren (Risk-Coverage, Expected Cost). Kosten zijn asymmetrisch: het missen van een gevaarlijke actie is catastrofaal (kosten 50), terwijl valse alarmen hinderlijk zijn (kosten 1).
- Endogene Beoordelaar Simulatie: Een vermoeidheidsmodel $r(\ell)$ wordt toegepast waarbij de betrouwbaarheid van de beoordelaar lineair afneemt nadat een capaciteitsdrempel $C$ wordt overschreden. Het systeem simuleert "danger-through" (succesvolle aanvallen) als een functie van de escalatiesnelheid, rekening houdend met zowel guard-missers als door vermoeidheid veroorzaakte menselijke missers.
- Attack Simulatie: Een flooding-aanval wordt gesimuleerd waarbij een tegenstander een enkele kwaadaardige actie begraaft in een stroom van onschuldige "filler" acties om de capaciteit van de beoordelaar uit te putten.

Belangrijkste Resultaten

Geen Grondwaarheid (Noise Floor): De overeenstemming tussen beoordelaars op de 125 acties is slechts matig (Fleiss' $\kappa = 0,52$ ). De "pragmatische" persona labelde 87 acties als veilig, terwijl de "voorzichtige" persona er slechts 45 als veilig labelde. Dit bevestigt dat veiligheidslabels betwistbaar zijn en afhangen van risicotolerantie, niet van objectieve waarheid.
Meetbare Limieten van de Guard: Op deze moeilijke set kan de guard niet veilig automatisch beslissen. Het kostenminimaliserende beleid onder asymmetrische kosten convergeert naar "bijna alles escaleren" om 0% gemiste gevaren te bereiken, wat resulteert in een hoog aantal valse alarmen. De Area Under the Risk-Coverage Curve (AURC) is 0,374 $\pm$ 0,002, wat de inherente beperking van de guard op ambigue inputs aangeeft.
De Inverted-U Veiligheidscurve: Het modelleren van de beoordelaar als endogeen onthult een inverted-U relatie tussen de escalatiesnelheid en de gerealiseerde veiligheid.
- Lage Escalatie: Hoge "danger-through" door guard-missers (het automatisch toestaan van risico's).
- Hoge Escalatie: Hoge "danger-through" door vermoeidheidsmissers (beoordelaars die rubber-stamping toepassen).
- Optimum: De veiligheidsoptimale escalatiesnelheid ligt strikt onder 100%. Voor een beoordelaarscapaciteit van 25 is de optimale snelheid 64%, wat een "danger-through" van 42% oplevert, terwijl volledige escalatie (100%) resulteert in een "danger-through" van 57%.
Defensie tegen Flooding: Een "load-aware" beleid (minder routinematige acties escaleren) verhoogt de vereiste inspanning van een aanvaller om vermoeidheid op te wekken aanzienlijk. Terwijl een paranoïde beleid (88% escalatie) een succesratio van 40% toestaat met slechts 50 filler-acties, behoudt een load-aware beleid (26% escalatie) een 0% succesratio totdat de aanvaller het systeem met ongeveer 100 acties overspoelt.
Model Afhankelijkheid: Sterkere modellen (Sonnet) verbeteren de prestaties licht (AURC 0,351 vs. 0,373), maar elimineren niet de noodzaak voor menselijk toezicht op moeilijke inputs. De resultaten zijn reproduceerbaar over verschillende seeds en temperaturen.

Bijdragen en Betekenis
Het paper stelt expliciet dat het geen aanspraak maakt op nieuwe mechanismen. Fatigue-aware deferral (FALCON), cost-sensitive deferral onder restricties (DeCCaF) en fatigue-based attacks zijn gevestigde voorgangers.

De bijdrage van het paper is toegepast en meetbaar gedreven:

Systeem Implementatie: Een open-source agent firewall en meetapparaat dat deze concepten samen operationaliseert in de context van LLM-agent actie-gating.
Empirische Meting: Het leveren van een gemeten "noise floor" voor agent-actie risico, waarmee wordt aangetoond dat de aanname van de sector over grondwaarheid in subjectieve domeinen onjuist is.
Kalibratie van Toezicht: Het transformeren van de vraag "Is mijn guard goed?" van een gok naar een meetbare curve (AURC, operatiepunten).
Demonstratie van de Inverted-U: Het aantonen dat in de specifieke context van LLM-agents "meer toezicht" ook "minder veilig" kan betekenen, en dat het veiligheidsoptimale beleid een middenweg is in de escalatiesnelheid, en niet maximale escalatie.

Beperkingen en Reikwijdte
De auteurs zijn bescheiden over hun claims:

De "inverted-U" is een modelleringsresultaat gebaseerd op een gesimuleerde vermoeidheidscurve, niet een empirische bevinding uit menselijke proefpersonen.
De dataset is klein (125 acties) en beperkt tot één domein (coderingsagents); de resultaten zijn demonstraties van het instrument, geen populatieschattingen.
De beoordelaars-persona's zijn LLM-proxies, geen echte mensen.
De reikwijdte is beperkt tot domeinen met subjectieve oordeelsvorming en vertraagde uitkomsten (bijv. agent gating, content moderatie), niet objectieve waarheidsdomeinen (bijv. bankfraude).

Conclusie
Het paper herformuleert agent-toezicht als een resource-allocatieprobleem waarbij menselijke aandacht eindig is. Het betoogt dat het escalatiebeleid van een guard niet alleen moet worden gekalibreerd om risico te detecteren, maar ook om de capaciteit van de beoordelaar te behouden om kritiek risico te detecteren. Door de trade-off tussen escalatievolume en beoordelaarsvermoeidheid te meten, identificeert het systeem een operatiepunt dat de veiligheid maximaliseert, waarmee bewezen wordt dat "alles escaleren" strikt suboptimaal is.