What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents

Technische Samenvatting: Wat benchmarks niet meten: Het geval van het evalueren van onthoudingsbekwaamheid bij autonome agenten

Probleemstelling
Huidige evaluatieparadigma's voor autonome agenten zijn systematisch blind voor een kritieke foutmodus: doorgaan wanneer een agent zou moeten pauzeren. Dominante benchmarks meten taaksucces (voltooide ratio's, aantal stappen, nauwkeurigheid van antwoorden), maar missen scenario's waarin het juiste grondwaarheidsgedrag het onthouden (abstention) is. Bijgevolg ontwikkelen agenten die getraind zijn onder doelstellingen gebaseerd op menselijke feedback een structurele "compliance bias" (gehoorzaamheidsvooroordeel): een neiging om door te gaan, zelfs wanneer de benodigde input, bewijslast of autorisatie ontbreekt. Deze bias is diep geworteld omdat scoringregimes in benchmarks het doorgaan behandelen als de standaard correcte actie, waarbij ze agenten vaak straffen voor het pauzeren (bijv. via vaste stappenbudgetten) of er niet in slagen een principiële pauze te onderscheiden van een stille fout. Het artikel betoogt dat deze evaluatiekloof de ontwikkeling van agenten die in staat zijn tot "geïnformeerde onthouding" (informed abstention) verhindert, wat leidt tot onomkeerbare, gevaarlijke toestandsveranderingen in bedrijfsomgevingen.

Methodologie
De auteurs stellen een raamwerk voor om "geïnformeerde onthouding" te evalueren en af te dwingen, gedefinieerd als een gestructureerde pauze die wordt getriggerd door specifieke niet-voldane condities in plaats van abstract vertrouwen.

1. Taxonomie van onthoudingswaardige scenario's: Het artikel introduceert een drie-gap-taxonomie om te categoriseren wanneer een agent moet pauzeren:

   • Specificatie-gat (Specification Gap): Vereiste informatie is afwezig (gedefinieerd door de tool-schema, niet door modelvertrouwen). De passende respons is gerichte verheldering.
   • Verificatie-gat (Verification Gap): De agent kan de noodzakelijke wereldtoestand niet bevestigen voordat hij handelt. De passende respons is een begrensde verificatiestap.
   • Autorisatie-gat (Authority Gap): De actie vereist expliciete autorisatie voor een bindende verbintenis of een impactvolle verandering. De passende respons is een commitment-pauze waarbij om goedkeuring wordt gevraagd.

2. Evaluatieprotocollen: Om onthoudingsbekwaamheid te meten, stellen de auteurs drie samengestelde metrieken voor:

   • Veiligheidspercentage (Safety Rate - SR): Het fractie van gevaarlijke scenario's waarbij de agent een blokkerende respons produceert.
   • Bruikbaarheidspercentage (Usability Rate - UR): Het fractie van veilige scenario's waarbij de agent de taak voltooit zonder onnodige frictie.
   • Geïnformeerde Weigeringspercentage (Informed Refusal Rate - IRR): Het fractie van blokkerende responsen die expliciet de niet-voldane voorwaarde benoemen, waardoor onderscheid wordt gemaakt tussen gekalibreerde veiligheid en vage overmatige weigering.

3. Experimentele Opzet:

   • Dataset: 144 enterprise agent-scenario's afgeleid van 24 door mensen geschreven zaadjes (seeds), uitgebreid met 120 gevaarlijke scenario's (gecategoriseerd volgens de drie gaten) en 24 overeenkomstige veilige controles.
   • Modellen: Zeven modelfamilies (GPT-4o, GPT-5.4-mini, Llama 3.1 8B, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 2.5 Flash) gebruikmakend van een ReAct-architectuur.
   • Condities: Drie evaluatiecondities werden getest:
     • Baseline: Geen onthoudingsbeleid.
     • Prompt-Only: Veiligheidsinstructies via systeemprompt.
     • Checkpoint: Runtime-handhaving via een pre-executie hook (InformedAbstentionToolWrapper) die schema-checks, state polling en autorisatieverificatie uitvoert met behulp van een aparte guard-model.

Belangrijkste Resultaten
De voorlopige resultaten over 144 scenario's en vijf modelfamilies onthullen significante bevindingen met betrekking tot de veiligheid-bruikbaarheid trade-off:

• Universele Compliance Bias: Alle modellen vertoonden compliance bias bij de baseline, maar de foutmodi varieerden. Sommige modellen (bijv. Llama 3.1 8B) kozen standaard voor "doorgaan" (hoge Usability, lage Safety), terwijl andere (bijv. Claude Opus 4.6) kozen voor "weigeren" (hoge Safety, bijna nul Usability).
• De Prompt-Only Cliff: Vertrouwen op enkel systeemprompts om veiligheid af te dwingen bleek onbetrouwbaar. Voor sterk op veiligheid afgestemde modellen zoals Claude Opus 4.6, veroorzaakten prompt-only beleid een "usability cliff", waarbij de Usability Rate naar bijna 0% daalde omdat modellen veiligheidsinstructies interpreteerden als absolute overrides van de gebruikersintentie. Daarentegen vertoonden sommige modellen verbeterde bruikbaarheid met prompts, wat benadrukt dat het effect modelafhankelijk en onvoorspelbaar is.
• Effectiviteit van Runtime-handhaving: De Checkpoint-conditie behaalde de hoogste prestaties over alle modellen:
  • Safety: Alle modellen convergeerden naar een Safety Rate tussen de 88% en 91%, wat suggereert dat er een structurele bovengrens is waarbij agenten van nature weigeren zonder tools aan te roepen.
  • Usability: Runtime-handhaving herstelde de bruikbaarheid dramatisch voor modellen die voorheen overmatig weigerden (bijv. +87,5 procentpunt voor GPT-4o en +70,9 voor Claude Opus 4.6 vergeleken met prompt-only).
  • Informed Refusal: De Checkpoint-architectuur garandeerde een IRR van 100% door ontwerp, aangezien de wrapper altijd een gestructureerde uitleg gaf voor blokkades, terwijl baseline en prompt-only modellen vertrouwden op geschatte LLM-judges en een lagere IRR lieten zien.
• Complexiteit van het Verificatie-gat: Het Verificatie-gat bleek de meest uitdagende scenario-type voor alle modellen bij de baseline, met de grootste winsten onder de Checkpoint-conditie, wat de hypothese ondersteunt dat zelfkennis degradeert onder distributieverschuiving (distribution shift).

Betekenis en Claims
Het artikel positioneert deze resultaten als voorlopig werk bedoeld om verdere discussie binnen de benchmark-gemeenschap te stimuleren. De primaire bijdragen zijn:

1. Theoretische Verklaring: Identificeren dat het onvermogen om onthoudingsbekwaamheid te meten een direct gevolg is van reward hacking in menselijke feedback-pipelines en het ontwerp van huidige benchmarks.
2. Taxonomie en Metrieken: Het bieden van een principieel vocabulaire (de drie-gap-taxonomie) en een samengestelde metriekenreeks (SR, UR, IRR) om onthouding zichtbaar en evalueerbaar te maken.
3. Demonstratie van Haalbaarheid: Aantonen dat de veiligheid-bruikbaarheid trade-off niet inherent is maar afstembaar, en dat runtime-handhaving zowel de "over-refusal" als de "under-refusal" foutmodi tegelijkertijd kan oplossen.

De auteurs concluderen dat benchmarks moeten evolueren om scenario's te bevatten waarin pauzeren de juiste grondwaarheid is. Zonder dergelijke veranderingen zullen trainingsprikkels blijven bijdragen aan het versterken van de compliance bias, wat de inzet van agenten die betrouwbaar kunnen stoppen wanneer dat nodig is, in de weg staat. De voorgestelde tools worden aangeboden als startpunt voor het testen tegen bredere agent-architecturen en implementatiedomeinen.