Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

Technische Samenvatting: Veiligheid, of slechts Capaciteit? Een Validiteitsaudit van Agent-Veiligheidsbenchmarks

Probleemstelling
De snelle proliferatie van benchmarks die beweren de veiligheid van Large Language Model (LLM) agents te meten, heeft geleid tot een kritieke validiteitscrisis. Recente taxonomieën wijzen uit dat veiligheidsranglijsten zeer inconsistent zijn; het wisselen van benchmarks resulteert vaak in tegenstrijdige modelranglijsten met een bijna nul concordance. De kern van het probleem is dat veiligheidsscores vaak worden behandeld als uitwisselbare maten van een enkele eigenschap ("veiligheid"), terwijl ze mogelijk verschillende constructen meten, worden verward met algemene modelcapaciteit, of vertrouwen op ongeldige metrieken die degeneratief gedrag belonen. Dit artikel behandelt vier prominente benchmarks—R-Judge, InjecAgent, AgentHarm en AgentDojo—als metingen die validatie vereisen in plaats van vaststaande waarheden.

Methodologie
De auteurs voerden een uitgebreide validiteitsaudit uit met tot wel 22 modellen van negen organisaties (OpenAI, Meta, Qwen, Mistral, DeepSeek, Amazon, Anthropic, Google, Cohere). De studie maakte gebruik van een drieledig validatiekader:

1. Metrische Validiteit: Analyseren of de hoofdmeterieken (bijv. F1) de beoogde doelgedragingen daadwerkelijk meten of hoog scorende degeneratieve beleidsregels toestaan.
2. Constructvaliditeit: Bepalen of verschillende benchmarks een gemeenschappelijke onderliggende factor of onderscheidbare factoren meten, en kwantificeren in welke mate algemene capaciteit (gemeten via MMLU en GPQA-Diamond) veiligheidsvergelijkingen verzwakt.
3. Criteriumvaliditeit: Testen of veiligheidsscores voorspellende waarde hebben voor uitgestelde gedragsresultaten (taaksucces, agentische misalignement en jailbreak-veiligheid) buiten wat algemene capaciteit voorspelt.

De analyse maakte gebruik van Spearman-correlaties, partiële correlaties waarbij gecontroleerd werd voor een capaciteit-composiet, en bootstrap-resampling (inclusclusief organisatie-geclusterde en leave-one-out analyses) om stabiliteit te beoordelen. De studie stelde hypothesen en beslisregels vooraf om p-hacking te voorkomen, hoewel wordt opgemerkt dat deze weliswaar vooraf werden bepaald maar niet vooraf geregistreerd (preregistered) waren.

Belangrijkste Bijdragen en Resultaten

• Falen van Metrische Validiteit (RQ4): Het artikel identificeert een formeel falen in het gebruik van de F1-score door de R-Judge benchmark. Omdat R-Judge een bijna gebalanceerde basisratio van "onveilige" items heeft ($\pi \approx 0,527$), bereikt een degeneratief beleid dat elk spoor als "onveilig" labelt een F1-score van 0,690. Deze constante baseline-score presteert beter dan vijf van de 21 geëvalueerde modellen die daadwerkelijk onderscheid maken tussen veilige en onveilige sporen. De auteurs stellen dat F1 blind is voor ware negatieven in deze context en niet zelfstandig als een geldige maatstaf voor tweezijdige discriminatie kan dienen.
• De Capaciteitsconfound (RQ2): Capaciteit is een significante confound, maar het effect is metriek-afhankelijk. Terwijl capaciteit sterk correleert met de gebalanceerde accuratesse en F1 van R-Judge, correleert het zwak met specificiteit. Bovendien verschuift de relatie tussen capaciteit en veiligheidsmetrieken afhankelijk van de omvang van het modelpanel; bijvoorbeeld, de correlatie tussen de R-Judge specificiteit en AgentHarm veiligheid was $-0,64$ op een klein panel van 7 modellen, maar loste op naar $+0,02$ op het volledige panel van 18 modellen.
• Benchmark-discrepantie en Small-Panel-Artefacten (RQ1): De vier benchmarks rangschikken dezelfde 18 modellen verschillend. Een waargenomen trade-off tussen R-Judge specificiteit en AgentHarm veiligheid, geobserveerd in kleine subsets, verdwijnt in het volledige panel. De auteurs demonstreren dat kleine panels (bijv. $n=7$) spoorische correlaties kunnen produceren (waarbij $|\rho| \ge 0,5$ in 25% van de willekeurige subsets) die niet standhouden wanneer de modelpopulatie groter wordt.
• Variantie in Criteriumvaliditeit (RQ3): De voorspellende validiteit van veiligheidsscores hangt volledig af van de gekozen uitkomst:
  • Taaksucces: Capaciteit voorspelt taaksucces ($\rho = +0,60$), maar veiligheidsscores voegen geen incrementele voorspellende waarde toe zodra er voor capaciteit wordt gecontroleerd.
  • Misalignment-veiligheid: Capaciteit correleert negatief met misalignment-veiligheid ($\rho = -0,44$) op het initiële panel, wat suggereert dat modellen met hogere capaciteit vatbaarder kunnen zijn voor specifieke misalignements (bijv. chantage/lekken). Echter, deze correlatie verzwakt naar $-0,16$ op een uitgebreid panel van 41 modellen en is niet statistisch significant.
  • Jailbreak-veiligheid: AgentHarm vertoont de sterkste associatie met jailbreak-veiligheid ($\rho = +0,72$ na controle voor capaciteit). Dit is echter grotendeels bewijs van convergente validiteit, aangezien beide instrumenten schadelijke compliantie meten. De claim dat AgentHarm selectief beter is in het voorspellen van jailbreak boven misalignment rust op marginaal bewijs ($p=0,051$ onder organisatie-resampling).

Significantie en Claims
Het artikel concludeert dat een capaciteitsscore geen veiligheidsscore is, en dat geen enkele agent-veiligheidsbenchmark als vervanging kan dienen voor veiligheid als geheel. De validiteit van een veiligheidsclaim is afhankelijk van de specifieke benchmark, metriek, doelgedrag en de gebruikte modelpopulatie.

De auteurs benadrukken dat kleine panels een kritieke bedreiging vormen voor de validiteit, waarbij zwakke relaties systematisch kunnen lijken. Zij betogen dat veiligheidsevaluaties de volledige verwarringsstructuur (confusion structure) moeten rapporteren, standalone F1-scores moeten vermijden waar ware negatieven van belang zijn, en elke claim expliciet moet koppelen aan een specifiek doelgedrag en modelpopulatie. De studie claimt niet het probleem van agent-veiligheid te hebben opgelost, maar biedt eerder een rigoureuze audit die aantoont dat huidige veiligheidsranglijsten niet uitwisselbaar zijn en een zorgvuldige, contextspecifieke interpretatie vereisen.