Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

Probleemstelling

Large Language Model (LLM) agents worden steeds vaker ingezet om externe tools aan te roepen (zoals e-mail, agenda's of webacties). De veiligheid van deze agents hangt niet alleen af van hun tekstgeneratie, maar vooral van de veiligheid van hun tool-call workflows. Hoewel er recent veel benchmarks zijn ontwikkeld om agents te evalueren in diverse omgevingen en risicocategorieën, blijft een fundamentele vraag onbeantwoord: hoe compleet zijn deze bestaande testsuites?

De auteurs stellen dat bestaande benchmarks vaak gericht zijn op de diversiteit van omgevingen en tools, maar geen systematische methode bieden om de ruimte van onveilige gedragspatronen te karakteriseren of te kwantificeren hoeveel daarvan daadwerkelijk getest is. Zelfs als een agent een benchmark haalt, kunnen er nog onveilige interactiepatronen bestaan die door kleine veranderingen in de gebruikerscontext of ambiguïteiten in tool-API's worden geactiveerd. Er is dus een "meta-audit" nodig om de blindvlekken van bestaande benchmarks te ontdekken.

Methodologie: SafeAudit

Om dit gat te dichten, introduceren de auteurs SafeAudit, een meta-audit framework dat bestaat uit twee kerncomponenten:

1. LLM-gebaseerde Enumeratie (Test Case Generator)

In plaats van testcases willekeurig te genereren, gebruikt SafeAudit een twee-fasen proces om systematisch onveilige interactiepatronen te enumereren:

• Fase 1 (Abstractie): Een LLM genereert eerst hoog-niveau beschrijvingen van onveilige interactiepatronen. Dit gebeurt door geldige tool-call workflows te analyseren en te identificeren waar en hoe een agent kan falen (bijv. bij het opzoeken van data, het uitvoeren van een actie met verouderde parameters, of het overslaan van verificatiestappen). De focus ligt op de structuur van de tool-call keten in plaats van direct op de tekst.
• Fase 2 (Concretisering): Deze abstracte patronen worden omgezet in concrete, uitvoerbare testcases die passen bij de specifieke omgeving en toolset van de target agent. De generator varieert hierin de gebruikersrollen en bedrijfscontexten om realistische scenario's te creëren (bijv. van een CFO die loonlijsten verwerkt tot een vrijwilliger die subsidies uitdeelt).

2. Rule-Resistance (Kwaliteitsmeting)

Om de volledigheid van een testset te meten, introduceren de auteurs de metric rule-resistance. Dit is een niet-semantische, kwantitatieve maatstaf:

• Rule Extractie: Uit een bestaande benchmark worden compacte veiligheidsregels (bijv. "MUST NOT sturen zonder verificatie") geëxtraheerd en gecomprimeerd tot een kleine set ($R_{bench}$).
• Evaluatie: Deze regels worden sequentieel toegevoegd aan de system prompt van de target agent. Vervolgens wordt getest of de door SafeAudit gegenereerde testcases nog steeds onveilig zijn.
• Definitie van Nieuwheid: Een testcase wordt beschouwd als "onbedekt" (novel) als de agent er nog steeds onveilig op reageert, zelfs nadat alle regels uit de bestaande benchmark zijn toegepast. De Uncovered Rate (UR) is het percentage van deze resterende onveilige cases.

Kernbijdragen

1. Systematische Enumeratie: Ontwerp van een LLM-gebaseerde enumerator die de ruimte van geldige agent-workflows systematisch verkent door tool-call ketens en gebruikersscenario's te combineren, wat leidt tot een bredere dekking dan ad-hoc prompting.
2. Rule-Resistance Protocol: Introductie van een verifieerbaar evaluatieprotocol dat de volledigheid meet op basis van tool-call traces in plaats van subjectieve semantische vergelijking. Dit biedt een objectieve maatstaf voor de dekking van benchmarks.
3. Empirische Validatie: Analyse van 3 benchmarks (AgentSafetyBench, AgentHarm, ToolSafety) over 12 omgevingen en 8 verschillende LLM-backbones. Het onderzoek toont aan dat bestaande benchmarks systematisch meer dan 20% van de onveilige interactiepatronen over het hoofd zien.

Resultaten

De experimenten tonen overtuigende resultaten:

• Hogere Uncovered Rate: SafeAudit vindt consistent meer onveilige gevallen dan baselines zoals DirectGen (directe generatie) en SIRAJ (categorie-gedreven generatie). In veel omgevingen ligt de Uncovered Rate voor SafeAudit aanzienlijk hoger (bijv. tot 69,6% in de Health-omgeving van AgentSafetyBench, vergeleken met ~20% voor baselines).
• Novelty: Ongeveer 11% van de onveilige patronen die door SafeAudit worden gevonden, zijn volledig nieuw en worden niet gedekt door de bestaande test suites onder dezelfde tools en omgevingen.
• Schaling: De dekking neemt monotoon toe naarmate het testbudget (aantal gegenereerde cases) toeneemt, wat aantoont dat de enumerator continu nieuwe patronen ontdekt.
• Robuustheid: De resultaten zijn consistent over verschillende judge-modellen (LLM-as-a-judge) en verschillende target LLMs (van GPT-4o-mini tot Llama-3.1-8B).
• Geen Utility-verlies: Het toevoegen van de afgeleide regels aan de system prompt leidt niet tot een significante daling in de prestaties op veilige, benigne taken (gemiddelde daling van slechts ~5%), wat aantoont dat de regels geen overmatige weigering (over-refusal) veroorzaken.

Betekenis en Conclusie

Het paper benadrukt dat het simpelweg "slagen" voor een bestaande benchmark geen garantie is voor de veiligheid van een LLM-agent in de echte wereld. Bestaande benchmarks missen vaak complexe, structurele foutpatronen die ontstaan door ambiguïteit in tool-parameters of instructieconflicten.

SafeAudit biedt een noodzakelijke aanvulling op huidige evaluatiemethoden door:

1. Een kwantitatieve maatstaf te bieden voor de volledigheid van benchmarks.
2. Systematisch blindvlekken te identificeren die door menselijke curators of simpele prompt-engineering worden gemist.
3. Een pad te banen voor het verbeteren van agent-veiligheid door deze nieuwe, onbedekte patronen te gebruiken voor training of verfijning van guardrails.

De auteurs concluderen dat meta-auditing essentieel is om de kloof tussen theoretische benchmark-prestaties en de daadwerkelijke veiligheid van agents in productieomgevingen te dichten.