Technische Samenvatting: PluginEval

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker fungeren als autonome agenten, is een betrouwbare evaluatie van tool routing (function calling) cruciaal. Huidige benchmarks lijden aan drie structurele beperkingen:

1. Dataverdeling-bias: Power-law distributies laten zeldzame scenario's en randgevallen ondervertegenwoordigd.
2. Gebrek aan Adversariële Rigor: De afwezigheid van harde negatieven maskeert de prestatieverschillen tussen modellen.
3. Niet-gevalideerde Annotatie-pipelines: Veel benchmarks vertrouwen op LLM-oordelen voor annotatie die niet zijn gevalideerd via daadwerkelijke uitvoering, wat kan leiden tot semantische fouten ondanks structurele correctheid.

Bovendien richten bestaande benchmarks zich vaak op geaggregeerde succespercentages of aanroep-syntaxis, waarbij ze falen in het diagnosticeren van specifieke foutmodi zoals gemiste tool-aanroepen, onterechte aanroepen of fouten in parameter-grounding. Er is een specifieke behoefte aan een benchmark die betrouwbare, op uitvoering gebaseerde annotatie combineert met gestructureerde dekking van trigger- en exclusie-grenzen, met name voor Chinese queries die vaak ambigu of contextafhankelijk zijn.

Methodologie: Het PluginEval Closed-Loop Construction Framework (PCCF)

Het paper introduceert PluginEval, een benchmark die is geconstrueerd via een twee-fasen, closed-loop framework (PCCF) ontworpen om de betrouwbaarheid van annotatie te scheiden van de dekkingseisen.

Taakformulering

Tool routing wordt geformuleerd als een hiërarchie van drie beslissingen:

1. Noodzakelijkheid ($f_1$): Is een tool vereist?
2. Relevantie ($f_2$): Is de doel-plugin relevant?
3. Invocatie ($f_3$): Kan de aanvraag worden gegrond in een geldige invocatie met correcte argumenten, of moet deze worden afgewezen?

Fase I: Executie-Gegronde Ensemble Annotatie

Deze fase richt zich op het vestigen van betrouwbare annotaties voor zowel echte als synthetische queries.

• Generatie: Meerdere generatoren stellen onafhankelijk volledige invocaties voor.
• Verificatie: Voorstellen ondergaan een meerstaps verificatieproces:
  • Deterministische Schema Validatie: Controleert de structurele geldigheid.
  • Argument Evaluatie: Een LLM-evaluator controleert of argumenten worden ondersteund door de query en consistent zijn met de plugin-semantiek.
  • Executie: Voorstellen worden uitgevoerd via MCP (Model Context Protocol).
  • Resultaat Evaluatie: Een aparte evaluator controleert of de uitvoering-respons aan de gebruikersaanvraag voldoet.
• Verfijningslus: Voorstellen die verificatie falen (door schema-schendingen, uitvoeringsfouten of semantische mismatches) worden behouden als traces. Deze traces, samen met onafhankelijke evaluator-scores, worden teruggekoppeld naar generatoren voor verfijning. Dit proces herhaalt zich voor een maximaal aantal $R_{max}$ rondes totdat een voorstel een vertrouwensdrempel $\tau$ bereikt of wordt afgewezen als een gerechtvaardigde onthouding.

Fase II: Scenario-Gegronde Synthese en Gedragscalibratie

Deze fase adresseert hiaten in de dekking en moeilijkheidsgraad-calibratie.

• Scenario Decompositie: Plugins worden gedecomposeerd in trigger scenario's (ondersteunde aanvragen) en exclusie scenario's (aanvragen die geen tool, andere tools vereisen, of de capaciteiten overschrijden).
• Doelgerichte Synthese: Het systeem identificeert onderbedekte eenheden (combinaties van capaciteit, intentie en grenzen) en synthetiseert nieuwe queries om deze hiaten op te vullen.
• Moeilijkheidsgraad Calibratie:
  • Positieve Voorbeelden: Moeilijkheid is gebaseerd op inferentie-diepte (0, 1, of $\ge$2 stappen).
  • Negatieve Voorbeelden: Moeilijkheid wordt gekalibreerd op basis van gedragsevidentie. Een bevroren referentie-router evalueert de gesynthetiseerde negatieve $K$ keer. Als de router consistent faalt om de negatieve aanvraag af te wijzen (hoge false positive rate), wordt het voorbeeld als "Hard" beschouwd. Als het gemakkelijk wordt afgewezen, is het "Easy".
• Closed Loop: Gesynthetiseerde voorbeelden worden teruggestuurd naar Fase I voor verificatie. De lus gaat door totdat de budgetten voor dekking zijn behaald of verbetering stagneert.

Evaluatie Framework: Gold-Anchored Judge

Om verder te gaan dan geaggregeerde nauwkeurigheid, gebruikt het paper een Gold-Anchored LLM Judge:

• Input: Voorspelde calls, door mensen geverifieerde gold calls, en de gebruikersquery.
• Restrictie: De judge behandelt de gold call lijst als de enige anker. Het kan de gold specificaties niet uitbreiden of overschrijven.
• Hiërarchische Verificatie:
  1. Tool Alignment: Matcht tool-namen tussen voorspelling en gold.
  2. Argument Filtering: Zorgt voor niet-lege, vergelijkbare argument-sets.
  3. Semantische Verificatie: Bepaalt of voorspelde argumenten semantisch equivalent zijn aan gold-argumenten onder de query-intentie (staat aliassen en formattering-variaties toe, maar evalueert strikt de temporele scopes).
• Foutattributie: Fouten worden geclassificeerd in wederzijds uitsluitende categorieën:
  • Miss Recall: Ontbrekende vereiste tools.
  • Parameter Error: Semantisch incorrecte argumenten (onderverdeeld in temporele fouten, ontbrekende argumenten, incorrecte waarden).
  • Over Recall: Onterechte tool-activatie bij negatieve queries.

Belangrijkste Bijdragen

1. PluginEval Benchmark: Een Chinese function-calling benchmark met 3.000 door mensen geverifieerde instanties die 54 plugins, 63 tools en 9 domeinen beslaat. Het bevat expliciete trigger/exclusie scenario's, drie soorten boundary negatieven en gedragsmatig gekalibreerde moeilijkheidsgraad.
2. PCCF Framework: Een closed-loop constructiemethode die de betrouwbaarheid van annotatie (via executie-gegronde verificatie) ontkoppelt van de dekkingseisen (via scenario-synthese). Het maakt gebruik van schema-validatie, onafhankelijke evaluatie en tool-executie om annotaties te repareren.
3. Fijnmazige Foutattributie: Een evaluatieframework dat fouten toeschrijft aan specifieke oorzaken (miss recall, parameter errors, over recall) in plaats van te vertrouwen op geaggregeerde succesmetrieken.
4. Empirische Analyse: Evaluatie van vijf frontier LLM's (inclusief propriëtaire en open-weight modellen) die laat zien dat geaggregeerde scores zeer gevoelig zijn voor de compositie van de moeilijkheidsgraad en dat modellen onderscheidende foutprofielen vertonen.

Resultaten

Het paper evalueert vijf modellen: GPT-5.4, Claude 4.6, Gemini 3.1 Pro, DeepSeek-V4-Pro en Qwen3-235B-A22B.

• Prestatiegevoeligheid: Geaggregeerde prestaties zijn sterk afhankelijk van de moeilijkheidsgraad-distributie. Op de originele distributie (40% Easy, 40% Medium, 20% Hard) behaalde Claude Opus 4.6 de beste prestaties (67.60% Recall, 68.17% Accuracy). Echter, de prestaties dalen aanzienlijk op Hard instanties (Recall daalt naar 2.8%–10.8% over alle modellen).
• Impact van Moeilijkheidsgraad: Het verschuiven van de distributie naar een Easy-weighted model (60% Easy) verbeterde alle modellen aanzienlijk (Recall steeg met ~15–21 punten), wat aantoont dat huidige benchmarks capaciteiten kunnen overschatten als ze niet rigoureus gekalibreerd zijn.
• Vergelijking met Bestaande Benchmarks: Modellen presteren over het algemeen slechter op PluginEval dan op BFCL, APIBench of NexusRaven. Zo daalde de Recall van Claude Opus 4.6 van 73.04% op BFCL naar 67.60% op PluginEval. Dit suggereert dat PluginEval meer uitdagende, realistische en adversariële scenario's vangt.
• Foutprofielen:
  • GPT-5.4: Vertoonde de hoogste Miss Recall (33.72%) en de hoogste Over Recall (33.20%), wat duidt op aanzienlijke moeilijkheid bij zowel het identificeren van vereiste tools als het vermijden van onnodige calls.
  • Claude Opus 4.6: Had de laagste Miss Recall (13.95%), maar een hoge Over Recall rate (29.10%), die nog steeds hoger is dan die van Gemini, maar lager dan die van GPT-5.4.
  • Gemini 3.1 Pro: Bereikte de laagste Over Recall (18.55%), wat bijdroeg aan een competitieve nauwkeurigheid ondanks een lagere recall.
  • Temporele Fouten: Bij alle modellen waren temporele grounding-fouten de meest voorkomende parameter-foutsubtype, wat wijst op een gedeelde zwakte in het afhandelen van tijd-gebaseerde restricties.
• Betrouwbaarheid: Menselijke audits bevestigden een hoge overeenkomst (Fleiss' $\kappa$ tot 0.9451) op referentie-annotaties en judge-attributies, wat de betrouwbaarheid van de benchmark valideert.

Betekenis en Claims

Het paper claimt dat PluginEval de kritieke kloof adresseert in diagnostische evaluatie voor tool routing. Door verder te gaan dan geaggregeerde succespercentages, onthult het dat:

1. Geaggregeerde scores onderscheidenlijke foutmodi maskeren: Modellen met vergelijkbare totale scores kunnen falen om totaal verschillende redenen (bijv. tool selectie vs. parameter grounding).
2. De compositie van de moeilijkheidsgraad ertoe doet: Prestatierangschikkingen kunnen verschuiven op basis van de ratio van easy naar hard voorbeelden, wat gekalibreerde moeilijkheidsgraad-labels vereist die afgeleid zijn van modelgedrag.
3. Executie essentieel is voor vertrouwen: Het valideren van annotaties via daadwerkelijke API-executie en schema-checks is noodzakelijk om semantische correctheid te garanderen, niet alleen syntactische geldigheid.

De auteurs concluderen dat gestructureerde foutattributie noodzakelijk is om de ontwikkeling van robuustere agentic systemen te sturen, en dat hun closed-loop framework een reproduceerbare methode biedt voor het construeren van dergelijke diagnostische benchmarks.