Technische Samenvatting: A Matter of TASTE: Verbetering van Dekking en Moeilijkheidsgraad van Agent-benchmarks

Probleemstelling

Naarmate de mogelijkheden van hulpmiddel-gebruikende agents vooruitgang boeken, raken bestaande benchmarks (zoals $\tau^2$-Bench) steeds verzadigd, waarbij toonaangevende modellen prestaties dicht bij het plafond bereiken. Het construeren van nieuwe, uitdagendere benchmarktaken blijft echter een complex, kostbaar en arbeidsintensief proces dat afhankelijk is van handmatige auteurschap. Bovendien faalt de standaardconstructieaanpak – waarbij auteurs eerst natuurlijke taal-scenario's schrijven en vervolgens hulpmiddelsequenties afleiden – om de ruimte van geldige hulpmiddelcombinaties expliciet te verkennen. Bijgevolg vangen huidige benchmarks vaak slechts een smal subset van hulpmiddel-gebruikspatronen, wat leidt tot "verzadiging" waarbij hoge scores de afwezigheid van diverse uitdagingen weerspiegelen in plaats van robuuste taakoplossende vaardigheden. Er is een dringende behoefte aan methoden voor automatische benchmarkgeneratie die Geldigheid (taken zijn oplosbaar en verifieerbaar), Moeilijkheidsgraad (taken onderscheiden agentcapaciteiten op betekenisvolle wijze) en Dekking (taken omvatten structureel diverse hulpmiddel-gebruikspatronen) kunnen garanderen.

Methodologie: TASTE

De auteurs stellen TASTE (Task Synthesis from Tool Sequence Evolution) voor, een automatische methode voor het genereren van uitdagende agent-benchmarktaken door het traditionele constructieproces om te keren. In plaats van te beginnen met scenario's, start TASTE met hulpmiddelsequenties en synthetiseert volledige taken rondom deze sequenties. De methode werkt in drie fasen:

Fase 1: Steekproefneming van Hulpmiddelsequenties

Om Dekking en Geldigheid aan te pakken, hanteert TASTE een Adaptief Contrastief n-grammodel dat is getraind op de ruimte van hulpmiddelsequenties.

• Modelarchitectuur: Het model onderhoudt aparte teltabellen ($C^+$ en $C^-$) voor n-grammen die worden waargenomen in respectievelijk "plausibel geldige" en "onplausibel geldige" sequenties.
• Training: Het maakt gebruik van een iteratieve genereren-en-verifiëren-lus. Sequenties worden autoregressief gestoken en beoordeeld door een Groot Taalmodel (LLM) op plausibiliteit. Geldige sequenties updaten $C^+$, terwijl ongeldige sequenties $C^-$ updaten.
• Contrastieve Steekproefneming: De steekproefkans voor het volgende hulpmiddel wordt afgeleid uit de verhouding van de positieve en negatieve scores, waarbij n-grammen geassocieerd met ongeldige sequenties worden bestraft. Dit stelt het model in staat om de ruimte van hulpmiddelcombinaties te verkennen terwijl het waarschijnlijkheidsmassa concentreert op geldige sequenties.

Fase 2: Clustering en Selectie

Om ervoor te zorgen dat de benchmark diverse patronen vertegenwoordigt zonder redundantie, selecteert TASTE een representatief subset van sequenties uit de gestoken pool.

• Clustering: De auteurs gebruiken K-medoids clustering om de pool van duizenden kandidaat-sequenties te partitioneren in $K$ clusters (waarbij $K$ de gewenste benchmarkgrootte is).
• Afstandsmaat: Een gewogen Levenshtein-afstand wordt gebruikt in plaats van de standaard bewerkingsafstand. Substitutiekosten zijn lager voor hulpmiddelen met vergelijkbare functies of typen (bijvoorbeeld twee zoekhulpmiddelen) en hoger voor hulpmiddelen met verschillende typen (lezen versus schrijven). Dit zorgt ervoor dat clusters semantisch coherent zijn.
• Selectie: De medoïde (centrale sequentie) van elke cluster wordt geselecteerd als vertegenwoordiger. Ongeldige medoïden worden vervangen door het volgende dichtstbijzijnde geldige lid van de cluster.

Fase 3: Taakgeneratie en Evolutie

Elke geselecteerde hulpmiddelsequentie wordt geïnstancierd tot een volledige benchmarktaak en vervolgens geëvolueerd om de Moeilijkheidsgraad te verhogen.

• Generatie van Basistaak: Een LLM construeert een coherent realistisch scenario (gebruikersinstructie $u$) en initialiseert de databasestatus ($s_0$) om de specifieke hulpmiddelsequentie te ondersteunen.
• Verificatie van Geldigheid: Taken ondergaan regelgebaseerde checks en een simulatie van een hint-ondersteunde verifiër-agent. De verifiër probeert de taak op te lossen met behulp van een gewijzigde en gedeeltelijk gemaskeerde versie van de gouden hulpmiddelsequentie. Succes bevestigt dat de taak oplosbaar is.
• Evolutie van Moeilijkheidsgraad: Om realistische, adversariele omstandigheden te simuleren, wordt de basistaak geëvolueerd via drie stappen:
  1. Strategieanalyse: Het identificeren van kansen voor verwarring (bijvoorbeeld schendingen van beleidsregels, ambigu verzoek).
  2. Omgevingsperturbatie: Het toevoegen van "misleidende" databaserecords (bijvoorbeeld een volledig geboekte vlucht op een gewenste route) die lijken op het doel maar ongeldig zijn.
  3. Herschrijven van Scenario: Het herschrijven van de gebruikersinstructie om minder cooperatief, ambigu of adversarieel te zijn, waardoor de agent wordt gedwongen om door verwarring te navigeren terwijl het zich aan het beleid houdt.

Belangrijkste Bijdragen

1. Verlangens voor Benchmarks: Het artikel formuleert en operationaliseert drie kritieke eigenschappen voor hulpmiddel-gebruikende agent-benchmarks: Geldigheid, Moeilijkheidsgraad en Dekking. Cruciaal is dat het Dekking definieert in termen van de diversiteit van gouden hulpmiddelsequenties in plaats van oppervlakkige linguïstische variatie.
2. TASTE-kader: Het voorstellen van TASTE, een volledig geautomatiseerde pijplijn die de ruimte van hulpmiddelsequenties direct verkent om taken te genereren die voldoen aan de drie verlangens zonder handmatige curatie.
3. $\tau^c$-Bench: De constructie van $\tau^c$-Bench, een uitdagende uitbreiding van $\tau^2$-Bench over drie domeinen (Luchtvaart, Detailhandel, Telecommunicatie). Deze dataset vertoont aanzienlijk hogere moeilijkheidsgraad en bredere dekking dan zijn voorganger.

Resultaten

De auteurs evalueerden 11 agent/gebruiker-LLM-paren op $\tau^c$-Bench en vergeleken deze met de prestaties op de originele $\tau^2$-Bench (Geverifieerde versie, $\tau_{BV}$).

• Daling in Prestaties: Modellen die $\tau_{BV}$ bijna verzadigden, leden aan ernstige prestatiedalingen op $\tau^c$-Bench. Bijvoorbeeld, Gemini-3-Flash daalde van een score van 0,82–0,94 op $\tau_{BV}$ naar 0,28–0,61 op $\tau^c$-Bench (een relatieve daling van tot wel 80%).
• Verhoogde Moeilijkheidsgraad: De geëvolueerde taken waren aanzienlijk moeilijker, met succespercentages die daalden met 16–55%, afhankelijk van het gebruikte evolutiemodel.
• Uitgebreide Dekking: $\tau^c$-Bench verdubbelde het aantal unieke hulpmiddelcombinaties dat agents moeten uitvoeren meer dan.
  • Gewogen Bewerkingsafstand (WED): Toename met tot wel 124%.
  • Type-Token Ratio (TTR): Toename met tot wel 111%, wat wijst op een veel hogere diversiteit aan n-gram hulpmiddelsequenties.
  • Entropie: De entropie van de hulpmiddelfrequentieverdeling nam toe met 35%, wat een minder scheef, diverser gebruik van hulpmiddelen aangeeft.

Betekenis en Beweringen

Het artikel beweert dat hoge scores op bestaande benchmarks vaak verzadiging weerspiegelen in plaats van robuuste taakoplossende vaardigheid. Door aan te tonen dat state-of-the-art modellen aanzienlijk worstelen met de door TASTE gegenereerde taken, betogen de auteurs dat huidige benchmarks niet in staat zijn de volledige complexiteit van hulpmiddel-gebruikspatronen vast te leggen.

De betekenis van TASTE ligt in het vermogen om de generatie van moeilijke, hoog-dekkende benchmarks te automatiseren, waardoor continue en schaalbare evaluatie van toekomstige agents mogelijk wordt. Door het constructieproces om te keren om hulpmiddelsequenties te prioriteren, zorgt TASTE ervoor dat benchmarks de structurele diversiteit van agentgedrag verkennen in plaats van te vertrouwen op willekeurige auteurskeuzes. De auteurs positioneren dit werk als een noodzakelijke stap om evaluatiestagnatie te voorkomen naarmate agentcapaciteiten blijven vooruitgang boeken.