Technische Samenvatting: Evaluatie op Basis van Proxy-status voor Multi-turn Tool-Calling LLM-agenten

Probleemstelling

Interactieve Large Language Model (LLM)-agenten worden steeds vaker ingezet in industriële workflows (bijvoorbeeld e-commerce, accountbeheer) om multi-turn, multi-step tool-uitvoeringstaken op te lossen. Effectieve ontwikkeling vereist twee componenten: (1) een stabiele evaluatie die nauwkeurig weergeeft of een agent gebruikersdoelen bereikt, en (2) on-policy datageneratie om leren uit interactie en omgevingsfeedback mogelijk te maken.

Huidige agentic benchmarks (bijvoorbeeld $\tau$-bench, $\tau^2$-bench, AppWorld) maken gebruik van een "benchmark-as-omgeving"-paradigma met evaluatie op basis van de eindstatus. Hoewel deze benadering correcte scores toekent aan terminale database-statussen in plaats van rigide trajectmatching, vertrouwt deze volledig op deterministische backends. Het bouwen en itereren op deze deterministische engines vereist aanzienlijke engineeringinspanning (bijvoorbeeld schema-ontwerp, deterministische tools, asserties), waarbij sommige benchmarks tienduizenden regels code en uitgebreide unit-tests vereisen. Deze engineeringlast vertraagt de iteratie en beperkt de schaalbaarheid voor industriële toepassingen.

De centrale vraag die wordt behandeld is: Kunnen we de voordelen van evaluatie op basis van de eindstatus behouden zonder een zware deterministische backend te bouwen?

Methodologie: Evaluatie op Basis van Proxy-status

De auteurs stellen Evaluatie op Basis van Proxy-status voor, een door een LLM aangedreven simulatiekader dat de deterministische database vervangt door een door een LLM afgeleide "proxy-status". Het systeem werkt als een "benchmark-as-omgeving" bestaande uit vijf samenwerkende LLM-componenten:

1. Scenario Specificatie ($z$): Een gestructureerd object dat het gebruikersdoel, gebruikersfeiten, systeemfeiten (beginstatus), verwachte eind-proxy-status en verwacht agentgedrag definieert. Dit vervangt de behoefte aan een grondwaarheidstraject.
2. Redenerende Agent (RA): Het model dat wordt geëvalueerd, dat een ReAct-stijl lus volgt (redeneren $\to$ handelen $\to$ observeren) om via multi-turn dialoog en multi-step tooloproepen met de omgeving te interageren.
3. Gebruikerssimulator ($f_{user}$): Genereert gebruikersuitingen die zijn voorwaardelijk gesteld op de gebruikersfeiten, doelen en een specifiek persona (bijvoorbeeld power user, verward, ambigu) van het scenario.
4. Toolsimulators ($f_{tool}$): Simuleren toolresponsen (bijvoorbeeld accountbeheer, e-commerce) door "te lezen uit" en "te schrijven naar" de huidige proxy-status, gebaseerd op de subqueries van de RA en de systeemfeiten.
5. Statusvolger ($f_{state}$): Een LLM-component die de gestructureerde proxy-status ($\tilde{s}_{t,k}$) afleidt uit het volledige interactietraject tot stap $(t,k)$. In tegenstelling tot stap-voor-stap statusupdates, baseert deze zich op het volledige trajectprefix om robuustheid tegen foutaccumulatie te waarborgen.
6. LLM-judges:
   • Doelvoltooiing-judge: Evalueert de eind-proxy-status en agentrespons tegen de verwachte eindstatus en het gedrag van het scenario om uitkomsten te classificeren (doel voltooid, gebruikersfout, of agentfout).
   • Hallucinatie-detectie-judge: Detecteert of de toolsimulator of gebruikerssimulator informatie heeft gegenereerd die onverenigbaar is met de scenario-beperkingen.

Evaluatiemetrics: Het kader meet Goal Completion (GC)-percentages, gebruikers-/agentfoutpercentages en hallucinatiepercentages (tool en gebruiker). Het ondersteunt zowel on-policy datageneratie (voor Rejection Sampling Fine-Tuning) als off-policy datageneratie (voor Supervised Fine-Tuning).

Belangrijkste Bijdragen

1. Formalisatie van Evaluatie op Basis van Proxy-status: Het artikel formaliseert een praktische benchmark die principes van statusgebaseerde evaluatie behoudt zonder een deterministische backend te vereisen, gebruikmakend van een door een LLM afgeleide proxy-status die is ontleend aan interactietrajecten.
2. Scenario-schema en Componentarchitectuur: Het introduceert een specifiek scenario-schema en een vijf-componenten LLM-architectuur (Redenerende Agent, Gebruikerssimulator, Toolsimulators, Statusvolger, Judge) die samenwerken om complexe workflows te simuleren.
3. Betrouwbaarheidskader: De auteurs definiëren betrouwbaarheidscriteria, waaronder gebootstrapde standaardfouten, hallucinatiepercentages en overeenstemming tussen mens en LLM-judge. Zij voeren gerichte ablaties uit op persona-sensitiviteit, volledigheid van systeem-/gebruikersfeiten en de sterkte van de statusvolger.
4. Schaalbare Datageneratie: De omgeving genereert schaalbare on-policy en off-policy rollouts die geschikt zijn voor post-training (SFT/RFT) en biedt stabiele metrics voor modelvergelijking.

Resultaten

De benchmark werd geëvalueerd over diverse modelfamilies (GPT-5, GPT-4o, Gemini-2.5, Qwen3) en redeneerinspanningen:

• Modeldifferentiatie: Goal Completion (GC)-percentages schalen consistent met modelsterkte en redeneerinspanning tijdens inferentie. Binnen de GPT-5-familie bijvoorbeeld, levert hogere redeneerinspanning monotoon toenemende GC-winsten op (Hoog: 85,76% > Minimaal: 66,04%).
• Trainingseffectiviteit: Het trainen van het basismodel Qwen3-30B-A3B binnen deze omgeving verbeterde de prestaties aanzienlijk. Supervised Fine-Tuning (SFT) met behulp van off-policy data van een sterkere leraar verhoogde GC van 65,64% naar 77,34%. Rejection Sampling Fine-Tuning (RFT) leverde eveneens verbeteringen op.
• Robuustheid tegen Complexiteit: Hoewel de prestaties bij basismodellen afnemen met de conversiediepte, biedt SFT-training aanzienlijke winsten in lange conversaties (+26,69 procentpunten), wat aangeeft dat het trainingssein generaliseert naar moeilijkere, multi-step interacties.
• Betrouwbaarheid en Hallucinatie:
  • Mens-LLM Overeenstemming: Overschreed 90%, wat de geautomatiseerde evaluatie valideert.
  • Simulator-hallucinatie: Onder standaardconfiguraties (GPT-5o met gemiddelde redeneerinspanning) waren de hallucinatiepercentages voor tools en gebruikers bijna nihil (respectievelijk 1,33% en 0,67%).
  • Ablatiebevindingen: Het verwijderen van systeemfeiten of gebruikersfeiten uit scenario's veroorzaakte een monotoon toenemend hallucinatiepercentage, wat bevestigt dat zorgvuldige scenario-specificatie cruciaal is. Zwakkere statusvolgers (bijvoorbeeld GPT-4o) verhoogden de tool-hallucinatiepercentages, wat de noodzaak van nauwkeurige statusinference benadrukt.
• Cross-model Robuustheid: Modelrangschikkingen en trainingswinsten bleven consistent, zelfs wanneer de simulator- en judge-modellen werden verwisseld (bijvoorbeeld het gebruik van Gemini-2.5-Pro in plaats van GPT-5o), waardoor circulaire bias door een setup met één modelfamilie wordt uitgesloten.

Betekenis en Claims

Het artikel beweert dat Evaluatie op Basis van Proxy-status een praktisch, schaalbaar alternatief biedt voor deterministische agentic benchmarks voor industriële LLM-agenten. Door statusgebaseerde evaluatie te ontkoppelen van de engineeringlast van het bouwen van deterministische backends, maakt het kader mogelijk:

• Snellere Iteratie: Scenario's kunnen snel worden opgezet en evolueren met productroadmaps zonder uitgebreide code-engineering.
• Rigoureuze Evaluatie: Het behoudt de strengheid van eindstatusverificatie terwijl het de flexibiliteit ondersteunt van meerdere correcte tool-uitvoeringspaden.
• Effectieve Training: Het genereert hoogwaardige on-policy en off-policy data die open-weight agenten succesvol verbetert via SFT en RFT, met winsten die overdragen naar ongezette scenario's.

De auteurs positioneren dit werk niet als een vervanging voor alle deterministische testen, maar als een noodzakelijke evolutie voor industriële omgevingen waar de kosten van deterministische backends prohibitief zijn, terwijl de behoefte aan statusgebaseerde, doelgerichte evaluatie van het grootste belang blijft.