ACE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

Probleemstelling

Bestaande benchmarks voor Large Language Model (LLM) agents lijden aan twee kritieke beperkingen die de betrouwbaarheid en efficiëntie van evaluaties ondermijnen:

1. Hoge Overhead van Omgevingsinteractie: Veel huidige benchmarks (zoals WebArena en TAU2-Bench) vereisen complexe omgevingen, zoals web-simulators of "LLM-as-User" setups. Dit leidt tot een aanzienlijke vertraging; tot 41% van de totale evaluatietijd wordt besteed aan interactie met de omgeving in plaats van aan de redeneerprocessen van het model. Dit maakt schaalbare evaluatie of validatie tijdens het trainen van modellen onhaalbaar.
2. Ongelijke Verdeling van Horizont en Moeilijkheid: Bestaande benchmarks vertonen een onbalans in taakcomplexiteit. De lengte van interacties (horizont) varieert sterk (van <10 tot >100 stappen), en de moeilijkheidsgraad verschilt systematisch per domein (bijv. retail is vaak makkelijker dan telecom). Het simpelweg middelen van scores over deze domeinen maskeert de werkelijke capaciteiten van een model en leidt tot misleidende conclusies.

Methodologie: ACE-Bench

Om deze problemen op te lossen, stellen de auteurs ACE-Bench voor, een benchmark gebaseerd op een unificerend, raster-gebaseerd planningsprobleem. De kern van de methode ligt in de controleerbare variatie van twee orthogonale assen:

1. Schalbare Horizont (Scalable Horizons):

   • Gereguleerd door het aantal verborgen slots ($H$) in een gedeeltelijk ingevuld schema (bijv. een rooster van 5x7).
   • Het agent moet deze $H$ slots invullen.
   • $H$ varieert van 1 (een enkele, onafhankelijke beslissing) tot 17 (lange redeneerketens), waardoor de taaklengte en het aantal benodigde interactiestappen nauwkeurig gecontroleerd kunnen worden.

2. Controleerbare Moeilijkheid (Controllable Difficulty):

   • Gereguleerd door het decoy-budget ($B$).
   • Voor elke verborgen slot is er een kandidatenpool. Deze bevat:
     • Waarheid (Truth): Het unieke correcte antwoord.
     • Gefilterde kandidaten: Verkeerde antwoorden die lokaal (slot-constraints) al worden uitgesloten.
     • Decoy-kandidaten: Antwoorden die voldoen aan lokale constraints, maar leiden tot een schending van globale constraints (bijv. totale credits, totale prijs) als ze worden geselecteerd.
   • $B$ bepaalt het aantal van deze misleidende decoy-kandidaten. Een hogere $B$ vereist dat het agent dieper redeneert over globale afhankelijkheden om de juiste keuze te maken.

3. Lichtgewicht Omgeving (Lightweight Environment):

   • In tegenstelling tot benchmarks die draaiende services vereisen, worden alle tool-aanroepen opgelost via statische JSON-bestanden.
   • Het agent communiceert via een gestandaardiseerde tool-interface (query attributes, set slot, check constraints, done).
   • Dit elimineert de overhead van het opzetten van omgevingen, maakt evaluatie extreem snel, reproduceerbaar en geschikt voor validatie tijdens het trainen.

Belangrijkste Bijdragen

• Unificatie en Controle: Een benchmark die taaklengte en moeilijkheid onafhankelijk van elkaar kan regelen, waardoor een fijnmazige analyse van agent-capaciteiten mogelijk is.
• Efficiëntie: Door het gebruik van statische JSON-bestanden wordt de evaluatietijd drastisch gereduceerd, waardoor het mogelijk wordt om agents tijdens het trainingsproces te valideren.
• Diverse Domeinen: De benchmark beslaat zes realistische planningsdomeinen: cursusplanning, boodschappen doen, reizen, personeelsplanning, maaltijdplanning en PC-configuratie.
• Robuustheidstest: De benchmark kan worden gebruikt om de weerbaarheid van agents te testen door simulatie van tool-fouten (bijv. netwerktime-outs).

Resultaten

De auteurs hebben experimenten uitgevoerd met 13 modellen van verschillende maten en families (o.a. Qwen3.5, MiniMax, GLM-4, MiroThinker) over de zes domeinen:

1. Validatie van Controle:

   • Er is een sterke correlatie gevonden tussen het aantal verborgen slots ($H$) en het aantal interactiestappen, wat bevestigt dat de horizont schaalbaar is.
   • De scores nemen consistent af naarmate het decoy-budget ($B$) toeneemt, wat aantoont dat de moeilijkheidsgraad effectief gecontroleerd kan worden.

2. Model Discriminatie:

   • De benchmark onderscheidt modellen duidelijk op basis van grootte en architectuur. Grotere modellen (bijv. Qwen3.5-397B) behalen aanzienlijk hogere scores dan kleinere modellen (bijv. Qwen3.5-0.8B).
   • De prestaties tonen een consistente schaling binnen families (Dense vs. MoE).

3. Domeinconsistentie:

   • Er is geen systematische bias naar specifieke domeinen gevonden; modellen presteren consistent over de verschillende domeinen, wat aangeeft dat de benchmark geen onterechte voorkeur toont.

4. Robuustheid:

   • Simulatie van tool-fouten (bijv. 10% of 30% mislukte calls) leidt tot een merkbare daling in prestaties, vooral bij complexe taken (hoge $H$ en $B$). Dit toont aan dat ACE-Bench ook agent-veerkracht kan meten.

Significantie

ACE-Bench biedt een fundamentele verschuiving in hoe agents worden geëvalueerd. Door de afhankelijkheid van zware, trage omgevingen te verwijderen en in te zetten op een strak gecontroleerde, statische omgeving, maakt het benchmarken van agents schaalbaar, reproduceerbaar en diagnostisch. Het stelt onderzoekers in staat om niet alleen te kijken of een model een taak kan oplossen, maar ook hoe het presteert onder variërende complexiteit en lengte, en hoe robuust het is tegenover realistische storingen. Dit is cruciaal voor de ontwikkeling van betrouwbare agents voor complexe, real-world toepassingen.