AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

Stel je een wereld voor waarin we digitale helpers bouwen—kleine, onzichtbare robots aangedreven door gigantische hersenen—die je vluchten kunnen boeken, je code kunnen schrijven of een vervanger voor je uitverkochte sneakers kunnen vinden. Dit worden "autonome agenten" genoemd. Een lange tijd waren wetenschappers die deze robots testen als ouders die een huiswerkopdracht nakijken: ze geven alleen om het feit of het antwoord juist is. "Heeft de robot de schoen gevonden?" Ja? Geweldig, een A! Maar in de echte wereld is een perfect antwoord dat tien minuten duurt om aan te komen of je hele zakgeld kost om te genereren, nutteloos. Het is alsoğ met het bestellen van een pizza die de volgende dag aankomt met een rekening van een miljoen dollar; technisch gezien heb je de pizza gekregen, maar je kunt hem niet echt eten.

Dit is waar een nieuw idee genaamd "resource profiling" (bronprofielering) om de hoek komt kijken. Denk aan dit als een monteur die een racewagen controleert. Ze vragen niet alleen: "Is de auto de finish gepasseerd?" Ze controleren ook: Hoeveel benzine heeft hij verbruikt? Is de motor oververhit geraakt? Reed de bestuurder te hard? In de wereld van de informatica hebben we instrumenten die meten hoeveel "brandstof" (zoals computergeheugen, tijd en geld) een programma gebruikt. Maar tot nu toe hadden we geen manier om die dingen te meten terwijl we ook controleerden of de robot daadwerkelijk zijn werk heeft gedaan. Dit artikel introduceert een nieuwe manier om deze digitale helpers te testen, waarbij ze worden behandeld als racewagens die de race moeten voltooien én binnen hun brandstof- en tijdlimieten moeten blijven om als winnaars te worden beschouwd.

De onderzoekers achter deze studie, Meher Bhaskar Madiraju en Meher Sai Preetam Madiraju, hebben een nieuwe testomgeving gebouwd genaamd AGENTSLABENCH. Je kunt dit zien als een enorme, hightech hindernisbaan die specif으로 is ontworpen om te zien of deze AI-agenten kunnen overleven in de echte wereld, en niet alleen in een perfecte, onbeperkte fantasie.

Normaal gesproken laten we AI, wanneer we ze testen, wild rondgaan met onbeperkte tijd en geld. Het is alsof je een student een toets laat maken met een woordenboek, een rekenmachine en drie uur de tijd, terwijl de echte toets slechts een pen en tien minuten toestaat. De auteurs stellen dat dit een slechte manier is om de werkelijkheid voor te bereiden. Daarom hebben ze 16 verschillende uitdagingen opgezet, variërend van "vind een vervanging voor dit uitverkochte shirt" tot "plan een reis met een strikt budget". Maar hier komt de twist: elke uitdaging heeft een strikt regelboek. De agent krijgt te horen: "Je hebt 180 seconden, je mag deze hoeveelheid computergeheugen gebruiken, en je mag niet meer dan een paar cent uitgeven." Als de agent probeert meer te gebruiken, stopt de test en wordt het als een mislukking gemarkeerd.

Ze hebben twee soorten robots getest. Eerst probeerden ze "General Purpose" (algemene) agenten—dit zijn de slimme, veelzijdige denkers die proberen elk probleem op te lossen met logica en redenering. Daarna probeerden ze "Specialized" (gespecialiseerde) agenten—robots die specifiek zijn gebouwd voor één taak, zoals een schoenexpert of een reisplanner, die ingebouwde afkortingen en regels hebben voor die specifieke taak.

De resultaten waren een schok. De algemene robots, hoewel erg goed in het beantwoorden van eenvoudige vragen, stortten volledig in bij de confrontatie met real-world taken. Wanneer ze werden gevraagd om voor een shirt te winkelen of een reis te plannen binnen de strikte tijd- en geldlimieten, faalden ze 100% van de tijd. Ze deden er te lang over, gaven te veel geld uit, of raakten gewoon in de war. Het was alsof een briljante filosoof probeerde een lekkende kraan te repareren en eindigde met een overstroomd huis.

Aan de andere kant waren de gespecialiseerde agenten de sterren van de show. De "Retail Agent" vond 83,3% van de keren succesvol vervangers voor schoenen, de "Travel Agent" plande 83,3% van de keren reizen, en de "Web Shopping Agent" haalde het in 100% van de gevallen. Cruciaal was dat ze dit allemaal deden terwijl ze strikt binnen hun tijd- en geldbudgeten bleven. Ze gaven niet alleen het juiste antwoord; ze deden het zoals een echt bedrijf dat nodig zou hebben: snel, goedkoop en betrouwbaar.

Het artikel introduceert een nieuwe score genaamd EASR (Efficiency-Adjusted Success Rate). Denk aan dit als een "Gouden Ster" die je alleen krijgt als je de race voltooit én niet zonder benzine kwam te zitten. Als een agent het juiste antwoord geeft maar er te lang over doet of te veel kost, daalt hun EASR-score naar nul. Deze score onthulde dat de "winnaar" van de oude tests (de algemene robots) eigenlijk een ramp zou zijn in een echte winkel of op een kantoor, terwijl de gespecialiseerde robots klaar zijn om aan het werk te gaan.

De auteurs hebben er ook voor gezorgd dat deze test eerlijk en herhaalbaar is. Ze hebben de testvragen in een digitale kluis vergrendeld zodat niemand de regels kan omzeilen, en ze hebben de tests meerdere keren uitgevoerd om er zeker van te zijn dat de resultaten niet op geluk berustten. Ze ontdekten dat hoewel gespecialiseerde agenten geweldig zijn in hun specifieke taken, ze nog steeds fouten maken—zoals de reisplanner die vastloopt op complexe budgetregels of de codegenerator die soms nepinstructies verzint. Maar door precies te meten waar en waarom ze falen (zoals het opraken van tijd of geheugen), kunnen de onderzoekers ingenieurs helpen om die specifieke problemen op te lossen.

Kortom, dit artikel suggereert dat we moeten stoppen met AI-agenten te behandelen alsof ze in een videogame zitten met oneindige levens en geld. Om ze nuttig te maken in de echte wereld, moeten we ze testen zoals we auto's of vliegtuigen testen: door niet alleen te controleren of ze werken, maar ook of ze efficiënt, veilig en binnen de grenzen van de echte wereld werken. De studie laat zien dat terwijl algemene "slimme" breinen worstelen, robots gebouwd met specifieke regels en afkortingen degenen zijn die daadwerkelijk klaar zijn om de klus te klaren.