One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie computerprogramma's bekend als "agenten" opgekomen. In tegenstelling tot eerdere chatbots die simpelweg vragen beantwoordden of tekst schreven, zijn deze agenten ontworig om actie te ondernemen. Ze kunnen het web doorzoeken, softwarecode uitvoeren of digitale hulpmiddelen aanroepen om taken uit te voeren, vergelijkbaar met hoe een menselijke werknemer dat zou doen. Jarenlang hebben onderzoekers deze agenten getest door hen problemen te laten oplossen die een duidelijke, gemakkelijk te controleren uitkomst hebben, zoals het repareren van een defecte regel code of het vinden van een specifell feit op een website. Succes in deze gebieden werd gemeten aan de hand van de vraag of de agent een correcte uiteindelijke output of een geldige opdracht produceerde. De echte zakenwereld is echter zelden zo eenvoudig. In een kantooromgeving bestaat werk vaak uit een lange keten van gebeurtenissen waarbij het computersysteem correct moet worden bijgewerkt, beleid moet worden nageleefd en de staat van een database op een specifieke manier moet veranderen. Als een agent halverwege een proces een fout maakt, of als hij het verkeerde dossier wijzigt, kunnen de gevolgen reëel en kostbaar zijn. De kritische vraag voor de toekomst van deze technologie is niet alleen of een agent een manier kan vinden om één keer te slagen, maar of hij dat betrouwbaar kan doen, elke keer weer, zonder onbedoelde schade aan te richten.

Een team van onderzoekers van de University of Pittsburgh, Northwestern University, de University of California, Irvine en Microsoft heeft een nieuwe testomgeving gebouwd om deze vraag te beantwoorden. Ze creëerden een digitale omgeving genaamd ThinkingBox, die fungeert als een veilige, geïsoleerde zandbak waarin deze AI-agenten kunnen interageren met gesimuleerde gebruikers en complexe zakelijke tools. Binnen deze zandbak krijgen de agenten realistische taken, zoals het verwerken van een terugbetaling voor een online bestelling, het wijzigen van een hotelreservering, het bijwerken van een verzekeringsclaim of het afhandelen van een verzoek van een werknemer voor IT-ondersteuning. De omgeving is ontworpen om de rommelige realiteit van kantoorwerk na te bootsen, waarbij informatie vaak incompleet is, regels strikt zijn en elke actie een blijvende afdruk achterlaat op een digitaal dossier. De onderzoekers vroegen de agenten niet alleen om te praten; ze vereisten dat ze daadwerkelijk de staat van het systeem veranderden. Om ervoor te zorgen dat de tests eerlijk en herhaalbaar waren, reset de zandbak zichzelf volledig na elke poging, zodat geen twee proeven dezelfde gegevens of verborgen geschiedenis delen.

De onderzoekers vulden deze omgeving vervolgens met 507 verschillende taken verspreid over vijf sectoren: retail, reizen en hospitality, autoverzekeringen, bankwezen en consultancy. Ze nodigden een breed scala aan de meest geavanceerde beschikbare kunstmatige intelligentiemodellen uit, inclusief zowel propriëtaire systemen van grote technologiebedrijven als open-source modellen, om deze taken te proberen. Elk model kreeg twintig kansen om elk probleem op te lossen. De evaluatie was rigoureus. Een agent slaagde niet simpelweg omdat hij een beleefd antwoord gaf of een tool-aanroep deed die er aan de oppervlakte correct uitzag. In plaats daarvan controleerde het systeem het eindresultaat tegen de vereiste uitkomst. Verscheen de terugbetaling daadwerkelijk in de database? Werd de hotelkamer correct als gewijzigd gemarkeerd? Werd de verzekeringsclaim bijgewerkt zonder per ongeluk het beleid van de verkeerde klant te wijzigen? Het systeem controleerde ook op "bijwerkingen" (collateral effects), wat betekende dat het keek of de agent per ongeluk iets had gewijzigd dat hij niet had mogen aanraken, een veelvoorkomende en gevaarlijke fout in real-world software.

De resultaten toonden een aanzienlijke kloof tussen wat de agenten af en toe konden en wat ze betrouwbaar konden doen. Het best presterende model slaagde erin de taak bij de eerste poging ongeveer 65 procent van de tijd correct uit te voeren. Hoewel dit indrukwekkend mag klinken, veranderde het beeld toen de onderzoekers naar de betrouwbaarheid keken. Wanneer zij controleerden hoe vaak een model de taak succesvol kon oplossen in alle twintig pogingen, daalde het aantal drastisch naar slechts 25 procent. Dit betekent dat hoewel een slimme agent vaak een succesvol pad kon vinden als hij genoeg pogingen kreeg, hij dat succes niet consistent kon herhalen zonder fouten te maken. De onderzoekers ontdekten dat veel fouten niet te wijten waren aan het onvermogen van de agenten om de aanvraag te begrijpen of om met de gebruiker te communiceren. In plaats daarvan was het meest voorkomende probleem dat de agenten niet in staat waren om te herstellen wanneer een tool een foutmelding gaf, of dat ze de juiste actie uitvoerden op de verkeerde gegevens. Bijvoorbeeld, een agent zou succesvol een tool aanroepen om een dossier bij te werken, maar de wijziging toepassen op de verkeerde klant, of de agent zou het proces stoppen voordat een noodzakelijke stap was voltooid, waardoor het systeem in een defecte staat achterbleef.

De studie benadrukte ook dat verschillende modellen worstelden met verschillende soorten werk. Sommige modellen waren redelijk goed in het afhandelen van retailbestellingen, maar presteerden slecht bij het werken met complexe verzekeringspolissen of bankreglementen. Dit suggereert dat een hoge prestatie in het ene gebied niet garandeert dat een agent betrouwbaar zal zijn in een ander gebied. De onderzoekers observeerden dat zelfs wanneer een agent een perfect klinkende laatste boodschap naar de gebruiker produceerde, de onderliggende database vaak ongewijzigd of corrupt bleef. Deze bevinding daagt de huidige manier uit waarop veel systemen worden geëvalueerd, die vaak focust op de kwaliteit van de conversatie of de geldigheid van de tool-aanroep in plaats van de werkelijke uitkomst. Het artikel concludeert dat voor kunstmatige intelligentie om vertrouwd te kunnen worden met belangrijke zakelijke taken, het verder moet gaan dan simpelweg één keer een succesvol pad vinden en moet leren dat pad met consistente, herhaalbare precisie uit te voeren. De ThinkingBox-zandbak en de bijbehorende benchmark zijn nu publiekelijk beschikbaar, wat een nieuwe standaard biedt voor het meten of deze digitale werkers werkelijk klaar zijn voor de echte wereld.