💬 NLP

AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use

Dit artikel introduceert AppWorld-UL, een uitdagende benchmark bestaande uit 516 taken verspreid over negen gesimuleerde applicaties die het vermogen van tool-gebruikende agenten evalueert om diverse, noodzakelijke interacties met gebruikers af te handelen, waarbij wordt onthuld dat zelfs state-of-the-art modellen aanzienlijk worstelen met deze scenario's waarbij de gebruiker in de loop zit.

Oorspronkelijke auteurs: Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

Gepubliceerd 2026-07-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot-butler leert hoe hij jouw boodschappen moet doen. Je zegt tegen hem: "Ga een shirt voor me kopen." In de wereld van de computerwetenschap wordt dit "tool use" genoemd—de robot weet hoe hij een app moet openen, op knoppen moet klikken en een aankoop kan doen. Maar hier is de crux: het echte leven is rommelig. Wat als er vijf shirts in je winkelmandje zitten en de robot niet weet welke je bedoelt? Wat als het shirt dat je wilt uitverkocht is? Wat als de prijs plotseling verdubbelt, en je alleen zou kopen als je "ja" zegt tegen die specifieke verandering?

De meeste tests voor deze robots controleren alleen of ze een perfect, stapsgewijs recept kunnen volgen waarbij er niets misgaat. Maar echte mensen zijn onvoorspelbaar. We zijn vaag, we veranderen van gedachten, en we willen dat er toestemming wordt gevraagd voordat de robot ons geld uitgeeft. Dit paper duikt in die rommelige, echte hoek van AI-onderzoek om een simpele maar moeilijke vraag te stellen: kunnen onze beste AI-agenten echt met ons praten als het ingewikkeld wordt, of crashen ze gewoon wanneer de instructies niet perfect zijn?

De onderzoekers achter deze studie, onder leiding van Junzhi Chen en Harsh Trivedi, besloten te stoppen met het testen van robots op perfecte, denkbeeldige dagen en begonnen met het testen op dagen die aanvoelen als het echte leven. Ze bouwden een nieuwe speeltuin genaamd AppWorld-UL (User-in-the-Loop). Denk aan een enorme, gesimuleerde digitale stad met negen populaire apps zoals Amazon en Spotify, maar met een twist: de "gebruiker" (een gesimuleerd persoon) is onderdeel van het spel, en de robot moet uitzoeken hoe hij hulp bij hen moet vragen.

Het team heeft niet zomaar willekeurige problemen bedacht; ze gebruikten een slimme "perturbatie"-methode. Stel je voor dat ze een normale taak namen, zoals "Verkoop het Nike-shirt dat ik vorige week heb gekocht," en vervolgens de wereld geheimzinnig aanpasten om het lastig te maken.

De "Welke?"-val (Onderspecificatie): Ze zorgden ervoor dat de robot twee Nike-shirts van vorige week vond. Nu kan de robot niet zomaar gokken; hij moet stoppen en vragen: "Welke wil je terugsturen?"
De "Het is weg!"-val (Onhaalbaarheid): Ze lieten de maat "Large" van het shirt verdwijnen uit de winkel. De robot kan niet simpelweg falen; hij moet de gebruiker vertellen: "De maat Large is weg. Wilt u een andere maat of een terugbetaling?"
De "Wacht, dat is duur!"-val (Bevestiging): Ze lieten de prijs van het shirt verdubbelen. De robot moet pauzeren en zeggen: "Hé, de prijs is gestegen! Wil je het toch nog kopen?"

Om ervoor te zorgen dat de test eerlijk was, creëerden ze een "gesimuleerde gebruiker" die zich als een echt persoon gedraagt maar strikte regels volgt. Deze gebruiker kent de antwoorden op de lastige vragen, maar zal ze niet prijsgeven tenzij de robot de juiste vraag stelt. Het is als een spelletje "20 vragen" waarbij de gebruiker alleen antwoord geeft als je precies vraagt naar waar zij aan denken.

Toen ze de slimste AI-robots ter wereld (zoals Claude Opus 4.7 en GPT-5.5) in deze chaotische digitale stad plaatsten, waren de resultaten een beetje een wake-up call. Zelfs de beste robot slaagde slechts ongeveer 48,6% van de tijd op de totale set taken. Wanneer de taken zelfs nog moeilijker werden, door twee of drie van deze lastige situaties te combineren, daalde het succespercentage naar slechts 35,7%.

De studie suggereert dat het probleem niet is dat de robots de apps niet kunnen gebruiken; ze zijn eigenlijk best goed in het klikken op knoppen. De echte strijd is het gesprek. Toen de onderzoekers de robots een "spiekbriefje" gaven met alle ontbrekende informatie vooraf (zodat ze de gebruiker niet hoefden te vragen), steeg het succespercentage naar 78,1%. Dit bewijst dat de moeilijkheid komt door de noodzaak tot interactie, en niet door de complexiteit van de apps zelf.

Het paper vond ook dat wanneer de robots faalden, dit meestal kwam omdat ze niet de juiste vragen stelden. Ze gokten het antwoord (hallucineren), stelden vage vragen die de gebruiker in verwarring brachten, of vergaten wat de gebruiker net tegen hen had gezegd. Het is als een robot die hoort "Ik wil het rode shirt" maar dan het blauwe shirt koopt omdat hij het vergeten is te controleren.

Kortom, dit paper laat zien dat hoewel onze AI-agenten steeds beter worden in het uitvoeren van taken, ze nog steeds aan het leren zijn hoe ze goede gesprekspartners kunnen zijn. Ze moeten leren dat de beste manier om een probleem op te lossen soms niet is om vooruit te stormen, maar om te stoppen, naar de mens te kijken en te vragen: "Wacht, welke bedoelde je?" Totdat ze die heen-en-weer dans beheersen, zijn ze misschien klaar voor een simpel boodschappenritje, maar zijn ze nog niet klaar om de chaos van een echte menselijke dag te hanteren.

Technische Samenvatting: AppWorld-UL

Probleemstelling

Huidige benchmarks voor het evalueren van LLM-gebaseerde tool-use agents richten zich grotendeels op volledig gespecificeerde, autonome taken waarbij doelen duidelijk, compleet en vanaf het begin vaststaan. De realiteit van digitale taakoplossing is echter inherent "user-in-the-loop": gebruikers geven vaak vage, ondergespecificeerde of zelfs onuitvoerbare instructies, wat vereist dat agents de intentie iteratief verfijnen door middel van interactie. Bestaande interactieve benchmarks slagen er niet in de diversiteit en complexiteit van deze interacties te vangen. Ze worden beperkt door:

Beperkte Interactietypes: De meeste beperken interacties tot eenvoudige verhelderingsvragen, waardoor kritieke patronen zoals het afhandelen van onuitvoerbaarheid of het zoeken naar goedkeuring voor acties met hoge kosten worden gemist.
Ongebalanceerde Gebruikerssimulatie: Voorgaand werk schommelt tussen rigide, op regels gebaseerde gebruikers (die flexibiliteit missen) en onbeperkte LLM-simulatoren (die instabiliteit introduceren en attributie van falen bemoeilijken).
Kleine Omgevingen: Veel systemen opereren in beperkte omgevingen met weinig, vaak niet-toestandsveranderende API's, waardoor het testen van langetermijnplanning in complexe, stateful systemen niet mogelijk is.

Als gevolg hiervan is er een gebrek aan een principieel testbed om agents te evalueren die effectief toolgebruik moeten combineren met diverse, adaptieve gebruikerscommunicatie.

Methodologie

De auteurs introduceren AppWorld-UL, een benchmark gebouwd op het bestaande AppWorld-framework (dat 9 populaire apps zoals Amazon en Spotify simuleert met ~475 API's). De kerninnovatie is een perturbatie-gebaseerde methodologie die systematisch goed gedefinieerde autonome taken transformeert naar user-in-the-loop varianten.

1. Perturbatie-gebaseerde Taaktransformatie

In plaats van interactieve scenario's vanaf nul op te bouwen, modificeren de auteurs bestaande autonome taken door specifieke, bekende hiaten in de instructie ( $I$ ) of de initiële toestand ( $S_0$ ) te introduceren die alleen opgelost kunnen worden door interactie met de gebruiker. Dit creëert een taak-tuple $T = (I, S_0, E, K)$ , waarbij $K$ de User Knowledge Set is—informatie die exclusief in bezit is van de gebruiker.

De perturbaties richten zich op drie specifieke interactietypes:

Onderspecificatie: Het verwijderen van cruciale details (bijv. "geef het shirt terug dat ik vorige week heb gekocht" wanneer er meerdere shirts bestaan) om de agent te dwingen de gebruiker om verheldering te vragen.
Onuitvoerbaarheid: Het wijzigen van de toestand of beperkingen zodat het oorspronkelijke doel onbereikbaar is (bijv. het gevraagde artikel is niet op voorraad), wat de agent vereist om het falen te communiceren en alternatieven voor te stellen.
Bevestiging Zoeken: Het introduceren van gevolgen met hoge kosten (bijv. een prijsschommeling) bij een voorheen laag-risico actie, wat de agent vereist om expliciete goedkeuring te zoeken voordat hij doorgaat.

Deze perturbaties kunnen ook gecombineerd worden om taken te creëren die gelijktijdig meerdere interactietypes vereisen.

2. Beperkte Gebruikerssimulatie

Om de instabiliteit van voorgaande gebruikerssimulatoren aan te pakken, gebruikt AppWorld-UL een beperkte LLM-gebaseerde gebruiker.

Kennisgrenzen: De gesimuleerde gebruiker wordt geprompt met een specifieke set vraag-antwoordparen ( $K$ ) afgeleid van het perturbatieproces.
Gecontroleerde Respons: De gebruiker-LLM krijgt de instructie om alleen te antwoorden als de vraag van de agent mapt naar een paar in $K$ . Als de vraag buiten $K$ valt, wijkt de gebruiker uit of stuurt deze de vraag bij (bijv. "Beslis het zelf maar").
Betrouwbaarheid: Deze aanpak waarborgt reproduceerbaarheid (door de kennis van de gebruiker te beperken) terwijl een natuurlijke conversatieflow behouden blijft, waardoor de rigiditeit van op regels gebaseerde systemen en de onvoorspelbaarheid van onbeperkte LLM's worden vermeden.

3. Programmatische Evaluatie

De benchmark introduceert Interactive Task Goal Completion (I-TGC) en Interactive Scenario Goal Completion (I-SGC). In tegenstelling tot standaard metrieken, bevatten deze een unit test die verifieert dat de agent succesvol alle noodzakelijke informatie bij de gebruiker heeft opgehaald (d.w.z. alle vragen in $K$ heeft gesteld). Dit maakt de evaluatie van interactiekwaliteit (recall van vereiste informatie) mogelijk naast taaksucces.

Belangrijkste Bijdragen

Perturbatie-framework: Een systematische methode voor het generen van diverse user-in-the-loop taken door specifieke informatiehiaten in autonome taken te injecteren, wat precieze controle over interactievereisten mogelijk maakt.
AppWorld-UL Benchmark: Een dataset van 516 uitdagende taken verspreid over 9 applicaties, bestaande uit:
- 306 taken die precies één interactietype vereisen (onderspecificatie, onuitvoerbaarheid of bevestiging).
- 210 compositionele taken die combinaties van twee of drie interactietypes vereisen.
Beperkte Gebruikerssimulator: Een robuust simulatiemechanisme dat flexibiliteit en evaluatiebetrouwbaarheid balanceert door de kennisgrenzen van de gebruiker strikt te definiëren.
Empirisch Bewijs: Demonstratie dat correcte gebruikersinteractie een primaire drijfveer is van taakcomplexiteit en succes, onderscheidend van de omgevingscomplexiteit.

Experimentele Resultaten

De auteurs evalueerden state-of-the-art agents (Code Agents en Function Calling Agents) met diverse frontier LLM's (waaronder Claude Opus 4.7, GPT-5.5, Qwen 3.7 Max, en anderen).

Algemene Prestaties: Zelfs het best presterende systeem (Code Agent met Claude Opus 4.7) behaalde slechts 48,6% I-TGC en 30,2% I-SGC op de totale benchmark.
Compositionele Moeilijkheid: De prestaties daalden aanzienlijk bij compositionele taken, waarbij het beste systeem slechts 35,7% I-TGC en 21,3% I-SGC behaalde.
Interactie Correlatie: Er is een sterke correlatie tussen interactiekwaliteit en taaksucces. Succesvolle agents behaalden ~100% recall en 80-91% precisie bij het stellen van de vereiste vragen, terwijl falende agents drastisch lagere metrieken vertoonden (37-40% recall).
Ablatie Studie:
- Verborgen Kennis: Wanneer de gesimuleerde gebruiker weigerde enige informatie te verstrekken, stortte de prestatie in (TGC: 12,8%), wat bevestigt dat agents deze taken niet louter door omgevingsredenering kunnen oplossen.
- Oracle Kennis: Wanneer alle gebruikerskennis ( $K$ ) vooraf in de prompt werd meegegeven, verbeterde de prestatie aanzienlijk (TGC: 78,1%), wat aangeeft dat de interactievereiste zelf het grootste deel van de moeilijkheid bepaalt. De prestaties bleven echter lager dan bij de originele autonome taken, wat suggereert dat er aanvullende uitdagingen zijn bij het integreren van gesplitste informatie.

Betekenis

AppWorld-UL biedt een principieel testbed voor de vooruitgang van onderzoek naar user-in-the-loop tool-use agents. Het paper stelt dat huidige modellen aanzienlijk moeite hebben met de nuances van menselijke interactie, zoals het herkennen van onderspecificatie, het afhandelen van onuitvoerbaarheid en het zoeken naar goedkeuring. Door de interactievereisten te isoleren van de omgevingscomplexiteit, onthult de benchmark dat het vermogen om effectief met gebruikers te communiceren een kritieke bottleneck is voor de inzet van agents. Het werk beoogt de ontwikkeling te ondersteunen van agents die niet alleen in staat zijn tot toolgebruik, maar die ook fungeren als collaboratieve partners die kunnen bevragen, bevestigen en zich aanpassen aan de intentie van de gebruiker in realistische, stateful digitale omgevingen.