Non-Collaborative User Simulators for Tool Agents

Deze paper introduceert een nieuwe niet-samenwerkende gebruikerssimulator die vier categorieën van uitdagend gedrag nabootst om tool-agents te trainen en te testen, waarbij experimenten aantonen dat bestaande agents significant prestatieverlies lijden bij dergelijke realistische interacties.

De kern

Titel: Hoe we chatbots leren omgaan met lastige klanten (en waarom ze dat nu nog niet kunnen)

Stel je voor dat je een nieuwe, slimme robot-assistent hebt die je helpt met boodschappen doen, treinkaartjes boeken of restaurantreserveringen. Je wilt deze robot testen voordat je hem aan het grote publiek geeft. Hoe doe je dat? Je laat hem oefenen met een "proefpersoon".

Tot nu toe hebben onderzoekers deze proefpersonen laten doen alsof ze perfecte, behulpzame klanten zijn. Ze zeggen precies wat ze willen, zijn geduldig en helpen de robot om zijn taak te voltooien. Het is alsof je een piloot traint in een vliegsimulator, maar alleen met perfecte weersomstandigheden en een vliegveld dat nooit vol is.

Het probleem:
In het echte leven zijn mensen niet altijd zo'n lieverdje. Soms zijn ze ongeduldig, soms vragen ze dingen die de robot niet kan doen, en soms typen ze halve zinnen. Als je robot alleen maar getraind is op "lieve" klanten, zal hij in de echte wereld direct in paniek raken of vastlopen.

De oplossing van dit onderzoek:
De onderzoekers van deze paper (uit ICLR 2026) hebben een nieuwe soort "proefpersoon" (een simulatie) bedacht. Dit is een computerprogramma dat zich gedraagt als een moeilijke, maar realistische klant. Ze noemen dit een "Non-Collaborative User Simulator" (een niet-meewerkende gebruikerssimulator).

Ze hebben vier soorten "moeilijke gedragingen" bedacht om de robot op de proef te stellen:

1. De "Onmogelijke Vraag" (Unavailable Services):

   • Vergelijking: Je vraagt aan een bakker om een taart te bakken die uit glas bestaat.
   • Wat gebeurt er: De klant vraagt om iets wat de robot technisch gezien niet kan (bijvoorbeeld: "Boek een treinplek met een raam aan de zijkant", terwijl de trein-website dat niet ondersteunt). De robot moet leren om dit beleefd af te wijzen in plaats van te blijven proberen of te hallucineren.

2. De "Aandachtzoekende" (Tangential):

   • Vergelijking: Je bent bij de kassa om te betalen, en de kassamedewerker begint plotseling over de laatste voetbaluitslagen of zijn vakantie te kletsen, terwijl jij alleen maar je geld wilt afrekenen.
   • Wat gebeurt er: De klant begint over onderwerpen die niets met de boodschap te maken hebben. Als de robot hier niet op reageert, wordt de klant boos en zegt: "Luister je wel naar me?". Dit test of de robot zijn hoofd koel kan houden en toch zijn werk doet.

3. De "Ongegeduldige" (Impatience):

   • Vergelijking: Je staat in een rij en de persoon voor je doet alles verkeerd. Je begint te stampen, te zuchten en te zeggen: "Haal het eruit, ik heb geen tijd!"
   • Wat gebeurt er: De klant wordt boos als het even wat langer duurt of als de robot een fout maakt. De robot moet leren om niet zelf boos te worden of te stoppen, maar om de klant te kalmeren en het werk af te maken.

4. De "Onvolledige" (Incomplete Utterances):

   • Vergelijking: Je stuurt een berichtje: "Ik wil een..." en dan stopt het bericht. Of je zegt: "Twee personen, trein." zonder te zeggen waarheen.
   • Wat gebeurt er: De klant geeft niet alle informatie. De robot moet slim genoeg zijn om te vragen: "Waarheen wilt u reizen?" in plaats van te raden of te stoppen.

Wat hebben ze ontdekt?
Toen ze hun slimste robots (de beste AI-modellen) tegen deze "moeilijke" proefpersonen lieten spelen, ging het erg slecht.

• De robots werden verward door de onmogelijke vragen.
• Ze raakten afgeleid door de kletspraat.
• Ze gaven op als de klant boos werd.
• Ze maakten fouten als de informatie incompleet was.

Het was alsof je een Formule 1-auto op een racebaan laat rijden, en plotseling zet je een modderpoel en een muur van bloemen in de weg. De auto is snel, maar niet voorbereid op deze chaos.

De les voor de toekomst:
De onderzoekers zeggen: "We moeten onze robots niet alleen trainen met lieve mensen." Als we willen dat AI-assistenten in het echt werken, moeten we ze oefenen met alle soorten mensen: de geduldige, de boze, de vergeten en de onmogelijke.

Ze hebben hun simulatie-tool openbaar gemaakt (gratis beschikbaar) zodat andere onderzoekers hun eigen robots kunnen testen tegen deze "moeilijke klanten". Zo kunnen we ervoor zorgen dat de robots van de toekomst niet in paniek raken als jij een beetje ongeduldig bent of een rare vraag stelt.

Kort samengevat:
Deze paper is een waarschuwing en een hulpmiddel. Het waarschuwt dat onze slimme robots nog te fragiel zijn voor de echte wereld, en het biedt een manier om ze te trainen om niet alleen met "lieve" klanten, maar ook met de hele menselijke chaos om te gaan.

Technische samenvatting

Titel: Non-Collaborative User Simulators for Tool Agents

Publicatie: ICLR 2026
Auteurs: Jeonghoon Shim, Woojung Song, Cheyon Jin, Seungwon Kook, Yohan Jo (Seoul National University)

---

1. Het Probleem

Tool agents (LLM-gebaseerde agenten die API's aanroepen om taken uit te voeren) worden momenteel vaak getraind en geëvalueerd met behulp van gebruikerssimulatoren. Echter, de bestaande simulatoren zijn overwegend "agent-vriendelijk": ze vertonen uitsluitend coöperatief gedrag en volgen de instructies van de agent nauwkeurig.

Dit creëert een realiteitskloof, omdat echte gebruikers in de praktijk vaak niet-coöperatief gedrag vertonen, zoals:

• Het vragen van diensten die de agent niet kan leveren.
• Afdwalen naar tangentiële (niet-relevante) onderwerpen.
• Ongebreidelde ongeduldigheid of frustratie tonen.
• Onvolledige of slecht geformuleerde berichten sturen.

Het ontbreken van deze scenario's in de training en evaluatie leidt tot agents die kwetsbaar zijn voor degradatie van prestaties en falen in realistische, chaotische omgevingen. Bestaande methoden testen agenten niet tegen de complexiteit van echte menselijke interacties.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor voor niet-coöperatieve gebruikerssimulatie dat vier specifieke categorieën van gedrag simuleert, gebaseerd op marketingonderzoek en studies naar open-domein dialogen:

1. Onbeschikbare Diensten (Unavailable Services): Gebruikers vragen functionaliteiten die buiten de API-capaciteiten van de agent vallen (bijv. het boeken van een zitplaats waar de API geen ondersteuning voor biedt).
2. Tangentiële Gedrag (Tangential): Gebruikers introduceren persoonlijke interesses of achtergrondgesprekken die niets met de hoofdtaken te maken hebben, en reageren met ontevredenheid als de agent hierop niet reageert.
3. Ongeduld (Impatience): Gebruikers tonen emotionele escalatie (woede, bedreigingen, aandrang) bij vertragingen of foutmeldingen van de agent.
4. Onvolledige Utterances (Incomplete Utterances): Gebruikers sturen zeer beknopte berichten of onderbroken zinnen (bijv. "Boek trein, 2" in plaats van "Ik wil een trein voor 2 personen boeken").

Architectuur van de Simulator:
De simulator is gebouwd op een bestaande coöperatieve basis (van Yao et al., 2024) en wordt verrijkt met extra LLM-modules om het niet-coöperatieve gedrag te genereren terwijl doeluitlijning (goal alignment) behouden blijft. Dit betekent dat de simulator, ondanks het storende gedrag, alle noodzakelijke informatie en intenties voor de taak succesvol overbrengt.

• Toestandstracker (Dialogue State Tracker): Bewaakt welke informatie uit het gebruikersdoel al is overgedragen. Als de dialoog dreigt te eindigen voordat alle info is gegeven, wordt de gebruiker gedwongen de ontbrekende info toe te voegen.
• Eind-Verifier: Voorkomt dat de dialoog te vroeg eindigt (bijv. voordat de agent een actie heeft uitgevoerd).
• Interventiemodules: Specifieke modules genereren de vier gedragstypen (bijv. het genereren van tangentiële vragen gebaseerd op een gebruikerspersona, of het simuleren van woede bij foutmeldingen).

3. Belangrijkste Bijdragen

1. Definitie en Simulatie Framework: De auteurs definiëren vier types niet-coöperatief gedrag en ontwikkelen een extensibel framework dat deze gedragingen realiseert zonder de taakuitvoering (goal alignment) te saboteren. Dit presteert beter dan simpele prompt-based benaderingen.
2. Evaluatie van Robuustheid: Het paper onthult dat state-of-the-art tool agents (zoals GPT-4.1-mini, Qwen, Llama) aanzienlijke prestatieverlies ondervinden bij niet-coöperatieve gebruikers.
3. Analyse van Falingsmechanismen: Het onderzoek identificeert specifieke foutpatronen:
   • Onbeschikbare diensten leiden tot herhaalde, redundante API-aanroepen (helper API calls) en hallucinaties van API-resultaten.
   • Tangentiële gedrag veroorzaakt het grootste prestatieverlies door afleiding en het niet afhandelen van de kernopdracht binnen het limiet van redeneringsstappen.
   • Ongeduld leidt tot overmatige verontschuldigingen van de agent, wat de taakuitvoering vertraagt en een negatieve feedbacklus creëert.
   • Onvolledige zinnen leiden tot hallucinatie van API-parameters.
4. Fine-tuning Inzichten: Het tonen aan dat fine-tuning uitsluitend op coöperatieve data agents kwetsbaar maakt voor niet-coöperatieve scenario's. Het toevoegen van niet-coöperatieve data tijdens training verbetert de robuustheid, maar vereist zorgvuldige afweging van de data-verhoudingen.

4. Resultaten

De experimenten zijn uitgevoerd op MultiWOZ (taakgericht, boekingen) en τ-bench (complexere airline/retail taken), met diverse LLM-modellen (GPT-4.1, Qwen, Llama).

• Prestatie-degradatie: Alle geteste modellen vertonen een significante daling in Success Rate (SR) bij niet-coöperatieve gebruikers.
  • Tangentiële gedrag veroorzaakt de zwaarste daling (gemiddeld ~29% verlies).
  • Onbeschikbare diensten leiden vaak tot "helper API repetition" (agenten blijven documentatie opvragen in plaats van te concluderen dat een taak onmogelijk is).
• Modelgrootte: Er is geen eenduidige correlatie tussen modelgrootte en robuustheid. GPT-4.1-mini presteert het meest consistent, maar grotere Qwen-modellen vertonen soms paradoxale resultaten (bijv. meer hallucinaties ondanks betere prestaties in andere categorieën).
• Fine-tuning: Modellen die alleen op coöperatieve data zijn getraind, falen vaak bij niet-coöperatieve inputs. Modellen getraind op een mix van data (inclusief niet-coöperatief) tonen verbeterde prestaties, maar uniforme weging van alle klanttypes is vaak de beste strategie voor algemene kwaliteit.
• Meerdere Gedragstypen: Wanneer een gebruiker meerdere niet-coöperatieve gedragingen combineert (bijv. ongeduldig én onvolledig), neemt de prestatie van de agent drastisch af, zelfs bij de sterkste modellen.

5. Significantie

Dit paper is cruciaal voor de ontwikkeling van robuuste AI-agenten voor de echte wereld:

• Realistische Evaluatie: Het biedt een standaard om agents te testen tegen de "ruis" van echte menselijke interacties, wat essentieel is voor de deploy van agents in klantenservice en andere domeinen.
• Diagnose van Zwaktes: Het identificeert specifieke zwaktes in huidige LLM-architecturen (zoals de neiging tot hallucinatie bij onduidelijke instructies of het vastlopen in verontschuldigingen bij boze gebruikers).
• Open Source Framework: De auteurs publiceren een extensibel simulatieframework (beschikbaar op GitHub) dat onderzoekers in staat stelt hun eigen tool agents te testen en te trainen onder realistische, uitdagende omstandigheden.
• Toekomstige Richting: Het paper pleit voor het integreren van niet-coöperatieve data in training pipelines om agents te maken die niet alleen efficiënt, maar ook veerkrachtig zijn tegen frustratie, afleiding en onduidelijkheid.

Kortom, de studie waarschuwt dat "agent-vriendelijke" evaluaties een vals gevoel van veiligheid geven en dat echte robuustheid alleen kan worden bereikt door systematisch te trainen en testen tegen de volledige breedte van menselijk gedrag.