$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Stel je voor dat je een bibliotheek binnenloopt waar de bibliothecaris elk boek in het gebouw kent, maar je kunt niet simpelweg een lijst overhandigen van wat je wilt. In plaats daarvan moet je een gesprek voeren. Je zou kunnen beginnen door te zeggen dat je een sciencefictionroman wilt, maar terwijl de bibliothecaris titels suggereert, besef je dat je ook een verhaal nodig hebt dat zich afspeelt vóór het jaar 2000, of misschien een verhaal geschreven in een specifieke taal. De uitdaging voor een kunstmatige intelligentie die als deze bibliothecaris optreedt, is niet alleen het vinden van boeken die overeenkomen met een lijst met feiten, maar het uitzoeken wat die feiten überhaupt zijn. Echte mensen geven zelden alle vereisten aan het begin van een gesprek volledig aan. Ze onthullen hun werkelijke behoeften vaak pas nadat ze een suggestie hebben gezien, of ze aarzelen om precies te zeggen waar ze naar op zoek zijn totdat het juiste moment aanbreekt. Als de AI te vroeg gokt, kan het een boek aanbevelen dat een verborgen vereiste mist, wat de gebruiker frustreert. Als de AI te lang wacht of nalaat de juiste vragen te stellen, verspilt het tijd. De kernvraag die onderzoekers proberen te beantwoorden is hoe goed deze digitale assistenten dit delicate proces van ontdekking kunnen navigeren, vooral wanneer de gebruiker informatie achterhoudt.

Om dit te onderzoeken, creëerden een team van onderzoekers een gecontroleerd experiment genaamd een benchmark, wat in essentie een gestandaardiseerde test is die is ontworpen om prestaties onder specifieke omstandigheden te meten. Ze bouwden een digitale catalogus met 20.000 echte boeken uit een publieke database, compleet met details zoals genre, taal, land van herkomst en publicatiejaar. Vervolgens ontwierpen ze 450 specifieke taken, die elk een uniek verzoek om een boek vertegenwoordigen. Het slimme aan hun ontwerp was dat ze het werkelijke verzoek voor elke taak exact hetzelfde hielden, maar dat ze de regels veranderden voor wanneer de gebruiker de details mocht onthullen. In één scenario, genaamd "vrijwilliger", vertelde de gebruiker de AI alles wat hij wilde aan het begin. In een tweede scenario, genaamd "gemengd", gaf de gebruizer één detail aan, maar hield andere details verborgen, die pas werden onthuld als de AI de juiste vraag stelde. In het derde en moeilijkste scenario, genaamd "verborgen", weigerde de gebruiker bepaalde vereisten geheel te vermelden, waardoor de AI moest gokken door boeken voor te stellen en te kijken of de gebruiker ze accepteerde of afwees. De onderzoekers gebruikten een gesimuleerde gebruiker, een computerprogramma dat strikte regels volgde, om met vier verschillende AI-agenten te interageren om te zien hoe zij presteerden.

De resultaten onthulden een harde realiteit over hoe deze systemen met informatie omgaan. Wanneer de gebruiker alle details onmiddellijk vrijwillig deelde, waren de AI-agenten opmerkelijk succesvol en vonden ze het juiste boek in bijna elke poging. Echter, zodra de onderzoekers de noodzaak introduceerden om vragen te stellen, daalde het succespercentage aanzienlijk. Wanneer de gebruiker enkele details pas onthulde nadat er om werd gevraagd, slaagden de agenten ongeveer driekwart van de tijd. De situatie werd veel nijpender wanneer de gebruiker enkele vereisten volledig verborg. In die gevallen slaagden de AI-agenten minder dan een derde van de tijd. De studie toonde aan dat de moeilijkheid niet lag in de omvang van de boekencollectie of de specifieke tools die de AI gebruikte om te zoeken, maar in de timing van de informatie. De agenten hadden de meeste moeite wanneer ze nalieten vragen te stellen voordat ze een aanbeveling deden. Wanneer de onderzoekers de agenten expliciet instructies gaven om vragen te stellen, verbeterde hun prestatie op de "gemengde" taken drastisch en bereikten ze dezelfde hoge niveaus als wanneer alle informatie vooraf werd gegeven.

De onderzoekers ontdekten ook dat de grootste fouten in de "verborgen" scenario's voortkwamen uit een specifieke fout: de agenten zouden een boek aanbevelen dat ze nooit eerst aan de gebruiker hadden voorgesteld voor een oordeel. In plaats van hun ideeën te testen, committeerden ze zich te snel aan een definitief antwoord. Wanneer de agenten werden gedwongen een boek voor te stellen en te wachten op een ja of nee voordat ze een definitieve aanbeveling deden, presteerden ze beter, hoewel ze nog steeds niet een perfecte score haalden. De studie vergeleek ook twee manieren waarop de AI door de catalogus kon zoeken. De ene methode was als het typen van trefwoorden in een zoekbalk, terwijl de andere een gestructureerde filter was die de AI in staat stelde de resultaten te verfijnen door specifieke categorieën zoals jaar of land. De gestructureerde zoekmethode hielp de agenten vaker het juiste boek te vinden, maar kon het fundamentele probleem van het niet weten wat de gebruiker wilde niet overwinnen.

Uiteindelijk laat dit werk zien dat het vermogen van een AI om een succesvol gesprek te voeren niet alleen gaat over het hebben van toegang tot een grote database met informatie. Het gaat over de strategie van ontdekking. De studie bewijst dat wanneer vereisten verborgen zijn, zelfs geavanceerde AI-agenten moeite hebben om het juiste antwoord te vinden zonder een duidelijk proces voor vragen en verifiëren. De onderzoekers vonden dat als een agent de instructie krijgt om vragen te stellen, het bijna alle problemen kan oplossen waarbij de gebruiker bereid is te antwoorden. Echter, wanneer de gebruiker weigert een vereiste te vermelden en alleen de suggesties beoordeelt, maken de agenten nog steeds aanzienlijke fouten, waarbij ze vaak boeken aanbevelen die niet voldoen aan de onuitgesproken regels van de gebruiker. Het team heeft al hun gegevens, de boekencatalogus en de code die ze gebruikten vrijgegeven, zodat andere wetenschappers het experiment kunnen herhalen en voortbouwen op deze bevindingen. Hun werk suggereert dat voor AI om een echt effectieve gesprekspartner in aanbevelingen te worden, het moet leren de stilte of de weigering van een gebruiker om te antwoorden niet te zien als een doodlopende weg, maar als een aanwijzing dat er een verborgen vereiste bestaat, wat een nauwkeurigere en meer systematische aanpak van eliminatie en ontdekking vereist.