$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Imaginez que vous entriez dans une bibliothèque où le bibliothécaire connaît chaque livre de l'établissement, mais vous ne pouvez pas simplement lui donner une liste de ce que vous voulez. Au lieu de cela, vous devez avoir une conversation. Vous pourriez commencer par dire que vous voulez un roman de science-fiction, mais alors que le bibliothécaire suggère des titres, vous réalisez que vous avez aussi besoin d'une histoire située avant l'an 2000, ou peut-être d'une écrite dans une langue spécifique. Le défi pour une intelligence artificielle agissant comme ce bibliothécaire n'est pas seulement de trouver des livres qui correspondent à une liste de faits, mais de comprendre quels sont ces faits en premier lieu. Les vraies personnes ne déclarent que rarement tous leurs critères dès le début d'une conversation. Elles révèlent souvent leurs véritables besoins seulement après avoir vu une suggestion, ou elles peuvent hésiter à dire exactement ce qu'elles recherchent jusqu'au moment opportun. Si l'IA devine trop tôt, elle pourrait recommander un livre qui passe à côté d'une exigence cachée, frustrant l'utilisateur. Si elle attend trop longtemps ou ne pose pas les bonnes questions, elle fait perdre du temps. La question centrale que les chercheurs tentent de résoudre est de savoir si ces assistants numériques peuvent naviguer dans ce processus délicat de découverte, surtout lorsque l'utilisateur retient des informations.

Pour étudier cela, une équipe de chercheurs a créé une expérience contrôlée appelée « benchmark », qui est essentiellement un test standardisé conçu pour mesurer la performance dans des conditions spécifiques. Ils ont construit un catalogue numérique contenant 20 000 livres réels provenant d'une base de données publique, complet avec des détails tels que le genre, la langue, le pays d'origine et l'année de publication. Ils ont ensuite conçu 450 tâches spécifiques, chacune représentant une demande de livre unique. La partie ingénieuse de leur conception était qu'ils gardaient la demande réelle pour chaque tâche exactement la même, mais ils changeaient les règles de quand l'utilisateur était autorisé à révéler les détails. Dans un scénario, appelé « volontaire », l'utilisateur disait à l'IA tout ce qu'il voulait dès le début. Dans un deuxième scénario, appelé « mixte », l'utilisateur énonçait un détail mais gardait les autres cachés, ne les révélant que si l'IA posait la bonne question. Dans le troisième et plus difficile scénario, appelé « caché », l'utilisateur refusait d'énoncer certains critères entièrement, forçant l'IA à deviner en proposant des livres et en observant si l'utilisateur les acceptait ou les rejetait. Les chercheurs ont utilisé un utilisateur simulé, un programme informatique suivant des règles strictes, pour interagir avec quatre agents d'IA différents afin de voir comment ils performaient.

Les résultats ont révélé une réalité frappante sur la manière dont ces systèmes gèrent l'information. Lorsque l'utilisateur donnait volontairement tous les détails immédiatement, les agents d'IA étaient remarquablement efficaces, trouvant le bon livre dans presque chaque tentative. Cependant, dès que les chercheurs introduisaient la nécessité de poser des questions, le taux de réussite chutait considérablement. Lorsque l'utilisateur révélait certains détails uniquement lorsqu'on les lui demandait, les agents réussissaient environ les trois quarts du temps. La situation devenait beaucoup plus grave lorsque l'utilisateur cachait complètement certains critères. Dans ces cas, les agents d'IA réussissaient moins d'un tiers du temps. L'étude a montré que la difficulté ne résidait pas dans la taille de la collection de livres ou dans les outils de recherche spécifiques utilisés par l'IA, mais dans le moment de l'information. Les agents échouaient le plus lorsqu'ils ne posaient pas de questions avant de faire une recommandation. Lorsque les chercheurs ont explicitement ordonné aux agents de poser des questions, les performances sur les tâches « mixtes » se sont améliorées de façon spectaculaire, atteignant les mêmes niveaux élevés que lorsque toute l'information était donnée au départ.

Les chercheurs ont également découvert que les plus grands échecs dans les scénarios « cachés » provenaient d'une erreur spécifique : les agents recommandaient un livre qu'ils n'avaient jamais proposé à l'utilisateur pour verdict au préalable. Au lieu de tester leurs idées, ils s'engageaient dans une réponse finale trop rapidement. Lorsque les agents étaient forcés de proposer un livre et d'attendre un oui ou un non avant de faire une recommandation finale, ils performent mieux, bien qu'ils n'atteignent pas un score parfait. L'étude a également comparé deux façons pour l'IA de chercher dans le catalogue. Une méthode consistait à taper des mots-clés dans une barre de recherche, tandis que l'autre était un filtre structuré permettant à l'IA de restreindre les résultats par catégories spécifiques comme l'année ou le pays. La méthode de recherche structurée aidait les agents à trouver le bon livre plus souvent, mais elle ne pouvait pas surmonter le problème fondamental de ne pas savoir ce que l'utilisateur voulait.

En fin de compte, ce travail démontre que la capacité d'une IA à avoir une conversation réussie ne dépend pas seulement de l'accès à une grande base de données d'informations. Il s'agit de la stratégie de découverte. L'étude prouve que lorsque les exigences sont cachées, même les agents d'IA avancés peinent à trouver la bonne réponse sans un processus clair de questionnement et de vérification. Les chercheurs ont constaté que si un agent est chargé de poser des questions, il peut résoudre presque tous les problèmes où l'utilisateur est disposé à répondre. Cependant, lorsque l'utilisateur refuse d'énoncer un critère et ne juge que les suggestions, les agents commettent encore des erreurs significatives, recommandant souvent des livres qui échouent aux règles tacites de l'utilisateur. L'équipe a publié toutes ses données, le catalogue de livres et le code qu'ils ont utilisé, permettant à d'autres scientifiques de répéter l'expérience et de s'appuyer sur ces découvertes. Leur travail suggère que pour qu'une IA devienne un partenaire de conversation véritablement efficace dans la recommandation, elle doit apprendre à traiter le silence ou le refus de répondre d'un utilisateur non pas comme un cul-de-sac, mais comme l'indice qu'une exigence cachée existe, nécessitant une approche plus prudente et systématique d'élimination et de découverte.