🤖 AI

Beyond expert users: agents should help users construct preferences, not just elicit them

Cet article soutient que les agents d'IA devraient activement aider les utilisateurs à construire leurs préférences en fournissant les connaissances de domaine nécessaires, plutôt que de simplement les solliciter, un défi mis en évidence par le cadre CoPref et le benchmark CoShop proposés, qui révèlent que les modèles de pointe actuels peinent à élargir la compréhension de l'utilisateur malgré de multiples tours d'interaction.

Auteurs originaux : Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entrez dans un magasin de chaussures haut de gamme pour acheter des bottes de randonnée. Vous dites au vendeur : « J'ai besoin de bottes qui sont confortables, pas trop chères et qui ont du style. »

Dans le monde des assistants d'achat IA actuels, le système vous considère comme un expert. Il se dit : « Super ! Elle sait exactement ce qu'elle veut. Je n'ai plus qu'à poser quelques questions supplémentaires pour obtenir les détails : "Quelle pointure ? Quelle couleur ? Quel est votre budget ?" »

L'article soutient que cette hypothèse est erronée. La plupart d'entre nous ne sont pas des experts. Nous ne savons pas que la « profondeur des crampons » (la sculpture sous la semelle) est importante pour les sentiers rocheux, ou que « imperméable » est différent de « résistant à l'eau ». Si l'IA demande simplement : « Voulez-vous des bottes imperméables ? » et que vous répondez « Je ne sais pas », l'IA arrive dans une impasse. Elle ne peut pas trouver la bonne botte parce qu'elle ne vous a pas encore appris pourquoi cette caractéristique est importante.

L'idée centrale : Construire les préférences, pas seulement les trouver

Les auteurs proposent que l'IA ne devrait pas être un simple poseur de questions ; elle doit être un enseignant.

Ils introduisent un modèle appelé COPREF (Co-constructed Preferences — Préférences co-construites). Considérez vos préférences non pas comme un coffre au trésor caché que l'IA tente d'ouvrir avec une clé (une question), mais comme une maison qui est construite brique par brique au cours de votre conversation.

Caractéristiques de recherche (Search Features) : Ce sont des briques faciles. Vous savez que vous voulez du « rouge » ou une « taille 42 ». L'IA n'a qu'à demander, et vous répondez.
Caractéristiques d'expérience (Experience Features) : Ce sont des briques que vous ne pouvez pas voir avant de les toucher. Vous ne savez pas si vous aimez le « daim » tant que l'IA ne vous montre pas une photo d'une botte en daim et ne vous demande pas : « Voyez-vous cette texture ? ». Vous réalisez alors : « Oh, je déteste ça. »
Caractéristiques de croyance (Credence Features) : Ce sont les plans de construction. Vous ne savez même pas que le mur existe jusqu'à ce que l'IA explique : « Au fait, certaines bottes ont une doublure spéciale qui empêche les ampoules. » Une fois que vous avez appris cela, vous pouvez décider si vous le voulez.

L'expérience : COSHOP

Pour tester cela, les chercheurs ont construit un terrain de jeu appelé COSHOP. C'est comme un jeu vidéo où un agent IA essaie d'aider un utilisateur simulé à acheter des articles (vêtements, films ou livres).

Les « utilisateurs » de ce jeu sont programmés pour être de vraies personnes : ils commencent avec très peu d'idées. Ils ne savent pas ce qu'ils veulent tant que l'IA ne les aide pas à apprendre. Le but n'est pas seulement de trouver l'article approprié ; c'est que l'IA aide l'utilisateur à comprendre ce qu'il veut afin qu'il puisse choisir lui-même le bon article.

Ce qu'ils ont découvert : L'IA est trop timide pour enseigner

Les chercheurs ont testé cinq des modèles d'IA les plus intelligents disponibles (comme les dernières versions de GPT et Claude). Voici ce qui s'est passé :

Le piège de l'expert : Lorsque l'IA était confrontée à un utilisateur qui savait déjà tout (un expert), l'IA était incroyable. Elle trouvait le bon article 94 % du temps.
Le crash de l'utilisateur réel : Lorsque l'IA essayait d'aider un « utilisateur réel » (qui avait besoin d'apprendre), les performances s'effondraient. Aucun modèle n'a dépassé les 56 % de précision.
La raison de l'échec : L'IA n'était pas mauvaise pour chercher dans le magasin. Elle était mauvaise pour enseigner.
- Trop de questions, pas assez d'exemples : L'IA continuait de demander : « Est-ce que vous aimez ceci ? » ou « Est-ce trop cher ? » sans jamais montrer à l'utilisateur à quoi « trop cher » ou « ce style » ressemblait réellement.
- Terminaisons prématurées : L'IA se lassait souvent de poser des questions et disait : « D'accord, je pense avoir assez d'informations », puis passait à la recherche. Mais l'utilisateur n'en savait toujours pas assez pour choisir le bon article parmi la liste.
- Hallucinations : Parfois, l'IA inventait des caractéristiques qui n'existaient pas, confondant davantage l'utilisateur.

L'analogie du « mauvais rapport »

Imaginez que l'IA est un chercheur qui trouve la botte de randonnée parfaite. Elle vous écrit un rapport.

Le problème : Le rapport dit : « Voici une excellente botte. » Mais il oublie de mentionner que la botte est en cuir épais (que vous détestez) ou qu'elle a une tige haute (dont vous avez besoin).
Le résultat : Même si l'IA a trouvé la botte parfaite, vous ne pouvez pas la choisir car le rapport ne vous a pas donné l'information nécessaire pour faire un choix. Vous choisissez une autre botte, moins bonne, parce que vous ne saviez pas que la première était en fait la bonne.

La conclusion

L'article conclut que pour que l'IA soit véritablement utile, elle doit cesser d'agir comme un système de récupération (qui se contente de chercher des réponses) et commencer à agir comme un collaborateur. Elle doit réaliser que parfois, l'utilisateur ne sait pas ce qu'il veut, et que le rôle de l'IA est de montrer des exemples et d'expliquer les détails techniques afin que l'utilisateur puisse construire sa propre préférence.

Actuellement, même les IA les plus intelligentes échouent à cela. Elles sont excellentes pour trouver des choses, mais elles sont terribles pour nous aider à comprendre ce dont nous avons réellement besoin.

Résumé technique : Au-delà des utilisateurs experts – Les agents doivent aider les utilisateurs à construire leurs préférences, et non simplement à les eliciter

1. Énoncé du problème

Les systèmes de recommandation agentiques actuels (par exemple, la recherche shopping de ChatGPT, Amazon Rufus) et les benchmarks utilisés pour les évaluer opèrent sous une hypothèse critique et irréaliste : que les utilisateurs sont des experts dotés de préférences bien formées et statiques qui peuvent être pleinement spécifiées via des questions de clarification. En réalité, les utilisateurs non-experts manquent souvent de connaissances dans le domaine pour définir des préférences pour l'ensemble des caractéristiques pertinentes. Ils peuvent être incapables de répondre à des questions sur des attributs spécifiques (par exemple, la « profondeur de la tige » pour des chaussures de randonnée ou le « viscose vs lyocell » pour des tissus) car ils ne comprennent pas encore ce que ces caractéristiques signifient ni comment elles impactent l'expérience utilisateur.

L'article soutient que lorsque les agents s'appuient uniquement sur des questions de clarification, ils échouent à aider les utilisateurs à construire les préférences nécessaires pour évaluer les recommandations. Par conséquent, même si un agent parvient à trouver l'article idéal, l'utilisateur peut être incapable de l'identifier comme étant le meilleur choix en raison d'un état de préférence sous-développé. Cela conduit à un échec de la performance de l'« équipe » composée de l'humain et de l'agent, et non seulement de la capacité de recherche de l'agent.

2. Méthodologie

2.1 Le modèle COPREF

Les auteurs introduisent COPREF (Co-constructed Preferences - Préférences co-construites), un modèle formel d'interaction utilisateur-agent où les préférences ne sont pas extraites, mais construites à travers le dialogue.

État de préférence ( $S_t$ ) : Un sous-ensemble de caractéristiques $F$ sur lesquelles l'utilisateur a formé une préférence au tour $t$ . Cet état évolue à partir d'un état initial incomplet ( $S_1$ ) basé sur les actions de l'agent.
Cadre SEC : S'appuyant sur l'économie de l'information (Search-Experience-Credence / Recherche-Expérience-Crédence), le modèle partitionne les caractéristiques en trois types, chacun nécessitant une action de dialogue différente de l'agent pour être débloqué :
1. Caractéristiques de Recherche ( $F_s$ ) : L'utilisateur connaît sa préférence (ex: prix, taille). Débloquées via des questions de clarification.
2. Caractéristiques d'Expérience ( $F_e$ ) : L'utilisateur a besoin de voir des exemples concrets pour décider (ex: « est-ce que ce motif est trop chargé ? »). Débloquées via des options d'exemples.
3. Caractéristiques de Crédence ( $F_c$ ) : L'utilisateur a besoin de connaissances spécialisées pour comprendre la caractéristique (ex: « qu'est-ce qu'un panneau yoke ? »). Débloquées via des explications techniques.
Mécanisme : Une caractéristique est ajoutée à l'état de préférence de l'utilisateur uniquement si l'agent effectue l'action de dialogue spécifique correspondant au type SEC de la caractéristique.

2.2 Le benchmark COSHOP

Pour évaluer les agents selon ce modèle, les auteurs introduisent COSHOP, un benchmark interactif pour les systèmes de recommandation agentiques à travers trois domaines :

Jeux de données : H&M (mode), MovieLens (films) et Goodreads (livres).
Simulation d'utilisateur : Contrairement aux simulateurs typiques qui sollicitent un persona une seule fois, COSHOP utilise un simulateur (basé sur gpt-oss-120b) explicitement ancré à l'état de préférence actuel $S_t$ . La répartition SEC du simulateur (quelles caractéristiques sont de type recherche/expérience/crédence) est personnalisée en fonction des données historiques d'achat/notation de l'utilisateur.
Protocole d'interaction :
1. Conversation : L'agent et l'utilisateur conversent pendant jusqu'à 5 tours (budget : 20 questions, 10 articles uniques présentés).
2. Recherche : L'agent recherche dans le catalogue (budget : 250 recherches).
3. Rapport : L'agent génère $k=5$ recommandations.
4. Sélection : L'utilisateur sélectionne un article basé sur son état de préférence final $S_{T+1}$ .
Métriques :
- Complétude de l'état : Fraction de l'ensemble complet des préférences de l'utilisateur récupérée.
- Rappel de l'agent (Recall) : Si l'article cible $x^*$ apparaît dans le top- $k$ des recommandations.
- Précision de l'équipe (Team Accuracy) : Si l'utilisateur sélectionne avec succès $x^*$ à partir du rapport. C'est la métrique principale, limitée à la fois par le rappel et par la richesse de l'état de préférence de l'utilisateur.

2.3 Validation par étude humaine

Une étude avec $n=25$ participants a validé les affirmations centrales de COPREF :

Les utilisateurs non-experts possèdent un mélange de caractéristiques de recherche, d'expérience et de crédence (aucun utilisateur n'avait uniquement des caractéristiques de recherche).
Les actions de dialogue appropriées (exemples pour l'expérience, explications pour la crédence) réussissent à « débloquer » des préférences qui n'étaient pas formulées auparavant.
Les classifications SEC varient selon l'individu ; une caractéristique n'est pas universellement de type crédence ou expérience, elle dépend de la connaissance spécifique du domaine de l'utilisateur.

3. Principales contributions

Modèle COPREF : Une formalisation de la construction des préférences qui remet en question l'hypothèse de l'« utilisateur expert », en distinguant les caractéristiques qui nécessitent des questions, des exemples ou des explications pour être définies.
Benchmark COSHOP : Un benchmark interactif en open-source évaluant les agents sur leur capacité à co-construire des préférences avec des utilisateurs non-experts, mesurant la « précision de l'équipe » plutôt que la simple recherche.
Analyse empirique : Une évaluation complète de cinq modèles de langage de pointe (familles GPT et Claude) démontrant que les agents actuels échouent à étendre efficacement les connaissances de l'utilisateur.

4. Résultats

Les évaluations de cinq modèles de pointe (incluant gpt-5.2, claude-sonnet-4.6 et gpt-oss-120b) sur COSHOP ont produit les conclusions suivantes :

Chute de performance : Bien que les modèles obtiennent des scores élevés (ex: 94,3 % pour claude-sonnet-4.6) lorsqu'on leur donne des préférences entièrement spécifiées au départ, leur Précision de l'équipe sur COSHOP chute considérablement (maximum de 56 % pour tous les modèles et domaines).
Modes de défaillance :
1. États de préférence sous-développés : Les agents échouent à effectuer les actions de dialogue nécessaires (exemples, explications) pour débloquer les caractéristiques d'expérience et de crédence. Par conséquent, l'utilisateur ne peut pas distinguer l'article cible des distracteurs, même si celui-ci est présent dans le rapport.
2. Mauvaise qualité du rapport : Les agents omettent ou représentent mal les caractéristiques des articles dans leurs rapports finaux, empêchant les utilisateurs d'évaluer correctement les options.
Stratégies d'interaction :
- Les modèles ont tendance à s'appuyer lourdement sur les questions de clarification (souvent redondantes ou basées sur la confirmation) plutôt que de fournir des exemples ou des explications.
- Aucun modèle n'a fourni proactivement d'explications techniques pour les caractéristiques de crédence.
- Les modèles plus larges (ex: gpt-5.2) ont montré un « biais d'exécution », mettant fin prématurément aux conversations pour passer à la phase de recherche, laissant la tâche sous-spécifiée.
- Les modèles plus petits ont épuisé le budget de conversation mais ont échoué à introduire de nouvelles caractéristiques, bouclant souvent sur des attributs déjà connus.
Interventions : Fournir l'historique de l'utilisateur aux agents n'a pas significativement amélioré la performance. Cependant, remplacer les descriptions d'articles de l'agent par des données complètes du catalogue (simulant une qualité de rapport parfaite) a considérablement amélioré la précision de l'équipe, confirmant que la qualité du rapport et le développement de l'état de préférence sont les principaux goulots d'étranglement.

5. Signification et affirmations

L'article affirme que la limitation principale des systèmes de recommandation agentiques actuels n'est pas leur capacité à rechercher ou à récupérer des articles, mais leur incapacité à enseigner aux utilisateurs ce qu'ils doivent savoir pour prendre une décision.

Changement de paradigme : Les auteurs soutiennent que le domaine doit passer d'une vision des agents comme « eliciteurs de préférences » (récupérant des préférences statiques) à des « constructeurs de préférences » (construisant activement la connaissance de l'utilisateur).
Précision de l'équipe : Le succès doit être mesuré par la capacité conjointe de l'équipe humain-agent. Un agent qui trouve l'article parfait mais échoue à aider l'utilisateur à comprendre pourquoi il est parfait a échoué dans sa tâche.
Directions futures : L'article suggère que les travaux futurs devraient se concentrer sur l'entraînement des agents à reconnaître quand un utilisateur manque de connaissances dans un domaine et à déployer proactivement des exemples et des explications, plutôt que de compter uniquement sur des questions de clarification. Il appelle également à étendre le modèle COPREF au-delà des contextes de recommandation vers d'autres domaines orientés tâches.

Les auteurs restent modestes, notant que leur modèle simplifie la construction des préférences (en supposant un déblocage en une étape et une croissance monotone de l'état) et que même dans ces conditions favorables, les modèles de pointe actuels peinent à s'adapter.