🤖 machine learning

Benchmarking In-context Experiential Learning Through Repeated Product Recommendations

Cet article introduit BELA, un benchmark pour l'apprentissage expérientiel dans des scénarios de recommandation de produits répétés utilisant des produits réels et des personas de clients synthétiques, lequel révèle que si les agents actuels basés sur les LLM peuvent s'adapter au sein d'interactions individuelles, ils peinent à améliorer leurs stratégies à travers plusieurs épisodes en déduisant des structures latentes partagées.

Auteurs originaux : Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais que les indices sont cachés au cœur d'une conversation. Dans le monde de l'intelligence artificielle, il existe une grande différence entre résoudre un puzzle unique et apprendre à mieux résoudre les puzzles au fil du temps. La plupart des tests d'IA actuels reviennent à donner à un élève un problème de mathématiques unique où tous les chiffres sont déjà écrits ; l'objectif est simplement d'obtenir la bonne réponse sur le moment. Mais la vie réelle est plus désordonnée. C'est plutôt comme un détective qui parle à un témoin, pose quelques questions, obtient une réponse, puis doit utiliser cette expérience pour mener l'entretien avec le témoin suivant de manière plus efficace. Ce document plonge dans un recoin spécifique de la recherche en IA appelé « l'apprentissage expérientiel ». Il pose une question simple mais complexe : une IA peut-elle devenir plus intelligente pour comprendre ce que les gens veulent simplement en discutant avec eux de manière répétée ? Les chercheurs testent si ces agents numériques peuvent apprendre de leurs conversations passées pour devenir de meilleurs détectives à l'avenir, plutôt que d'être simplement doués pour résoudre un cas isolé.

Les auteurs de ce document, une équipe de la Business School de Columbia et de l'Université Sun Yat-sen, ont décidé de tester cette idée en utilisant un scénario que nous connaissons tous : l'achat de produits. Ils ont construit un immense terrain de jeu virtuel appelé BELA (Benchmark for Experiential Learning and Active exploration). Considérez BELA comme un immense centre commercial infini où l'IA joue le rôle d'un vendeur. Dans ce centre commercial, l'IA doit discuter avec des milliers de différents « clients » (qui sont en réalité des simulations informatiques de personnes ayant des goûts spécifiques) pour découvrir quel produit elle devrait leur proposer. Le piège est que l'IA n'a pas qu'une seule chance. Elle discute avec un client, fait une recommandation, reçoit un retour, puis passe à un nouveau client. Le grand test est de savoir si l'IA se souvient de ce qu'elle a appris du premier client et utilise ce savoir pour poser de meilleures questions au deuxième, troisième et dixième client.

Pour rendre ce test équitable et colossal, les chercheurs n'ont pas seulement inventé quelques fausses personnes. Ils ont créé un système comprenant 71 000 produits réels provenant d'Amazon et 2 000 groupes de produits différents (comme un groupe de gels capillaires ou un groupe de plats à base de riz). Ils ont ensuite associé cela à 1 million de personnalités de clients différentes (simulées par d'autres IA) qui possèdent des goûts très spécifiques et cohérents. Cela crée un nombre vertigineux de 2 milliards de combinaisons possibles de « client + groupe de produits ». C'est comme avoir une bibliothèque de chaque voyage de shopping que vous pourriez imaginer, permettant aux chercheurs de voir si l'IA peut repérer des modèles à travers la foule.

Les chercheurs ont mené leurs expériences avec les modèles d'IA les plus intelligents disponibles aujourd'hui, incluant des géants comme GPT-5.4, Gemini-3.1 et Claude-Opus. Ils ont observé ces modèles tenter de vendre des produits sur une série de 10 voyages de shopping (appelés épisodes). Ils voulaient voir deux choses. Premièrement, une IA pouvait-elle apprendre pendant une seule conversation (en posant les bonnes questions de suivi) ? Deuxièmement, l'IA pouvait-elle apprendre à travers les conversations (en devenant meilleure dans son travail à mesure qu'elle acquiert de l'expérience) ?

Voici le résultat surprenant : les modèles d'IA étaient en fait plutôt bons pour la première partie. En discutant avec un seul client, ils pouvaient apprendre de la conversation et poser de meilleures questions au fil de la discussion. Cependant, ils ont complètement échoué à la seconde partie. Après avoir discuté avec neuf clients différents, l'IA n'était pas meilleure pour deviner ce que le dixième client voulait qu'elle ne l'était avec le premier. C'était comme un vendeur qui est excellent pour comprendre ce qu'une personne aime, mais à chaque fois qu'une nouvelle personne entre, il repart de zéro, oubliant tout ce qu'il a appris des neuf personnes précédentes.

Le document suggère que ces modèles « frontières » actuels manquent d'une compétence cruciale : ils ne peuvent pas regarder leurs expériences passées et dire : « Oh, je vois un modèle ici ; je devrais poser ce type de question la prochaine fois. » Au lieu de cela, ils semblent traiter chaque nouveau client comme un mystère totalement nouveau, même si l'un vient de rencontrer quelqu'un ayant des goûts très similaires cinq minutes auparavant. Les chercheurs ont également constaté que l'IA ne devenait pas meilleure pour deviner son propre degré de confiance ; elle continuait à poser le même nombre de questions, même lorsqu'elle aurait dû apprendre à en poser moins.

Pour prouver que la tâche n'était pas simplement trop difficile, les chercheurs ont créé un « chemin idéal ». Ils ont guidé manuellement l'IA à travers les meilleures questions possibles et ont montré que si l'IA avait utilisé correctement ses expériences passées, elle aurait pu considérablement améliorer ses recommandations et poser moins de questions. Cela prouve que l'information était là pour être apprise, mais que les modèles actuels ne parvenaient tout simplement pas à la saisir.

En résumé, ce document suggère que si notre IA actuelle devient très douée pour avoir une seule conversation intelligente, elle n'a pas encore compris comment être une « machine apprenante » qui devient plus intelligente tout au long de sa carrière. C'est un peu comme un étudiant qui peut réussir un examen s'il étudie la veille, mais qui oublie tout dès que la cloche sonne, incapable d'utiliser ce qu'il a appris le lundi pour l'aider le mardi. Les auteurs concluent que pour que l'IA puisse véritablement gérer le monde réel, complexe et changeant, elle doit développer cette capacité à apprendre de l'expérience à travers plusieurs épisodes, une compétence que les modèles les plus avancés d'aujourd'hui peinent encore à maîtriser.

Résumé technique : Évaluation de l'apprentissage expérientiel en contexte par des recommandations de produits répétées

Énoncé du problème

Les évaluations actuelles des agents de Grands Modèles de Langage (LLM) négligent largement la capacité d'apprentissage expérientiel à travers plusieurs épisodes. Bien que les benchmarks récents aient abordé la résolution d'incertitudes au sein d'une seule tâche (épisode), ils ne parviennent pas à mesurer la capacité d'un agent à affiner sa stratégie en inférant des structures latentes partagées à travers des tâches séquentielles similaires.

Dans des scénarios réels, tels qu'un agent de vente recommandant des produits à un flux de clients inconnus, un agent intelligent ne devrait pas seulement résoudre l'incertitude au sein d'une interaction spécifique, mais aussi adapter sa stratégie de collecte d'informations en fonction de la distribution des préférences observées lors des interactions précédentes. Sans cette capacité, les agents ne peuvent pas adapter leur questionnement à la distribution spécifique des tâches révélée au moment du test. L'article soutient que les modèles actuels peinent à extraire et à utiliser des informations de haut niveau issues des expériences passées pour améliorer les performances futures, une lacune que ce travail vise à exposer et à mesurer.

Méthodologie : Le Benchmark BELA

Pour isoler et mesurer l'apprentissage expérientiel en contexte, les auteurs introduisent BELA (Benchmark for Expermental Learning and Active exploration), un cadre évolutif de recommandation de produits. Le benchmark est conçu pour privilégier la capacité d'apprentissage et l'évolutivité plutôt que le réalisme strict, créant un environnement contrôlé où les structures de préférences latentes sont cohérentes et apprenables.

Composants fondamentaux

Module de ensembles de choix :
- Dérivé de 100 000 produits échantillonnés à partir du jeu de données Amazon Reviews.
- Filtrés et mappés vers une hiérarchie de catégories prédéfinie (ASINSpotlight), résultant en 71 000 produits organisés en 2 000 ensembles de choix distincts.
- Les catégories sont sélectionnées pour garantir qu'elles fonctionnent comme des ensembles de choix raisonnables (ex. : en excluant les catégories trop larges comme « Maison et Cuisine »).
Module Client (Simulation de Persona) :
- Utilise 1 million de personas de clients synthétiques issus de Li et al. [11] pour assurer la diversité et l'évolutivité.
- Génération de préférences : Les scores de produits ( $y_a$ ) pour chaque paire persona-produit sont générés en faisant la moyenne des sorties de GPT-4o et Gemini-1.5-Pro. Le processus de notation est vérifié pour sa cohérence, montrant une faible variation entre les graines (seeds) par rapport à l'écart type au sein des catégories.
- Simulation d'interaction : Un LLM (GPT-4o) agit comme le client, répondant aux questions de l'agent en fonction du profil du persona.
- Mécanismes de feedback : Le système prend en charge trois types de feedback :
  - Regret : La différence entre le score optimal et le score recommandé.
  - Étoiles : Une note de 1 à 5 étoiles dérivée du ratio de regret.
  - Texte libre : Un feedback en langage naturel généré par le LLM client, reflétant la voix du persona et ses préférences spécifiques.

Configuration expérimentale

Le benchmark évalue les agents à travers un flux d'épisodes, où chaque épisode $e$ est défini par un client $c_e$ et un ensemble de choix $S_e$ . L'objectif de l'agent est de minimiser le regret ( $y^* - y_r$ ) tout en équilibrant l'efficacité de l'interaction (nombre de questions posées).

Trois configurations séquentielles sont testées :

Même client, différents ensembles de choix par épisode.
Même catégorie, différents clients par épisode.
Clients et ensembles de choix différents par épisode.

Les bases de comparaison (baselines) incluent RANDOM (sélection uniforme), POPULARITY (note originale la plus élevée) et ORACLE (un agent ayant un accès complet à la description du persona, servant de limite inférieure pour le regret).

Résultats clés

Les auteurs ont évalué une suite de modèles de pointe (incluant GPT-5.4, Gemini-3.1-Pro-Preview et Claude-Opus-4.6) contre le benchmark BELA.

Échec de l'apprentissage inter-épisodes :
- Bien que les modèles performent mieux que les bases aléatoires, ils échouent à montrer une amélioration significative à travers les épisodes. Les scores de regret restent stagnants ou fluctuent sans tendance à la baisse à mesure que le nombre d'épisodes augmente.
- En revanche, des « trajectoires idéales » construites en sélectionnant manuellement des questions de haute qualité et en réutilisant les informations entre les épisodes démontrent qu'une réduction significative du regret est possible si l'agent exploite avec succès les informations inter-épisodes.
Manque de collecte proactive d'informations :
- Les modèles n'adaptent pas leurs stratégies de questionnement en fonction de l'expérience. Le nombre de questions posées reste constant ou diminue même au fil des épisodes, indiquant un échec à reconnaître la nécessité d'une collecte d'informations accrue lorsque l'incertitude est élevée.
- Les modèles ne parviennent pas à calibrer leurs estimations d'incertitude. Même lorsque leur confiance dans leurs prédictions augmente au fil des épisodes, cette confiance ne corrèle pas avec des améliorations réelles de la performance.
Intra-épisode vs Inter-épisode :
- Les modèles font preuve d'un apprentissage intra-épisode (amélioration de leurs recommandations à mesure qu'ils collectent plus de tours d'information au sein d'une seule session).
- Cependant, ils manquent d'apprentissage inter-épisode (affinement de leur stratégie de questionnement initiale ou de leur modèle latent de la base d'utilisateurs sur la base des sessions précédentes).

Signification et revendications

L'article postule que l'apprentissage expérientiel en contexte — la capacité d'affiner les stratégies en inférant des structures d'incertitude partagées à partir d'épisodes passés — est un trait distinctif de l'intelligence dont les modèles de pointe actuels sont dépourvus.

Contribution du Benchmark : BELA fournit un banc d'essai évolutif unique (supportant jusqu'à 2 milliards de paires persona-ensemble de choix uniques) spécifiquement conçu pour évaluer si les agents peuvent exploiter des préférences latentes cohérentes à travers les épisodes.
Valeur de diagnostic : Les résultats soulignent une déficience critique des modèles de pointe actuels : ils ne peuvent pas extraire d'informations de haut niveau des expériences passées pour adapter leur collecte d'informations à la distribution de tâches observée.
Direction future : Les auteurs concluent que l'avancement des capacités d'apprentissage expérientiel est essentiel pour construire des agents capables de prises de décision fiables dans des environnements réels changeants. Ils notent explicitement que leur travail se concentre sur l'évaluation plutôt que sur les méthodes d'entraînement, laissant le développement de modèles capables d'un tel apprentissage comme une direction pour la recherche future.

L'article souligne que, bien que les clients simulés ne soient pas destinés à reproduire parfaitement le comportement humain, la cohérence contrôlée des structures latentes dans BELA est nécessaire pour tester rigoureusement la capacité spécifique d'apprentissage par l'expérience, qui est souvent confondue par le bruit dans les données du monde réel.