Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games
Cet article démontre que les grands modèles de langage peuvent efficacement se substituer aux sujets humains pour générer des données d'entraînement destinées à la prédiction de choix économiques dans le cadre de jeux de persuasion basés sur le langage, surpassant souvent les modèles entraînés sur des données humaines réelles tout en révélant que la capture des schémas de décision dépendants de l'historique est cruciale pour une prédiction précise.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans l'économie numérique, chaque clic et chaque défilement est un choix. Lorsqu'un voyageur lit l'avis d'un hôtel sur un site de réservation, il pèse l'information par rapport à ses propres désirs, essayant de décider si une chambre vaut le prix demandé. C'est un casse-tête économique classique : comment les gens décident-ils face à une information incomplète et à la possibilité d'être trompés ? Pendant des décennies, les économistes ont étudié ces moments en demandant à de vrais humains de jouer à des jeux où une personne tente de persuader une autre. Ces expériences sont difficiles à mener ; elles nécessitent de recruter des participants, de construire des logiciels personnalisés et d'attendre que les gens prennent des décisions, un processus lent, coûteux et souvent limité en taille.
Récemment, un nouvel outil est apparu, promettant de changer la façon dont nous étudions ces décisions : le grand modèle de langage. Ce sont des systèmes d'intelligence artificielle entraînés sur de vastes quantités de texte, capables de comprendre et de générer le langage humain avec une fluidité remarquable. Les chercheurs ont commencé à se demander si ces machines pouvaient faire plus que simplement discuter. Pourraient-elles servir de substituts à de vraies personnes dans des expériences économiques ? Si un ordinateur peut imiter le comportement humain suffisamment bien, il pourrait générer les quantités massives de données nécessaires pour entraîner de meilleurs modèles de prédiction, résolvant ainsi le problème de la rareté des données humaines. La question n'est pas seulement de savoir si les machines peuvent parler comme les humains, mais si elles peuvent penser et décider comme eux dans des situations à enjeux élevés.
Une équipe de chercheurs du Technion, en Israël, s'est donné pour mission de répondre à cette question en plaçant des agents d'intelligence artificielle dans un jeu de persuasion complexe. Dans leur configuration, un joueur, agissant en tant qu'expert, tente de convaincre un second joueur, le décideur, de visiter un hôtel spécifique. L'expert connaît la qualité réelle de l'hôtel mais ne peut partager qu'un seul avis écrit parmi une liste d'options. Le décideur doit ensuite choisir de visiter l'hôtel en se basant sur cet avis et sur ses expériences passées avec l'expert. Si l'hôtel est réellement bon, le décideur gagne ; s'il est mauvais, il perd. L'expert, cependant, gagne toujours si le décideur choisit de visiter, quelle que soit la qualité réelle de l'hôtel. Cela crée une tension stratégique où l'expert peut mentir pour obtenir un meilleur résultat, et le décideur doit apprendre à repérer la tromperie au fil du temps.
Les chercheurs ont d'abord recueilli des données auprès de centaines de véritables joueurs humains qui ont participé à ce jeu sur de nombreux tours. Ils ont ensuite remplacé les décideurs humains par divers grands modèles de langage, en leur donnant instruction de jouer au jeu en utilisant les mêmes règles et en faisant face aux mêmes avis d'hôtels. Pour rendre les simulations plus réalistes, les chercheurs ont doté chaque machine d'une personnalité spécifique, telle qu'un voyageur optimiste qui voit toujours le bon côté des choses, ou un acheteur sensible aux prix qui se soucie profondément du coût. En faisant tourner des milliers de ces jeux simulés, l'équipe a créé un ensemble massif de données de décisions prises par des machines, qu'ils ont utilisées pour entraîner un programme informatique afin de prédire comment un humain se comporterait dans la même situation.
Les résultats ont été surprenants. Lorsque les chercheurs ont entraîné un modèle de prédiction en utilisant uniquement les données générées par les joueurs d'intelligence artificielle, le modèle est devenu meilleur pour prédire le comportement humain qu'un modèle entraîné sur les données humaines réelles elles-mêmes, à condition que l'ensemble de données de la machine soit suffisamment important. En fait, les données générées par la machine ont surpassé les données humaines dans presque tous les scénarios testés. Cela suggère que les agents d'intelligence artificielle ne faisaient pas que mimer les mots des humains, mais qu'ils capturaient les schémas stratégiques profonds de la manière dont les gens apprennent et s'adaptent lors d'interactions répétées. Les machines ont appris à peser l'historique des avis passés et la confiance établie au fil du temps, plutôt que de simplement réagir aux mots immédiats sur l'écran.
Cependant, l'étude a également révélé une faille significative dans le fait de se fier uniquement aux machines. En termes simples, cela signifie que lorsque le modèle affirmait être confiant dans une prédiction, il se trompait souvent plus fréquemment qu'un modèle entraîné sur de vrais humains. Les données de la machine étaient si abondantes qu'elles ont appris au modèle la bonne réponse la plupart du temps, mais elles n'ont pas réussi à lui apprendre à évaluer sa propre certitude. Pour corriger cela, les chercheurs ont découvert qu'en mélangeant une petite quantité de données humaines réelles avec la vaste quantité de données de la machine, ils créaient l'équilibre parfait. Cette approche hybride a produit un modèle qui était à la fois hautement précis et fiable dans ses niveaux de confiance.
Les chercheurs ont creusé davantage pour comprendre pourquoi les machines avaient été si performantes. Ils ont découvert que la clé de la prédiction du comportement humain n'était pas le sentiment de l'avis lui-même, mais l'historique de l'interaction. Lorsque les agents d'intelligence artificielle étaient autorisés à se souvenir de nombreux tours passés du jeu, ils généraient des données qui correspondaient étroitement aux schémas de décision humaine. Mais lorsque leur mémoire était restreinte aux un ou deux derniers tours, leur capacité à simuler le comportement humain s'effondrait. Cette découverte souligne que la prise de décision humaine dans ces jeux est fondamentalement une question de stratégie et d'histoire, et non simplement une lecture du ton émotionnel d'un message unique. Les machines ont réussi parce qu'elles ont appris à jouer sur le long terme, tout comme les humains.
Pour s'assurer que leurs conclusions ne soient pas limitées aux seuls avis d'hôtels, l'équipe a testé son approche dans un autre jeu de persuasion plus abstrait où les joueurs pouvaient écrire n'importe quel message, plutôt que de choisir parmi une liste fixe. Même dans cet environnement plus libre, où les règles étaient moins rigides, les données générées par les joueurs d'intelligence artificielle se sont révélées efficaces pour entraîner des modèles à prédire les choix humains. Cela suggère que la capacité des machines à générer des données d'entraînement utiles est un phénomène robuste qui s'étend au-delà d'un seul type d'expérience.
L'étude conclut que, bien que l'intelligence artificielle ne puisse pas encore remplacer parfaitement la nuance du comportement humain, elle peut servir de puissant moteur pour générer les données nécessaires à sa compréhension. En utilisant les machines pour simuler les complexités stratégiques de l'interaction humaine, les chercheurs peuvent surmonter les goulots d'étranglement des expériences économiques traditionnelles. La voie à suivre implique un partenariat prudent : utiliser l'échelle de l'intelligence artificielle pour construire des modèles de comportement larges, tout en ancrant ces modèles avec juste assez de données humaines réelles pour garantir qu'ils restent fiables et fidèles à la réalité. Cette approche offre une nouvelle façon d'étudier la danse complexe de la confiance, de la tromperie et de la prise de décision qui définit notre monde économique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.