Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

Dans l'étude de la manière dont les gens apprennent à prendre des décisions, les scientifiques examinent souvent des jeux où deux joueurs s'affrontent, tentant de se surpasser mutuellement. Un exemple classique est un simple jeu de « matching pennies » (pièces identiques), où un joueur gagne si les pièces correspondent et l'autre gagne si elles ne correspondent pas. Pour réussir, un joueur doit être imprévisible ; s'il tombe dans un schéma, son adversaire le repérera et l'exploitera. En même temps, un joueur doit prêter attention à ce que fait son adversaire pour ajuster sa propre stratégie. Cela crée un équilibre délicat : un joueur doit être assez aléatoire pour éviter d'être prévisible, mais assez intelligent pour réagir à l'autre personne. Pendant des décennies, les modèles informatiques standards utilisés pour simuler l'apprentissage humain ont lutté avec cet équilibre. Ces modèles commencent généralement par beaucoup de suppositions aléatoires mais deviennent progressivement plus confiants et déterministes à mesure qu'ils apprennent, finissant par s'installer dans une routine rigide et prévisible. Ce comportement, cependant, ne correspond pas à ce que les vraies personnes font réellement en laboratoire.

Une nouvelle étude de Pratyush Mahadevaiah examine cette divergence en analysant les données de centaines de personnes jouant à ces jeux sur de longues sessions. Au lieu d'essayer d'ajuster une formule mathématique complexe aux résultats, le chercheur a utilisé une méthode issue de la théorie de l'information pour mesurer deux qualités spécifiques du comportement des joueurs au fil du temps. La première qualité est la quantité de hasard, ou « bruit », dans les choix d'un joueur. La seconde est une mesure de la mesure dans laquelle le prochain mouvement d'un joueur est influencé par le dernier mouvement de son adversaire. En suivant ces deux facteurs à travers 108 groupes différents de joueurs, l'étude révèle un motif distinct dans le comportement humain que les modèles informatiques standards ne parviennent pas à reproduire. La recherche montre que les humains maintiennent un niveau constant d'imprévisibilité tout au long du jeu tout en restant hautement réactifs aux actions de leur adversaire. En revanche, les modèles d'apprentissage les plus courants utilisés par les scientifiques deviennent trop prévisibles et cessent de réagir à leurs adversaires à mesure que le jeu progresse.

Les données proviennent d'un large ensemble d'expériences où des groupes de huit personnes ont joué une série de jeux de matching pennies de 200 tours chacun. Les chercheurs ont enregistré chaque mouvement effectué par chaque joueur, créant ainsi une chronologie détaillée des décisions. Ils ont ensuite appliqué une mesure spécifique pour voir quelle quantité d'information le mouvement actuel d'un joueur contenait sur le mouvement précédent de son adversaire. Cette mesure, connue sous le nom d'entropie de transfert, agit comme un détecteur de réactivité. Si un joueur est réellement attentif et ajuste sa stratégie en fonction de ce que l'autre personne vient de faire, ce chiffre sera élevé. Si le joueur agit simplement selon sa propre logique interne sans égard pour l'adversaire, le chiffre sera bas. Lorsque les chercheurs ont examiné les données humaines, ils ont constaté que les joueurs maintenaient un haut niveau de hasard, avec une mesure moyenne d'imprévisibilité restant autour de 0,64 bit tout au long du jeu. Plus important encore, ils ont montré un signal fort de réactivité, leurs choix étant clairement influencés par le dernier mouvement de leur adversaire.

Lorsque la même analyse a été appliquée à un modèle informatique standard appelé Q-learning, les résultats étaient radicalement différents. Ce modèle, largement utilisé pour simuler la façon dont les agents apprennent à partir de récompenses, commençait avec un certain hasard mais le perdait rapidement. En l'espace d'environ trente tours, le comportement du modèle devenait presque entièrement prévisible, faisant chuter sa mesure de hasard à près de zéro. Parce qu'il était devenu si prévisible, il a également cessé de réagir à son adversaire ; la mesure de réactivité est tombée à presque rien. Les chercheurs ont testé si le simple fait de modifier les paramètres de ce modèle informatique pouvait résoudre le problème. Ils ont tenté de rendre le modèle plus aléatoire en ajustant ses paramètres de « température » interne, mais cela n'a créé qu'un compromis. Lorsqu'on rendait le modèle plus aléatoire, il devenait moins réactif à l'adversaire. Lorsqu'on le rendait plus réactif, il devenait moins aléatoire. Aucun réglage unique ne permettait au modèle d'être à la fois imprévisible et attentif, une combinaison que les humains atteignaient naturellement.

L'étude a ensuite testé quatre autres modèles d'apprentissage courants pour voir si l'un d'eux pouvait reproduire le schéma humain. La plupart de ces modèles ont échoué de manières similaires : certains sont devenus trop rigides et prévisibles, tandis que d'autres sont restés aléatoires mais ont échoué à prêter attention à l'adversaire. Cependant, un modèle spécifique, connu sous le nom de « self-tuning experience-weighted attraction » (attraction pondérée par l'expérience à ajustement automatique), a réussi là où les autres avaient échoué. Ce modèle, qui met à jour sa stratégie en se basant à la fois sur les récompenses passées et sur un mécanisme détectant les changements dans le jeu, a réussi à rester à la fois aléatoire et réactif. Son comportement correspondait étroitement aux données humaines, occupant le même espace sur le graphique où les joueurs humains ont été trouvés. Bien que ce modèle ne corresponde pas parfaitement aux chiffres humains, c'était le seul qui se rapprochait de la capture de la double nature du jeu humain.

Les conclusions suggèrent que la manière dont les humains apprennent dans des situations compétitives est structurellement différente de la manière dont fonctionnent les modèles standards d'apprentissage par renforcement. Les humains ne deviennent pas simplement plus confiants et moins aléatoires à mesure qu'ils acquièrent de l'expérience ; au contraire, ils maintiennent un niveau constant de bruit adaptatif qui leur permet de rester imprévisibles tout en suivant leur adversaire. L'étude ne prétend pas prouver que ce modèle informatique spécifique est exactement la façon dont le cerveau humain fonctionne, mais elle identifie une caractéristique cruciale que tout modèle réussi de l'apprentissage humain doit posséder. Pour décrire avec précision la façon dont les gens jouent à ces jeux, un modèle doit être capable d'être à la fois bruyant et attentif. Cette intuition aide à restreindre la recherche de meilleures théories du comportement humain, allant au-delà de simples prédictions de ce que les gens feront ensuite pour comprendre les qualités dynamiques de la façon dont ils apprennent et s'adaptent au fil du temps.