Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

Chaque jour, nous faisons des choix dans un monde qui ne reste jamais immobile. Le café qui était la meilleure option ce matin pourrait être bondé demain ; l'itinéraire pour aller au travail qui était rapide hier pourrait être bloqué aujourd'hui. Pour naviguer dans ce paysage mouvant, notre cerveau doit constamment mettre à jour ce qu'il sait et ajuster notre comportement. Ce processus d'apprentissage par l'expérience alors que les règles du jeu changent est une énigme centrale pour les scientifiques qui étudient notre façon de penser et de décider. Une manière puissante pour les chercheurs d'explorer cela est à travers une configuration appelée tâche du « bandit agité » (restless bandit). Imaginez que vous êtes assis devant quatre machines à sous. Dans un jeu standard, vous pourriez apprendre laquelle rapporte le plus et vous y tenir. Mais dans une version agitée, les machines changent leurs taux de paiement pendant que vous jouez. La machine qui payait bien un instant auparavant peut soudainement s'arrêter, tandis qu'une autre qui était calme peut commencer à payer. Pour réussir, vous ne pouvez pas simplement vous fier à une règle fixe ; vous devez continuer à observer, apprendre et adapter vos choix en temps réel.

Une nouvelle étude du chercheur Erfan Jaripour porte un regard neuf sur la façon dont les gens gèrent ce genre de défi dynamique. Au lieu d'essayer de deviner le calcul mental caché que les gens utilisent pour prendre ces décisions, l'étude se concentre entièrement sur ce qui est visible et mesurable : les choix réels que font les gens, les récompenses qu'ils obtiennent, la rapidité de leur réponse et le moment où ils décident de porter leur attention sur une autre option. En analysant une collection massive de données provenant de près de mille personnes jouant à une version à quatre choix de ce jeu, le chercheur a cartographié exactement comment le comportement change d'un moment à l'autre. L'objectif n'était pas de construire un modèle informatique complexe du cerveau, mais de créer un portrait statistique précis de l'évolution de la prise de décision humaine lorsque l'environnement refuse de rester le même.

Le chercheur a examiné les données de 965 participants qui ont effectué un total de plus de 139 000 choix individuels. Chaque personne jouait à un jeu où elle devait choisir l'une des quatre options de manière répétée. La valeur de ces options changeait au fil du temps, créant trois versions différentes du jeu avec des modèles de changement légèrement différents. Le chercheur a suivi quatre éléments spécifiques : si la personne choisissait l'option qui payait le plus actuellement, combien d'argent elle gagnait réellement, la rapidité avec laquelle elle faisait son choix, et si elle changeait d'option par rapport à celle qu'elle avait choisie juste avant. Pour donner un sens à cette énorme quantité de données, ils ont utilisé une méthode statistique sophistiquée capable de rendre compte du fait que chaque personne est différente. Cette approche leur a permis de voir les tendances générales de l'ensemble du groupe tout en respectant la façon unique dont chaque individu s'adapte aux règles changeantes.

La découverte la plus frappante est que les gens ne s'améliorent pas simplement de manière linéaire et constante. Si vous deviez tracer la probabilité de choisir la meilleure option au fil du temps, la ligne ne monterait pas selon un angle constant. Au contraire, elle serait courbe. L'étude a révélé que la forme de cette courbe dépendait fortement de la version spécifique du jeu en cours de jeu. Dans une version du jeu, la probabilité de choisir la meilleure option suivait une trajectoire courbe ascendante, suggérant une amélioration constante qui s'accélère. Dans une autre version, la trajectoire était courbe descendante, indiquant que si les gens s'amélioraient initialement, leur capacité à s'en tenir au meilleur choix finissait par plafonner ou changeait d'une autre manière. Cela signifie que la façon dont les gens s'adaptent n'est pas un processus unique et universel ; elle est profondément façonnée par la structure spécifique de l'environnement changeant dans lequel ils se trouvent.

L'étude a également révélé que les gens varient considérablement dans leur façon de commencer et de changer. Certains participants ont commencé le jeu avec une forte tendance à choisir la meilleure option, tandis que d'autres ont commencé plus bas. Plus important encore, la façon dont ils changeaient au fil du temps était unique à chacun. Certains montraient une amélioration initiale rapide qui ralentissait, tandis que d'autres montraient un modèle différent d'apprentissage. Les modèles statistiques ont confirmé que ces différences de performance de base et de vitesse et de forme d'apprentissage étaient réelles et cohérentes, et non de simples bruits aléatoires. Cela souligne que, bien qu'il existe des modèles généraux dans la façon dont les humains s'adaptent, la trajectoire spécifique de cette adaptation est une expérience hautement personnelle.

L'examen des autres mesures a apporté davantage de nuances à l'image. Le montant d'argent que les gens gagnaient réellement ne correspondait pas toujours au modèle de leurs choix. Même lorsque les gens choisissaient l'option la plus avantageuse plus souvent, la récompense totale qu'ils recevaient pouvait changer d'une manière différente selon la version du jeu. Cela montre que faire le « bon » choix et obtenir une récompense élevée sont des résultats liés mais distincts dans un environnement changeant. De même, la vitesse de prise de décision a changé au fil du temps. À mesure que le jeu progressait, les gens devenaient généralement plus rapides, prenant moins de temps pour faire leurs choix. Cependant, cet accélération s'est produite à un rythme similaire, quelle que soit la version du jeu, suggérant que la pratique générale de la prise de décision devenait plus efficace pour tout le monde, même si la stratégie spécifique pour choisir la meilleure option différait.

Le chercheur a également observé la fréquence à laquelle les gens changeaient leurs choix. En général, les gens changeaient moins souvent au fur et à mesure que le jeu progressait, suggérant qu'ils s'installaient dans un rythme. Cependant, le taux auquel ils arrêtaient de changer dépendait de la version du jeu. Dans une version du jeu, les gens réduisaient leurs changements beaucoup plus brusquement que dans une autre. Cela indique que l'environnement signale lui-même au joueur s'il est utile de s'en tenir à un choix ou d'explorer de nouvelles options. L'étude a soigneusement noté que, bien que ces modèles décrivent exactement ce que les gens ont fait, ils n'expliquent pas la machinerie mentale cachée derrière cela. Le chercheur n'a pas mesuré ce que les gens pensaient, croyaient ou calculaient dans leur tête. Il a simplement mesuré le résultat : les choix, la vitesse et les récompenses.

Cette distinction est cruciale. L'étude prouve que le comportement observable dans un monde dynamique suit des modèles complexes et non linéaires qui varient selon la personne et l'environnement. Elle montre que l'adaptation n'est pas une simple amélioration en ligne droite, mais un processus courbe et changeant. En cartographiant ces modèles avec une telle précision, l'étude fournit une base solide pour les recherches futures. Les scientifiques peuvent désormais utiliser ces descriptions détaillées du comportement dans le monde réel pour tester des théories sur la façon dont le cerveau apprend. Ils peuvent se demander si des modèles informatiques spécifiques d'apprentissage peuvent reproduire les courbes et les variations exactes observées dans ces données. D'ici là, l'étude constitue une description quantitative claire de la façon dont le comportement humain se courbe et se déplace lorsque le monde autour de lui refuse de rester immobile. Elle confirme que dans un monde agité, nos choix ne sont pas statiques ; ils sont une danse d'adaptation continue et évolutive, façonnée à la fois par les règles du jeu et par l'esprit unique du joueur.