Modeling the dynamics of social exchange in groups with reinforcement learning and Theory of Mind

Cette étude démontre que, au-delà de la réciprocité, le partage des ressources dans les groupes repose sur un comportement alternatif stratégique guidé par la théorie de l'esprit, comme l'illustre un modèle d'apprentissage par renforcement supérieur aux alternatives.

L'essentiel

🎭 Le Grand Jeu du Partage : Qui donne à qui ?

Imaginez que vous êtes dans un groupe de trois amis. Chacun a un petit bonbon (une "ressource") à donner. Le jeu consiste à choisir à qui donner ce bonbon : à l'ami de gauche ou à celui de droite ?

Les chercheurs (Shen Zhang et son équipe) se sont demandé : Comment prenons-nous nos décisions quand nous partageons avec les autres ? Est-ce que nous sommes de simples machines à calculer, ou est-ce que nous essayons de deviner ce que les autres pensent de nous ?

Pour le découvrir, ils ont organisé trois expériences avec des groupes de trois personnes jouant à ce jeu des "bonbons" pendant 90 tours.

🔍 Ce qu'ils ont découvert (Les grandes idées)

1. Le Bal des Alternances (On ne donne pas toujours au même)

Les gens n'aiment pas rester coincés avec le même partenaire. Ils ont tendance à alterner.

• L'analogie : Imaginez que vous êtes un DJ. Si vous avez fait danser tout le monde sur la même chanson, vous changez de piste pour que tout le monde reste intéressé. Les participants donnaient leur bonbon à l'ami A, puis au tour suivant à l'ami B, pour garder tout le monde "dans la danse". Ce n'était pas par hasard, c'était une stratégie pour explorer les options.

2. La Règle de la "Réciprocité" (Le "Tu me donnes, je te donne")

Bien sûr, si quelqu'un vous a déjà donné un bonbon, vous avez tendance à lui en redonner un. C'est la base de l'amitié : la réciprocité. Mais les chercheurs ont vu que ce n'était pas la seule règle.

3. Le Secret : La "Théorie de l'Esprit" (Se mettre à la place de l'autre)

C'est ici que ça devient fascinant. Les chercheurs ont comparé deux façons de penser :

• Le Robot (Apprentissage simple) : "J'ai donné à Paul, il m'a rendu la pareille. Donc je vais donner à Paul." (On apprend juste par l'expérience).
• Le Psychologue (Théorie de l'Esprit) : "Paul va penser que je vais lui donner, alors il va peut-être attendre. Mais si je donne à Marc, Paul va être surpris et Marc va être content. Je dois anticiper ce que Paul va penser que je vais faire."

Le verdict ? Les participants agissaient comme des Psychologues. Ils utilisaient leur cerveau pour simuler mentalement les pensées des autres. C'est comme jouer aux échecs : on ne regarde pas seulement la pièce qu'on bouge, on imagine ce que l'adversaire va faire en réponse.

🧪 Les Trois Expériences (Comme des niveaux de jeu vidéo)

• Niveau 1 (Le jeu de base) : On observe comment les gens partagent. Résultat : ils alternent et ils sont gentils, mais on ne sait pas pourquoi.
• Niveau 2 (Le jeu avec une surprise) : Parfois, un joueur perd un bonbon par hasard (comme un impôt imprévu). Si les gens étaient motivés par la "justice" (vouloir aider celui qui a perdu), ils donneraient à celui qui a perdu. Mais non ! Ils donnaient à celui qui avait moins perdu. Cela prouve qu'ils ne cherchent pas la justice pure, mais qu'ils essaient de garder une relation stable avec le partenaire le plus "sûr".
• Niveau 3 (Le jeu de devinettes) : Avant de donner, les joueurs devaient deviner à qui l'autre allait donner. Résultat : ils étaient très bons pour deviner ! Cela prouve qu'ils avaient bien construit un "modèle mental" de l'autre personne. Le robot n'aurait pas pu faire ça aussi bien.

🧠 En résumé : Pourquoi c'est important ?

Cette étude nous dit que l'intelligence sociale est bien plus complexe que de simples échanges.

Quand nous partageons nos ressources (temps, argent, attention), nous ne sommes pas de simples calculateurs de gains. Nous sommes des acteurs qui jouent une pièce de théâtre mentale. Nous imaginons ce que l'autre pense de nous, ce qu'il attend, et nous ajustons notre comportement pour maintenir l'équilibre du groupe.

La métaphore finale :
La vie en groupe, c'est comme une danse de groupe. Si vous ne faites que suivre le même partenaire (réciprocité pure), la danse devient ennuyeuse. Si vous sautez partout sans raison (exploration pure), c'est le chaos. Mais si vous anticipez les mouvements de vos partenaires, vous pouvez danser avec tout le monde, créer des liens solides et rendre la soirée inoubliable. C'est exactement ce que notre cerveau fait grâce à la "Théorie de l'Esprit".

Résumé technique

1. Problématique et Contexte

Le partage de ressources est une forme fondamentale d'échange social chez l'humain et d'autres espèces, essentielle à la formation et au maintien des liens sociaux. Bien que la réciprocité soit reconnue comme un mécanisme clé dans les interactions dyadiques, les processus dynamiques sous-jacents à l'allocation des ressources dans des contextes de groupe (plus de deux individus) restent mal compris.

La question centrale de cette étude est de savoir comment les individus arbitrent entre le maintien d'une relation réciproque stable et l'exploration d'alternatives au sein d'un groupe. Les auteurs cherchent à déterminer si ce comportement est guidé par de simples règles d'apprentissage par renforcement (RL) ou s'il implique des mécanismes cognitifs supérieurs, tels que la Théorie de l'Esprit (ToM), permettant de simuler les intentions et les réactions des autres.

2. Méthodologie

L'étude repose sur trois expériences comportementales utilisant une tâche de jeu répété appelée "Giving Game" (Jeu du Don), combinée à une modélisation computationnelle avancée.

A. Protocole Expérimental

• Participants : Trois cohortes distinctes (Expérience 1 : 93 participants en Europe ; Expérience 2 : 90 participants en Europe ; Expérience 3 : 96 étudiants à l'Université Forestière de Pékin).
• Structure du jeu : Les participants jouent en triades (groupes de 3). À chaque essai, un joueur est désigné aléatoirement comme "Acteur" et doit donner un jeton à l'un des deux autres joueurs ("Récepteurs").
• Expérience 1 (Ligne de base) : 90 essais de jeu standard. Objectif : Observer les tendances naturelles de distribution et de réciprocité.
• Expérience 2 (Manipulation de l'équité) : Ajout d'une étape de déduction aléatoire. Après le don, un jeton est retiré aléatoirement à l'un des récepteurs. Cela permet de dissocier le comportement d'alternance (switching) d'une préférence pour l'équité (fairness). Si le comportement était motivé par l'équité, les acteurs devraient donner davantage à ceux qui subissent des pertes.
• Expérience 3 (Test de la ToM) : Ajout d'une tâche de prédiction. Pendant que l'Acteur décide, les Récepteurs doivent deviner vers qui l'Acteur va donner. Ces devinettes n'ont aucun impact sur les gains, isolant ainsi la capacité de modélisation mentale des motivations stratégiques.

B. Modélisation Computationnelle

Les auteurs ont comparé quatre modèles computationnels pour expliquer les données comportementales :

1. Modèle de Réciprocité (Reciprocity) : L'acteur donne à celui qui lui a donné le plus dans le passé.
2. Modèle d'Alternance (Alternating) : L'acteur donne à celui qui a reçu le moins de ses dons précédents (stratégie d'équité distributionnelle).
3. Modèle d'Alternance-Réciprocité (Alternating Reciprocity) : Combinaison linéaire des deux mécanismes ci-dessus.
4. Modèle d'Inférence Mentale (Mental Inference / h-ToM) : Ce modèle intègre une Théorie de l'Esprit de niveau supérieur (h-ToM). Il suppose que les agents ne se contentent pas de suivre l'historique des actions, mais qu'ils construisent une représentation mentale des autres agents, en supposant que ces derniers suivent eux-mêmes le modèle "Alternance-Réciprocité". Cela permet d'anticiper comment les actions de l'acteur influenceront les futures réactions des autres.

Les modèles ont été ajustés par estimation du maximum de vraisemblance (MLE) et comparés via le Critère d'Information d'Akaike (AIC).

3. Résultats Clés

Comportement Observé (Analyses sans modèle)

• Alternance systématique : Les participants ont montré une probabilité de changement de destinataire (switching) significativement supérieure au hasard (~60-67 %), indiquant une préférence pour la distribution équitable des ressources.
• Réciprocité : La probabilité de changer de destinataire diminuait lorsque l'acteur avait été récompensé par le récepteur précédent, confirmant l'existence d'une norme de réciprocité.
• Dynamique temporelle : Dans l'Expérience 2 (avec risque de perte), la probabilité de changement a diminué au fil du temps, suggérant une stabilisation des relations face au risque.

Résultats de la Modélisation

• Performance du modèle Mental Inference : Dans les trois expériences, le modèle Mental Inference a obtenu le meilleur ajustement (AIC le plus bas), surpassant les modèles heuristiques simples (Réciprocité, Alternance, Alternance-Réciprocité).
• Validation par simulation : Les simulations basées sur les paramètres du modèle Mental Inference ont réussi à reproduire non seulement les tendances de changement et de réciprocité, mais aussi la stabilité temporelle observée dans les données réelles, ce que les autres modèles n'ont pas fait de manière cohérente.
• Résultats de l'Expérience 3 (Le test décisif) :
  • Les participants ont deviné les choix des autres avec une précision supérieure au hasard (54,76 %).
  • Seul le modèle Mental Inference (et partiellement le modèle de Réciprocité) a pu prédire cette capacité de prédiction. Les modèles naïfs (sans ToM) ont échoué à prédire les choix de devinettes des participants.
  • Il existe une corrélation forte entre la probabilité de changement d'un participant et sa probabilité de prédire que les autres changeront, suggérant une projection de ses propres préférences sur les autres (mécanisme de ToM).

Contre l'hypothèse de l'équité (Expérience 2)

• L'analyse de l'Expérience 2 a révélé que les participants ne donnaient pas davantage aux récepteurs ayant subi une perte aléatoire. Au contraire, ils étaient plus susceptibles de changer de destinataire si le récepteur précédent avait perdu moins de jetons. Cela démontre que le comportement d'alternance n'est pas motivé par une préoccupation pour l'équité des gains, mais par une stratégie de gestion des partenariats.

4. Contributions Principales

1. Démonstration du rôle de la ToM dans les échanges de groupe : L'étude fournit des preuves computationnelles solides que la prise de décision sociale dans les groupes ne se limite pas à un apprentissage par renforcement passif, mais implique une simulation mentale active des intentions et des stratégies des autres (h-ToM).
2. Distinction entre équité et stratégie : Les auteurs montrent que l'alternance des partenaires n'est pas un signe de préférence pour l'équité des résultats, mais une stratégie adaptative pour équilibrer la stabilité des relations et l'exploration de nouvelles opportunités.
3. Cadre de modélisation hiérarchique : Le développement du modèle "Mental Inference" offre un cadre computationnel efficace (plus simple que les processus de décision markoviens partiellement observables interactifs complets, iPOMDP) pour capturer la complexité des interactions sociales à plusieurs niveaux de croyance.

5. Signification et Implications

Cette recherche a des implications majeures pour la compréhension de la cognition sociale :

• Au-delà de la réciprocité simple : Elle remet en cause les théories classiques de l'échange social qui se concentrent uniquement sur la réciprocité directe, en soulignant l'importance de l'exploration et de la gestion dynamique du réseau social.
• Mécanismes cognitifs : Elle suggère que la capacité à "mentaliser" (simuler l'état mental d'autrui) est essentielle non seulement pour la coopération, mais pour la formation efficace de liens sociaux durables dans des environnements incertains.
• Applications potentielles : Ces modèles pourraient être appliqués à la conception d'agents intelligents (IA) capables d'interagir de manière plus naturelle et stratégique avec des humains, ou à la compréhension des troubles sociaux où la ToM est déficiente (ex. autisme).

En conclusion, l'article démontre que les humains utilisent une représentation mentale sophistiquée des autres pour naviguer dans les dynamiques complexes du partage de ressources, optimisant ainsi leurs relations sociales au-delà de simples règles de réciprocité ou d'équité.