Evolution of cooperation with Q-learning: the impact of information perception

Cette étude emploie le Q-learning dans un cadre de dilemme du prisonnier pour démontrer que la variation des structures de perception de l'information, particulièrement l'asymétrie d'information, façonne de manière critique les dynamiques évolutives complexes et l'émergence de la coopération, offrant ainsi de nouvelles perspectives sur le comportement coopératif humain.

L'essentiel

Imaginez que vous et un ami jouiez à un jeu où vous devez tous deux décider de vous montrer gentils (Coopérer) ou de ne penser qu'à vous au détriment de l'autre (Trahir). C'est le classique « Dilemme du Prisonnier ». Si vous êtes tous les deux gentils, vous gagnez tous les deux un peu. Si vous pensez tous les deux uniquement à vous-mêmes, vous perdez tous les deux un peu. Mais si l'un est gentil et l'autre ne l'est pas, celui qui est « gentil » se fait écraser, et le « égoïste » obtient une énorme récompense.

Habituellement, les scientifiques qui étudient ce jeu supposent que les deux joueurs voient le monde exactement de la même manière. Ils savent tous les deux ce que l'autre a fait la fois précédente, ou ils savent tous les deux seulement ce qu'ils ont fait eux-mêmes.

Cet article pose une question différente : que se passe-t-il si les deux joueurs voient le jeu différemment ? Et si l'un des joueurs observe les mouvements de son ami, tandis que l'autre ne surveille que ses propres mouvements ?

Les chercheurs ont utilisé un algorithme informatique appelé « Q-learning » (pensez à un étudiant numérique qui apprend par essais et erreurs, en gardant un tableau de bord mental de ce qui fonctionne ou non) pour simuler cela. Ils ont testé trois configurations de « vision » :

1. L'équipe « Toi et Toi » (Regarder l'autre) : Les deux joueurs ne regardent que ce que l'autre personne fait.
2. L'équipe « Moi et Moi » (Se regarder soi-même) : Les deux joueurs ne regardent que ce qu'ils font eux-mêmes.
3. L'équipe « Toi et Moi » (Asymétrique) : Un joueur regarde l'autre, tandis que l'autre ne regarde que lui-même.

Voici ce qu'ils ont trouvé, expliqué simplement :

1. L'équipe « Toi et Toi » (Regarder l'autre)

Lorsque les deux joueurs sont uniquement concentrés sur ce que l'autre fait, le jeu est un désordre. C'est comme deux personnes essayant de danser en regardant uniquement les pieds l'une de l'autre ; elles ne parviennent pas à trouver un rythme. Elles alternent sans cesse entre être gentilles et être méchantes, mais elles ne parviennent jamais à s'installer dans un modèle de coopération stable. Finalement, elles finissent généralement par abandonner et ne cherchent plus qu'à servir leurs propres intérêts.

2. L'équipe « Moi et Moi » (Se regarder soi-même)

Lorsque les deux joueurs ne se concentrent que sur leurs propres actions passées, les choses sont plus stables, mais ils s'enlisent facilement.

• Le Bon : Si la tentation d'être méchant est faible, ils peuvent rester coincés dans une « boucle heureuse » où ils sont tous les deux gentils pour toujours.
• Le Mauvais : Si la tentation d'être méchant est élevée, ils peuvent rester coincés dans une « boucle triste » où ils sont tous les deux méchants pour toujours.
• Le Piège : Une fois qu'ils ont choisi une boucle (heureuse ou triste), il est très difficile de changer. C'est comme un train qui a quitté la gare ; il va soit à la destination de l'« Amitié », soit à celle de la « Trahison », et il change rarement de rails une fois lancé.

3. L'équipe « Toi et Moi » (La vision mixte)

C'est ici que la magie opère. Lorsqu'un joueur regarde l'autre, et que l'autre se regarde lui-même, le jeu devient dynamique et étonnamment efficace.

Les chercheurs ont découvert une histoire complexe en trois parties qui se joue au fil du temps :

• Phase 1 : La Lune de Miel. Les deux joueurs comprennent que la gentillesse fonctionne. Ils commencent à coopérer.
• Phase 2 : La Rupture. Un joueur (celui qui regarde l'autre) commence à devenir cupide. Il réalise qu'il peut obtenir une plus grande récompense en étant méchant pendant que l'autre est encore gentil. Il exploite son partenaire. Le partenaire gentil, confus mais essayant d'être bon, reste gentil pendant un certain temps (tolérance), mais finit par être blessé.
• Phase 3 : La Reconstruction. Le partenaire gentil finit par craquer. Il décide d'être méchant lui aussi, juste pour donner une leçon au partenaire cupide. Cette « punition » blesse le joueur cupide, qui réalise alors : « Hé, être méchant ne fonctionne plus. » Le joueur cupide redevient gentil. Le cycle se réinitialise, et ils construisent une coopération plus forte et plus résiliente que la précédente.

La Grande Conclusion

La découverte la plus surprenante est que cette configuration de vision mixte (Asymétrique) mène en réalité à une coopération plus rapide et plus forte que les configurations où tout le monde voit la même chose.

Pensez-y comme à une relation :

• Si vous et votre partenaire ne regardez que vos propres sentiments, vous pourriez vous enliser dans une routine.
• Si vous regardez tous les deux uniquement l'un l'autre, vous pourriez être anxieux et instables.
• Mais si l'un de vous se concentre sur la relation (en regardant l'autre) et l'autre sur sa propre croissance (en se regardant lui-même), vous créez un dynamisme où vous pouvez pardonner les erreurs, apprendre d'elles et construire un lien plus solide.

L'article conclut que la façon dont nous percevons l'information importe plus que nous ne le pensions. La structure de ce que nous savons — et de ce que chacun sait — détermine si nous finirons dans un cycle de trahison ou dans un cycle de coopération stable. La « vision mixte » crée un rythme naturel de confiance, de trahison, de punition et de pardon qui reflète le comportement humain réel, permettant à la coopération de survivre même lorsqu'elle est difficile.

Résumé technique

Résumé technique : Évolution de la coopération avec le Q-learning : L'impact de la perception de l'information

Énoncé du problème
L'émergence et la stabilité de la coopération dans les dilemmes sociaux, particulièrement le Dilemme du Prisonnier (DP), demeurent des défis centraux dans la théorie des jeux évolutionnaires. Bien que l'apprentissage par renforcement (RL) soit apparu comme un paradigme puissant pour étudier le comportement social, la littérature existante suppose largement que les individus possèdent une perception de l'information symétrique — ce qui signifie que tous les agents accèdent à des types d'informations identiques (par exemple, uniquement leurs propres actions, uniquement les actions de leurs voisins, ou les deux) lors de la prise de décision. Cette hypothèse contraste avec les observations du monde réel où la perception de l'information est souvent asymétrique, façonnée par des facteurs tels que l'âge, l'expérience, la culture et le statut social. Cette étude aborde la lacune de compréhension de l'influence de la perception asymétrique de l'information sur l'évolution de la coopération au sein d'un cadre de RL à deux joueurs.

Méthodologie
Les auteurs utilisent l'algorithme Q-learning pour modéliser l'évolution de la coopération dans un jeu du Dilemme du Prisonnier itéré à deux joueurs. L'étude définit trois schémas distincts de perception de l'information pour tester l'impact de la structure de l'information :

1. Schéma I (Symétrique « Toi + Toi ») : Les deux joueurs basent leur perception de l'état sur l'action de l'adversaire.
2. Schéma II (Symétrique « Moi + Moi ») : Les deux joueurs basent leur perception de l'état sur leur propre action.
3. Schéma III (Asymétrique « Toi + Moi ») : Un joueur perçoit l'action de l'adversaire, tandis que l'autre perçoit sa propre action.

Les agents utilisent une table Q pour évaluer les actions ($C$ ou $D$) au sein de contextes spécifiques. Le système évolue via des mises à jour synchrones impliquant l'exploration (avec une probabilité $\epsilon$) et l'exploitation basée sur les valeurs Q. La matrice de gains suit la version forte du DP ($T > R > P > S$ et $T+S < 2R$), la force du dilemme étant contrôlée par le paramètre $b$. L'étude analyse les préférences de coopération moyennes dans le temps, les fonctions de densité de probabilité (PDF) des niveaux de coopération, et l'évolution temporelle des valeurs Q afin de découvrir les mécanismes sous-jacents.

Résultats clés
L'étude révèle que la structure de l'information modifie fondamentalement la dynamique évolutive de la coopération :

• Schéma I (Centré sur l'adversaire) : La coopération est hautement instable. Même à de faibles intensités de dilemme, le système tend à évoluer vers la défection mutuelle. La PDF de la préférence de coopération présente une distribution trimodale, indiquant une absence d'états coopératifs stables.
• Schéma II (Centré sur soi) : Le système présente une bistabilité et une transition de phase de type premier ordre. Selon les conditions initiales, le système converge soit vers la coopération mutuelle, soit vers la défection mutuelle. Une fois qu'un état stable est atteint, il est généralement maintenu, bien que la région de coopération rétrécisse à mesure que l'intensité du dilemme augmente.
• Schéma III (Asymétrique) : Ce scénario produit les dynamiques les plus complexes et les plus robustes. Bien qu'il présente également une bistabilité, il est caractérisé par un « rebond » unique entre la coopération totale et la défection totale. Notamment, le Schéma III atteint la préférence de coopération la plus élevée dans le temps de convergence le plus court par rapport aux autres schémas, particulièrement à une intensité de dilemme modérée ($b \approx 0,3$).

Analyse mécaniste
À travers une analyse détaillée de l'évolution des valeurs Q dans le scénario asymétrique (Schéma III), les auteurs identifient un processus cyclique comprenant trois étapes :

1. Émergence : La coopération émerge par un cycle d'exploitation et de tolérance. Un joueur (l'agent « Moi ») tolère initialement la défection de l'autre, permettant la formation d'une coopération mutuelle via une rétroaction positive.
2. Effondrement : La tolérance est finalement érodée par une exploitation répétée. L'agent « Moi » passe à la défection comme stratégie de punition, entraînant un effondrement vers la défection mutuelle.
3. Reconstruction : Suite à l'effondrement, une exploration coopérative simultanée permet au système d'échapper à la défection mutuelle. Les rôles d'exploiteur et de tolérant s'inversent, et grâce à un cycle similaire de punition et de tolérance, la coopération mutuelle est rétablie.

Cette dynamique reflète les changements psychologiques dans le comportement humain, où la coopération n'est pas un état statique mais un processus d'émergence, de rupture et de reconstruction.

Signification et affirmations
L'article affirme que la structure de l'information est un déterminant critique pour favoriser la coopération. Plus précisément, il démontre qu'une perception asymétrique de l'information peut catalyser l'émergence de la coopération plus rapidement et plus robustement que les structures symétriques. Les conclusions soulignent que :

• La structure de l'information compte : La manière spécifique dont les agents perçoivent l'information (action vs auto-action) dicte la stabilité et la vitesse de l'évolution coopérative.
• Complexité de l'asymétrie : Les scénarios asymétriques introduisent des comportements dynamiques riches, incluant une véritable bistabilité et des transitions oscillatoires entre coopération et défection, absentes des modèles symétriques.
• Réalisme : Les dynamiques observées d'émergence, de rupture et de reconstruction dans le modèle asymétrique s'alignent plus étroitement sur les complexités de la prise de décision humaine et des interactions sociales du monde réel que les modèles symétriques précédents.

Les auteurs concluent que, bien que ce travail se concentre sur des scénarios simplifiés à deux joueurs, il constitue une étape fondamentale pour comprendre comment diverses perceptions de l'information façonnent les relations coopératives, suggérant que les recherches futures devraient explorer des réseaux sociaux plus complexes et intégrer des préférences morales dans les cadres de RL.