Evolution of noisy learning in games

1. Problématique et Contexte

La théorie des jeux évolutionnaires et la théorie de l'apprentissage étudient comment les individus adaptent leurs décisions stratégiques au fil du temps en fonction de l'efficacité de leurs stratégies. Un paramètre clé dans ces modèles est la sensibilité aux gains (souvent notée $\beta$, ou « force de sélection »).

• Hypothèse traditionnelle : La plupart des modèles traitent cette sensibilité $\beta$ comme un paramètre fixe et identique pour tous les joueurs. Un $\beta$ faible implique un apprentissage « bruyant » (décisions erratiques, proches du hasard), tandis qu'un $\beta$ élevé implique un apprentissage déterministe (les joueurs switchent systématiquement vers la meilleure stratégie).
• Question centrale : Les auteurs relâchent cette hypothèse de fixité. Ils se demandent :
  1. Dans quelle mesure les joueurs avec une sensibilité élevée (apprenants « précis ») surperforme-t-ils systématiquement ceux avec une sensibilité faible (apprenants « bruyants ») ?
  2. Comment évolue la sensibilité elle-même si elle est considérée comme un trait héritable soumis à la sélection naturelle ? L'évolution favorise-t-elle inévitablement une sensibilité infinie (apprentissage parfait) ou peut-elle stabiliser une sensibilité finie (apprentissage bruyant) ?

2. Méthodologie

Les auteurs utilisent une approche à deux échelles de temps, combinant la dynamique d'apprentissage à court terme et la dynamique adaptative à long terme.

A. Dynamique à court terme : Dynamique d'introspection

• Cadre : Jeux symétriques à deux joueurs et deux stratégies (Coopération $C$ et Défection $D$).
• Mécanisme : Les joueurs interagissent dans un jeu de base (stage game) défini par une matrice de gains paramétrée par $A$ et $B$ (couvrant le dilemme du prisonnier, la chasse au cerf, le jeu de la neige, etc.).
• Règle de mise à jour : Un joueur choisi au hasard compare son gain actuel $\pi$ avec le gain potentiel $\pi'$ s'il avait changé de stratégie. La probabilité de changer de stratégie suit une fonction de Fermi (logistique) :
  $$\phi = \frac{1}{1 + e^{-\beta_i (\pi' - \pi)}}$$
  où $\beta_i$ est la sensibilité du joueur $i$.
• Analyse : Le processus est modélisé comme une chaîne de Markov. Les auteurs calculent analytiquement la distribution stationnaire des états du jeu (CC, CD, DC, DD) pour n'importe quelle paire de sensibilités $(\beta_1, \beta_2)$, permettant de dériver le gain moyen attendu.

B. Dynamique à long terme : Dynamique adaptative

• Cadre : Une population bien mélangée où la sensibilité $\beta$ est un trait évolutif.
• Processus : Les joueurs se reproduisent proportionnellement à leur gain moyen (fitness). La descendance hérite du trait $\beta$ avec une probabilité de mutation $\mu$, introduisant de petites variations.
• Outils d'analyse :
  • Simulations individuelles : Pour observer la trajectoire évolutive dans le temps.
  • Analyse théorique : Utilisation des graphiques d'invasibilité par paires (PIP). On calcule le gradient de sélection $D(x)$ pour déterminer si un mutant avec une sensibilité $y$ peut envahir une population résidente de sensibilité $x$.
  • Points singuliers : Identification des points où le gradient de sélection est nul ($D(x^*) = 0$) et analyse de leur stabilité (stabilité de convergence et stabilité évolutionnaire).

3. Contributions Clés

1. Modélisation de la co-évolution : C'est l'un des premiers travaux à étudier la co-évolution des stratégies et de la sensibilité aux gains (le bruit de l'apprentissage) dans un cadre analytique rigoureux.
2. Démonstration de l'avantage stratégique du bruit : L'article prouve que l'apprentissage bruyant (faible $\beta$) n'est pas nécessairement un sous-produit de contraintes cognitives, mais peut émerger comme une stratégie adaptative pour obtenir un avantage stratégique.
3. Classification des dynamiques évolutives : L'analyse couvre l'ensemble des jeux $2 \times 2$ et identifie trois régimes évolutifs distincts selon la structure du jeu.

4. Résultats Principaux

Les résultats varient considérablement selon le type de jeu social :

• Dilemme du Prisonnier :

  • La sensibilité $\beta$ tend à augmenter indéfiniment ($\beta \to \infty$).
  • Explication : Un joueur plus sensible identifie mieux la stratégie dominante (défection) et l'adopte plus rapidement, obtenant un avantage de fitness. Le bruit (faible $\beta$) est désavantageux car il conduit à coopérer inutilement.
  • Exception : Si la tentation de trahir est très faible, une sensibilité finie peut émerger.

• Jeu de la Neige (Snowdrift) :

  • La sensibilité converge vers une valeur finie ($\beta^*$).
  • Mécanisme : Dans ce jeu d'anti-coordination, un joueur très sensible (fort $\beta$) reste bloqué dans un équilibre de Nash qui lui est défavorable. Un joueur « bruyant » (faible $\beta$) a une probabilité non nulle de dévier de cet équilibre, forçant le joueur sensible à réagir et à coordonner sur un équilibre plus favorable au joueur bruyant. Le bruit devient donc un atout stratégique.

• Chasse au Cerf (Stag-Hunt) :

  • Observation de branchement évolutif (Evolutionary Branching).
  • Mécanisme : La population initialement monomorphe se divise en deux sous-populations : l'une avec une sensibilité faible (comportement aléatoire) et l'autre avec une sensibilité élevée (réponse optimale).
  • Résultat : Cette diversification permet à la population d'éviter les désastres de mauvaise coordination (CD ou DC) et d'atteindre plus souvent l'équilibre coopératif optimal (CC). Le branchement est bénéfique à la fois individuellement et collectivement.

• Généralisation :

  • Ces résultats se maintiennent pour d'autres règles d'apprentissage (apprentissage par renforcement, imitation, etc.) et dans des jeux à plusieurs joueurs (biens publics), suggérant que l'avantage stratégique du bruit est un phénomène robuste.

5. Signification et Implications

• Réinterprétation du bruit cognitif : L'étude remet en cause l'idée que l'irrationalité ou le bruit dans les décisions humaines est uniquement une limitation cognitive. Elle suggère que l'évolution pourrait avoir sélectionné des mécanismes d'apprentissage « imparfaits » car ils offrent un avantage stratégique dans des environnements complexes où la coordination est difficile.
• Parallèle biologique : Les résultats font écho à l'« effet du roi rouge » (Red King effect) en biologie évolutive, où une évolution plus lente (ou ici, plus erratique) peut conférer un avantage dans les mutualismes.
• Applications futures : Ces modèles offrent un cadre pour comprendre la diversité des mécanismes psychologiques humains face à l'incertitude sociale et pourraient inspirer des algorithmes d'apprentissage par renforcement multi-agents où les agents adaptent dynamiquement leur taux d'apprentissage en fonction du dilemme rencontré.

En résumé, l'article démontre que la « sensibilité aux gains » est un trait évolutif dynamique. Selon la structure du jeu, l'évolution peut favoriser une précision extrême, une précision modérée, ou même une diversification de la population entre apprenants précis et apprenants bruyants, transformant ainsi le bruit d'un défaut en une arme stratégique.