Decoding fairness: a reinforcement learning perspective

Résumé technique : Décoder l'équité : une perspective de l'apprentissage par renforcement

Énoncé du problème
Le Jeu de l'Ultimatum (JU) sert de modèle primaire pour comprendre l'émergence de l'équité. Alors que l'économie orthodoxe, s'appuyant sur l'hypothèse de l'Homo economicus, prédit que des agents rationnels et égoïstes proposeront l'offre minimale possible et accepteront toute offre non nulle (résultant en une inégalité extrême), les expériences comportementales montrent systématiquement que les humains préfèrent les divisions équitables (typiquement 40–50 %) et rejettent les offres faibles. Les explications théoriques existantes pour cette divergence reposent largement sur le cadre de l'apprentissage par imitation, attribuant l'équité à des facteurs exogènes tels que la structure de la population, la réputation, la rancœur ou l'empathie. Cette étude examine si l'équité peut émerger uniquement de facteurs endogènes au sein d'un paradigme d'Apprentissage par Renforcement (RL), où les agents optimisent leurs stratégies par l'auto-réflexion et l'interaction avec leur environnement plutôt qu'en imitant leurs pairs performants.

Méthodologie
Les auteurs modélisent un scénario de JU à deux joueurs en utilisant le Q-learning, un algorithme standard de RL.

• Architecture de l'agent : Chaque joueur se voit assigner deux tables de Q distinctes : une pour le rôle de proposeur et une pour le rôle de répondant.
• Espace d'états et d'actions :
  • Actions : Les proposeurs choisissent parmi trois offres ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$) ; les répondants choisissent parmi trois seuils d'acceptation ($q_l, q_m, q_h$).
  • États : L'espace d'états consiste en neuf combinaisons ($S = \{s_1, ..., s_9\}$) représentant les paires d'actions du tour précédent.
• Dynamique d'apprentissage :
  • Les agents mettent à jour leurs valeurs Q en utilisant l'équation de Bellman : $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (Taux d'apprentissage) : Contrôle le poids de l'expérience actuelle ; un $\alpha$ élevé implique de l'« oubli », tandis qu'un $\alpha$ faible implique de conserver l'expérience historique.
  • $\gamma$ (Facteur de remise/discount) : Contrôle le poids des récompenses futures ; un $\gamma$ élevé implique une « vision à long terme », tandis qu'un $\gamma$ faible implique une « myopie ».
  • Exploration : Les agents explorent des actions aléatoires avec une probabilité $\epsilon$ et exploitent la valeur Q la plus élevée autrement.
• Métriques : L'étude suit les fractions stationnaires des offres et des seuils d'acceptation, surveillant spécifiquement la prévalence de l'option équitable ($p_m, q_m$) par rapport à l'option rationnelle ($p_l, q_l$).

Résultats clés

1. Émergence de l'équité via des facteurs endogènes : L'équité émerge de manière proéminente lorsque les agents possèdent à la fois des taux d'apprentissage faibles ($\alpha$, valorisant l'expérience historique) et des facteurs de remise élevés ($\gamma$, valorisant les récompenses futures). Dans ce régime de paramètres, le système se stabilise avec une haute probabilité d'offres équitables ($p_m$) et de seuils d'acceptation équitables ($q_m$).
2. Mécanisme évolutif en deux phases :
   • Phase I (Conclure des accords) : Partant de configurations aléatoires, les stratégies menant à l'échec des accords (ex: offres élevées $p_h$ ou seuils élevés $q_h$) sont éliminées en raison de gains faibles. Le système converge vers trois stratégies survivantes : $(p_m, q_m)$, $(p_l, q_l)$, et $(p_m, q_l)$.
   • Phase II (Processus de branchement) : Une dynamique de transition se produit où la stratégie mixte $(p_m, q_l)$ est instable. Le système se divise en deux états stables : la stratégie équitable $(p_m, q_m)$ ou la stratégie rationnelle $(p_l, q_l)$. La trajectoire de transition est identifiée comme $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$.
3. Alignement avec les expériences comportementales : Le modèle reproduit les observations expérimentales clés :
   • La probabilité de réussite des accords augmente avec des offres plus élevées.
   • Les offres inférieures à 20 % sont fréquemment rejetées (environ 80 % de probabilité de rejet dans le modèle), tandis que les offres entre 45–50 % sont hautement acceptées.
4. Sensibilité aux paramètres :
   • $\alpha$ et $\gamma$ : Les agents ayant un $\alpha$ élevé (oublieux) ou un $\gamma$ faible (myopes) reviennent par défaut à la stratégie rationnelle et injuste.
   • Paramètres du jeu ($l, h$) : La borne inférieure des offres ($l$) impacte significativement l'équilibre ; à mesure que $l$ augmente, la fraction de stratégies rationnelles augmente. La borne supérieure ($h$) a un impact marginal.
5. Robustesse : L'émergence de l'équité est maintenue lorsque l'assignation des rôles passe d'une rotation à une assignation aléatoire ou fixe, et lorsque le scénario est étendu à une population en réseau (latticed population).

Signification et revendications
L'article affirme que la motivation endogène au sein du paradigide d'apprentissage par renforcement est suffisante pour expliquer l'émergence de l'équité, rendant les facteurs exogènes (comme la réputation ou les normes sociales) inutiles pour ce résultat spécifique. En démontant que des agents qui « apprécient les expériences passées » et « planifient les récompenses futures » évoluent naturellement vers des stratégies équitables, l'étude offre une perspective nouvelle, distincte du cadre de l'apprentissage par imitation. Les conclusions suggèrent que l'équité humaine peut être le résultat de processus d'apprentissage adaptatifs visant à maximiser les gains accumulés au fil du temps, plutôt qu'un pur construit social ou culturel. Le travail conclut que la nature auto-réflexive du RL offre une explication fondamentale à la raison pour laquelle les humains dévient de la prédiction de l'Homo economicus dans le Jeu de l'Ultimatum.