Decoding fairness: a reinforcement learning perspective

Sintesi Tecnica: Decodificare l'Equità: Una Prospettiva del Reinforcement Learning

Definizione del Problema
Il Gioco dell'Ultimatum (UG) funge da modello primario per comprendere l'emergere dell'equità. Mentre l'economia ortodossa, basata sull'assunto dell'Homo economicus, prevede che agenti razionali e auto-interessati proporranno l'offerta minima possibile e accetteranno qualsiasi offerta non nulla (risultando in una disuguaglianza estrema), gli esperimenti comportamentali mostrano costantemente che gli esseri umani preferiscono divisioni eque (tipicamente 40–50%) e rifiutano offerte basse. Le spiegazioni teoriche esistenti per questa discrepanza si basano ampiamente sul framework dell'apprendimento per imitazione, attribuendo l'equità a fattori esogeni quali la struttura della popolazione, la reputazione, l'ostilità o l'empatia. Questo articolo investiga se l'equità possa emergere esclusivamente da fattori endogeni all'interno di un paradigma di Reinforcement Learning (RL), dove gli agenti ottimizzano le strategie attraverso l'auto-riflessione e l'interazione con il proprio ambiente anziché tramite l'imitazione di compagni di successo.

Metodologia
Gli autori modellano uno scenario di UG a due giocatori utilizzando il Q-learning, un algoritmo standard di RL.

• Architettura dell'Agente: A ogni giocatore viene assegnata una coppia distinta di Q-table: una per il ruolo di proponente e una per quello di rispondente.
• Spazio degli Stati e delle Azioni:
  • Azioni: I proponenti scelgono tra tre offerte ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$); i rispondenti scelgono tra tre soglie di accettazione ($q_l, q_m, q_h$).
  • Stati: Lo spazio degli stati consiste in nove combinazioni ($S = \{s_1, ..., s_9\}$) che rappresentano le coppie di azioni del turno precedente.
• Dinamiche di Apprendimento:
  • Gli agenti aggiornano i loro valori Q utilizzando l'equazione di Bellman: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (Learning Rate): Controlla il peso dell'esperienza corrente; un $\alpha$ elevato implica "dimenticanza", mentre un $\alpha$ basso implica la conservazione dell'esperienza storica.
  • $\gamma$ (Discount Factor): Controlla il peso dei premi futuri; un $\gamma$ elevato implica una "visione a lungo termine", mentre un $\gamma$ basso implica una "visione miope".
  • Esplorazione: Gli agenti esplorano azioni casuali con probabilità $\epsilon$ ed esploitano il valore Q più alto altrimenti.
• Metriche: Lo studio monitora le frazioni stazionarie delle offerte e delle soglie di accettazione, monitorando specificamente la prevalenza dell'opzione equa ($p_m, q_m$) rispetto all'opzione razionale ($p_l, q_l$).

Risultati Chiave

1. Emergenza dell'Equità tramite Fattori Endogeni: L'equità emerge in modo prominente quando gli agenti possiedono sia bassi tassi di apprendimento ($\alpha$, che valorizzano l'esperienza storica) sia alti fattori di sconto ($\gamma$, che valorizzano i premi futuri). In questo regime di parametri, il sistema si stabilizza con un'alta probabilità di offerte eque ($p_m$) e soglie di accettazione eque ($q_m$).
2. Meccanismo Evolutivo a Due Fasi:
   • Fase I (Raggiungere Accordi): Partendo da configurazioni casuali, le strategie che portano al fallimento degli accordi (ad esempio, offerte alte $p_h$ o soglie alte $q_h$) vengono eliminate a causa dei bassi payoff. Il sistema converge verso tre strategie superstiti: $(p_m, q_m)$, $(p_l, q_l)$ e $(p_m, q_l)$.
   • Fase II (Processo di Ramificazione): Si verifica una dinamica di transizione in cui la strategia mista $(p_m, q_l)$ è instabile. Il sistema si dirama in due stati stabili: la strategia equa $(p_m, q_m)$ o la strategia razionale $(p_l, q_l)$. Il percorso di transizione è identificato come $(p_m, q_l) \to (p, q_l) \to (p_m, q_m)$.
3. Allineamento con gli Esperimenti Comportamentali: Il modello riproduce le principali osservazioni sperimentali:
   • La probabilità di accordi riusciti aumenta con offerte più elevate.
   • Le offerte inferiori al 20% sono frequentemente rifiutate (circa l'80% di probabilità di rifiuto nel modello), mentre le offerte tra il 45% e il 50% sono altamente accettate.
4. Sensibilità ai Parametri:
   • $\alpha$ e $\gamma$: Agenti con $\alpha$ elevato (dimenticanti) o $\gamma$ basso (miopi) scelgono per impostazione predefinita la strategia razionale e non equa.
   • Parametri del Gioco ($l, h$): Il limite inferiore delle offerte ($l$) impatta significativamente l'equilibrio; all'aumentare di $l$, la frazione di strategie razionali cresce. Il limite superiore ($h$) ha un impatto marginale.
5. Robustezza: L'emergere dell'equità si mantiene costante quando l'assegnazione dei ruoli passa da rotante a casuale o fissa, e quando lo scenario viene esteso a una popolazione a reticolo.

Significatività e Rivendicazioni
L'articolo sostiene che la motivazione endogena all'interno del paradigma del reinforcement learning è sufficiente a spiegare l'emergere dell'equità, rendendo superflui i fattori esogeni (come la reputazione o le norme sociali) per questo specifico risultato. Dimostrando che agenti che "apprezzano le esperienze passate" e "pianificano i premi futuri" evolvono naturalmente verso strategie eque, lo studio fornisce una prospettiva fresca, distinta dal framework dell'apprendimento per imitazione. I risultati suggeriscono che l'equità umana possa essere il risultato di processi di apprendimento adattivi volti a massimizzare i payoff accumulati nel tempo, piuttosto che un costrutto puramente sociale o culturale. Il lavoro conclude che la natura autoreferenziale del RL offre una spiegazione fondamentale sul perché gli esseri umani devino dalla previsione dell'Homo economicus nel Gioco dell'Ultimatum.