The fitness landscape of social norms in social dilemmas

Riepilogo Tecnico: Il Paesaggio di Adattabilità delle Norme Sociali nei Dilemmi Sociali

Enunciato del Problema
Le norme sociali funzionano come un meccanismo di coordinamento per risolvere i dilemmi sociali tra più agenti. Sebbene la teoria dei giochi evolutiva abbia tradizionalmente modellato come agenti razionali confrontino e adottino norme per raggiungere stati dominanti della popolazione, i quadri esistenti si basano spesso su giochi a matrice e su criteri specifici di razionalità (ad esempio, Morsky e Akçay [2019]). Il lavoro affronta la necessità di chiarire gli ingredienti fondamentali di questa teoria e di estenderla al contesto più generale dei giochi di Markov, comune nell'apprendimento per rinforzo multi-agente (MARL). Nello specifico, l'opera indaga come un'adozione decentralizzata e diffusa di norme possa essere realizzata attraverso l'interpretazione di segnali ambientali stocastici, bilanciando la necessità di correlazione per orchestrare benefici reciproci con l'incentivo all'incertezza necessario per prevenire lo sfruttamento.

Metodologia
Gli autori formulano una versione minimale della teoria delle norme sociali utilizzando la notazione dell'apprendimento per rinforzo all'interno di un contesto di gioco di Markov parzialmente osservabile a due giocatori.

• Modello Ambientale: L'ambiente è definito da uno spazio degli stati $S$ e spazi di osservazione $O, O'$. Le transizioni di stato sono indipendenti dalle azioni, e le ricompense dipendono esclusivamente dalle azioni, non dagli stati. L'ambiente è rappresentato dalla distribuzione congiunta delle osservazioni $P_{oo'}$.
• Definizione di Norma: Una norma sociale è formalizzata come una coppia di credenze $(P_{a|o}, D_{a'|o'})$, dove $P_{a|o}$ è la politica prescritta (come l'agente agisce data un'osservazione) e $D_{a'|o'}$ è la politica descritta (come l'agente crede che l'avversario agisca). Le norme sono classificate per validità: nulla (subottimale), razionale (valida internamente), empiricamente validabile (valida esternamente), coerente (auto-validante) ed evolutivamente stabile (ES).
• Equilibri Correlati: Il lavoro postula che le strategie congiunte che adottano norme coerenti con le strategie ottimali per un singolo giocatore soddisfino una condizione di equilibrio correlato piuttosto che un equilibrio di Nash. Un equilibrio correlato è definito come un insieme di osservazioni e una coppia di politiche deterministiche che sono le migliori risposte al comportamento atteso dell'altro, date le loro osservazioni.
• Caso di Studio: La teoria è applicata al "Gioco del Gallo" (un dilemma di anti-coordinazione con parametri $T > B > S > P$). Gli autori parametrizzano la matrice delle ricompense $R$ e la distribuzione congiunta delle osservazioni $P_{oo'}$ utilizzando un potenziale di coordinamento $b$ e un livello di sfida di coordinamento $L$.
• Dinamiche: L'emergere delle norme è modellato utilizzando le dinamiche replicatrici, una descrizione di campo medio della selezione in cui gli agenti in coppia confrontano le ricompense e adottano la norma con la ricompensa più alta. Le dinamiche sono analizzate tramite lo Jacobiano della mappa del flusso per determinare la stabilità e i bacini di attrazione.

Contributi Chiave

1. Formulazione Generalizzata: Il lavoro traduce la teoria delle norme sociali dai giochi a matrice al contesto dei giochi di Markov, mappando esplicitamente le norme sugli spazi di segnale e ricompensa.
2. Caratterizzazione Completa del Gioco del Gallo: Gli autori forniscono una caratterizzazione completa della famiglia del Gioco del Gallo, derivando le condizioni di razionalità per una "norma di seguito al segnale" (ad esempio, fermarsi al rosso, andare al verde) attraverso lo spazio dei parametri del potenziale di coordinamento ($b$) e della tentazione ($L$).
3. Analisi del Paesaggio di Adattabilità: Il lavoro costruisce la matrice di adattabilità $\Gamma$ per tutte le possibili norme nel Gioco del Gallo (16 in totale, ridotte a 12 razionali nel caso specifico studiato) e analizza le conseguenti dinamiche replicatrici.
4. Analisi di Stabilità: Il lavoro deriva una soluzione generale per lo Jacobiano delle dinamiche replicatrici nei punti fissi a norma singola e lo applica per mostrare come la stabilità della norma di seguito al segnale dipenda dai parametri del gioco.

Risultati

• Condizioni di Razionalità: La norma di seguito al segnale è razionale solo all'interno di una specifica regione dello spazio dei parametri $(b, L)$. All'aumentare della sfida di coordinamento ($L$), il potenziale di coordinamento massimo ($b$) che consente una cooperazione razionale diminuisce.
• Prestazioni: Nella regione in cui la norma di seguito al segnale è razionale, la ricompensa media supera significativamente quella del miglior equilibrio di Nash a strategia mista (fino a 1,8 volte migliore nel caso analizzato).
• Dinamiche e Stabilità:
  • La norma "vai sempre" è sempre instabile.
  • La strategia di Nash mista è un punto fisso stabile ma possiede un bacino di attrazione trascurabilmente piccolo; piccole perturbazioni ($10^{-3}$) sono sufficienti a spostare il sistema lontano da questo equilibrio.
  • La norma di seguito al segnale agisce come un attrattore dominante in una grande porzione dello spazio degli stati quando il potenziale di coordinamento è alto.
  • Man mano che il potenziale di coordinamento diminuisce, il sistema transita in un regime multistabile in cui la norma "anti-segnale" (fare l'opposto del segnale) diventa stabile, condividendo il bacino di attrazione con la strategia di Nash mista.

Significato
Il lavoro afferma di fornire una spiegazione dettagliata dei meccanismi sottostanti su come gli equilibri correlati emergano endogenamente attraverso l'evoluzione delle norme sociali. Colmando il divario tra teoria dei giochi evolutiva, sociologia e apprendimento per rinforzo multi-agente, l'opera motiva l'intermescelamento delle tradizioni empiriche e teoriche. Dimostra che le norme sociali possono essere comprese come un meccanismo per gli agenti per raggiungere equilibri correlati, offrendo una risoluzione razionale ai dilemmi sociali che supera i classici equilibri di Nash. L'analisi del paesaggio di adattabilità e delle dinamiche replicatrici offre una base teorica per comprendere come norme specifiche (come le regole del traffico) possano stabilizzarsi e dominare in popolazioni di agenti apprendenti.