Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners

1. Enunciato del Problema

Il documento indaga la sopravvivenza a lungo termine e il dominio di mercato di agenti eterogenei che apprendono, in competizione sui mercati di attività con rendimenti stocastici. Esso affronta un divario fondamentale tra due principali quadri teorici:

• Economia (Apprendimento Bayesiano): Assume che gli agenti abbiano una distribuzione a priori sul processo stocastico sottostante e aggiornino le credenze tramite la regola di Bayes. Il successo è misurato dalla massimizzazione dell'utilità attesa (crescita della ricchezza).
• Informatica (Apprendimento No-Regret): Non fa assunzioni sul processo sottostante (consentendo ambienti avversari) e minimizza il "rimpianto" rispetto alla migliore strategia fissa a posteriori.

Domanda Centrale: In un mercato competitivo in cui coesistono entrambi i tipi di agenti, quale paradigma di apprendimento garantisce la sopravvivenza (cioè il mantenimento di una quota di ricchezza non nulla) e come si relazionano le loro metriche di performance (rimpianto vs. accuratezza delle credenze) con la selezione di mercato?

2. Metodologia e Modello

Gli autori utilizzano un modello di mercato di attività completo (nello specifico, utilizzando titoli di Arrow) con le seguenti caratteristiche:

• Ambiente: Passi temporali discreti $t=1, 2, \dots$. Uno stato $s_t$ è realizzato da un insieme finito di stati $S$ secondo una distribuzione i.i.d. $q$.
• Agenti: $N$ agenti con ricchezza iniziale $w_0^n$. Gli agenti scelgono portafogli di investimento $\alpha_t^n$ per massimizzare il tasso di crescita della loro ricchezza.
• Dinamiche: La ricchezza evolve in modo moltiplicativo. Il rapporto di ricchezza tra due agenti $n$ e $m$ dipende dalla differenza cumulativa nei loro tassi di crescita del log-ricchezza.
• Metrica Chiave: Il documento stabilisce un legame diretto tra Rimpianto e Quota di Ricchezza.
  • Sia $R_T(\alpha)$ il rimpianto di una sequenza di investimenti $\alpha$ rispetto alla migliore strategia fissa a posteriori.
  • Il rapporto del log-ricchezza è espresso come: $\log(r_{nm}^T) = R_T(\alpha^m) - R_T(\alpha^n) + \text{cost}$.
  • Condizione di Sopravvivenza: Un agente sopravvive se e solo se il suo rimpianto rimane limitato rispetto a ogni concorrente. Se la differenza di rimpianto diverge all'infinito, la quota di ricchezza dell'agente converge a zero (scompare).

3. Contributi Chiave e Risultati Teorici

A. La Relazione tra Rimpianto e Sopravvivenza

Il documento formalizza che un basso rimpianto da solo non garantisce la sopravvivenza.

• Teorema 3.1: Un agente sopravvive se e solo se $\limsup_{T \to \infty} (R_T^n - R_T^m) < \infty$ per tutti i concorrenti $m$.
• Implicazione: Anche se due agenti raggiungono entrambi un rimpianto $O(\log T)$, l'agente con il fattore costante più grande nel limite del rimpianto scomparirà quasi certamente. Conta il livello assoluto del rimpianto, non solo il tasso asintotico.

B. Performance degli Apprendisti Bayesiani Perfetti

• Teorema 5.3: Un apprendista bayesiano con una priori a supporto finito che include la vera distribuzione $q$ raggiunge un rimpianto atteso costante.
• Risultato: Tale bayesiano "perfetto" domina il mercato. Elimina qualsiasi concorrente il cui rimpianto cresce nel tempo (anche se tale crescita è sublineare, come $O(\log T)$ o $O(\sqrt{T})$). Questo valida l'"Ipotesi di Selezione di Mercato" in economia: i bayesiani razionali con modelli corretti sopravvivono.

C. Fragilità dell'Apprendimento Bayesiano

Il documento dimostra che l'apprendimento bayesiano è altamente fragile alla specificazione errata:

1. Priori Inaccurati (Teorema 6.1): Se la vera distribuzione $q$ non è nel supporto della priori, il bayesiano converge al modello "più vicino" in entropia relativa. Ciò risulta in un rimpianto lineare ($\Theta(T)$), causando la scomparsa dell'agente contro qualsiasi apprendista no-regret.
2. Aggiornamenti Rumorosi (Teorema 6.5): Anche se il modello corretto è nella priori, se la regola di aggiornamento contiene piccoli errori di "mano tremante" (rumore a media zero nel pesare i dati rispetto alla priori), il bayesiano non converge. Le credenze oscillano, portando a un rimpianto lineare e all'estinzione finale.
3. Cambiamenti di Distribuzione (Proposizione 7.1): L'apprendimento bayesiano standard si adatta lentamente ai cambiamenti nel processo di generazione dei dati. Se la distribuzione cambia, la posterior (che era concentrata sul vecchio modello) diventa la nuova priori, costringendo l'agente a trascorrere un tempo significativo su modelli errati, accumulando rimpianto lineare.

D. Robustezza dell'Apprendimento No-Regret

• Gli apprendisti no-regret (ad esempio, utilizzando l'Ottimizzazione Convessa Online o UCB) non richiedono un modello dell'ambiente.
• Garantiscono un rimpianto sublineare (ad esempio, $O(\log T)$ o $O(\sqrt{T})$) indipendentemente dal processo.
• Sebbene perdano contro un bayesiano "perfetto", sopravvivono contro bayesiani "imperfetti" (quelli con priori errate o aggiornamenti rumorosi) perché i bayesiani imperfetti incorrono in un rimpianto lineare.

4. Strategie Ibride Proposte

Motivati dal compromesso tra la velocità dell'apprendimento bayesiano e la robustezza dell'apprendimento no-regret, gli autori propongono due metodi ibridi:

1. Aggiornamento Bayesiano Regularizzato (per Cambiamenti di Distribuzione):

   • Meccanismo: Aggiunge un piccolo termine di regolarizzazione $\epsilon_t$ ai pesi dell'aggiornamento bayesiano, impedendo che il peso di qualsiasi ipotesi decada esattamente a zero.
   • Risultato: Mantiene un rimpianto costante in ambienti stazionari (come il Bayes standard) ma raggiunge un rimpianto logaritmico ($O(\log T)$) quando si verificano cambiamenti di distribuzione. Ciò permette all'agente di riprendersi rapidamente dai cambiamenti senza essere eliminato.

2. Interruttore Bayesiano-a-No-Regret (per Specificazione Errata della Priori):

   • Meccanismo: Esegue una strategia bayesiana e una strategia no-regret in parallelo. Tiene traccia del divario cumulativo di utilità ($D_t$). Se la strategia bayesiana rimane sufficientemente indietro rispetto al benchmark no-regret (superando una soglia dinamica), l'agente passa permanentemente alla strategia no-regret.
   • Risultato:
     • Se la priori è corretta: L'agente rimane bayesiano con alta probabilità, raggiungendo un rimpianto costante.
     • Se la priori è specificata erroneamente: L'agente passa alla strategia no-regret, ereditandone la garanzia di rimpianto sublineare.

5. Significato e Implicazioni

• Collegamento tra Discipline: Il documento fornisce la prima connessione formale tra il concetto economico di "sopravvivenza" e il concetto informatico di "minimizzazione del rimpianto" nei mercati di attività.
• Raffinamento della Selezione di Mercato: Mette in discussione la visione semplicistica secondo cui gli agenti "razionali" (bayesiani) vincono sempre. Dimostra che la robustezza è critica quanto l'accuratezza. Un bayesiano leggermente specificato erroneamente sta peggio di un apprendista no-regret robusto.
• Applicazione Pratica: I risultati suggeriscono che nei mercati reali (dove i modelli sono raramente perfetti e gli ambienti cambiano), gli approcci puramente bayesiani sono rischiosi. Le strategie ibride proposte offrono un approccio "il meglio di entrambi i mondi", combinando la rapida convergenza di Bayes con la rete di sicurezza della minimizzazione del rimpianto.
• Politica e Progettazione: Per il trading algoritmico e la progettazione di mercati, i risultati implicano che la scelta dell'algoritmo di apprendimento ha conseguenze profonde a lungo termine sulla composizione del mercato e sulla stabilità dei prezzi.

6. Conclusione

Il documento conclude che, sebbene l'apprendimento bayesiano sia ottimale sotto una specificazione perfetta, è fragile in ambienti realistici. L'apprendimento no-regret fornisce un ripiego robusto ma può essere superato da bayesiani accurati. La strategia ottimale per agenti eterogenei è un approccio ibrido che sfrutta gli aggiornamenti bayesiani per la velocità, incorporando al contempo meccanismi (regolarizzazione o interruzione) per rilevare e riprendersi dal fallimento del modello o dai cambiamenti ambientali.