Failure Modes of Deep Multi-Agent RL in Asynchronous Pricing: Reproducible Triggers, Trace Diagnostics, and a Partial Fix

Sintesi Tecnica: Modalità di Fallimento del Deep Multi-Agent RL nell'Asincronia dei Prezzi

Problematica
Questo articolo investiga la robustezza del Deep Multi-Agent Reinforcement Learning (MARL) in mercati di pricing a tempo continuo. Mentre il lavoro precedente (ad es., Calvano et al., 2020) ha stabilito che gli agenti basati su Q-learning tabulare in oligopoli Bertrand sincroni possono apprendere la collusione tacita, il comportamento degli agenti deep RL sotto microstrutture di mercato realistiche — specificamente la temporizzazione asincrona, la latenza di comunicazione e il pricing guidato dagli eventi — rimane poco studiato. Gli autori adottano una lente focalizzata sulle "modalità di fallimento" (failure-mode), definendo una modalità di fallimento come un comportamento riproducibile innescato da specifici fattori dell'ambiente e dell'agente, caratterizzato da una traccia verificabile e possedente una mitigazione parzialmente compresa e consapevole dei costi.

Lo studio si concentra su due specifiche modalità di fallimento in un duopolio Bertrand a tempo continuo (CT):

1. Modalità di Fallimento 1 (FM1): Formazione di un cartello tacito, in cui agenti concorrenti convergono verso prezzi sovra-competitivi senza comunicazione esplicita.
2. Modalità di Fallimento 2 (FM2): Instabilità del critico ad alti tassi di evento, dove il critico DDPG diverge prima che il replay buffer accumuli una diversità di traiettoria sufficiente, portando alla divergenza della policy.

Metodologia
Gli autori istanziano queste modalità di fallimento all'interno di un benchmark CT-MARL personalizzato caratterizzato da:

• Ambiente: Un duopolio a tempo continuo con domanda logit dall'ottimo interiore ($\mu=0.25$), costo marginale $c=0$, e spazio delle azioni $[0, 2]$. L'equilibrio di Bertrand-Nash è $p_{BN} \approx 0.473$, e il prezzo di monopolio congiunto è $p_M \approx 0.925$.
• Dinamiche: Le imprese operano su orologi di Poisson indipendenti con tasso $\lambda$. I prezzi rimangono costanti tra un evento e l'altro. Gli agenti osservano il prezzo del rivale con una latenza $\delta$ (ovvero, $\hat{p}_{-i}(t) = p_{-i}(t-\delta)$).
• Architettura dell'Agente: Un agente Deep Deterministic Policy Gradient (DDPG) semi-MDP. L'agente utilizza un fattore di sconto in tempo continuo $\gamma_\tau = e^{-\rho\tau}$ basato sul proprio tempo di permanenza (sojourn time) $\tau$. L'attore è un MLP a due strati con un output di prezzo continuo, e il critico è un MLP a due strati che riceve la concatenazione stato-azione.
• Metriche:
  • Indice di Collusione ($\Delta$): Una metrica scalare definita come $\Delta = (\bar{p} - p_{BN}) / (p_M - p_{BN})$, dove $\bar{p}$ è il prezzo medio. $\Delta=0$ rappresenta l'equilibrio competitivo, e $\Delta=1$ rappresenta la collusione perfetta.
  • Diagnostica delle Tracce: Traiettorie dei prezzi per episodio per analizzare la formazione di plateau collusivi e il recupero dagli shock.

Contributi Chiave

1. Benchmark Riproducibile: Un benchmark di pricing CT-MARL autosufficiente che incorpora agenti con orologio di Poisson, latenza di osservazione e shock della domanda opzionali.
2. Estensione DDPG Semi-MDP: Una formulazione di agente che estende il DDPG standard ai semi-MDP con azioni di prezzo continue e sconto dipendente dal tempo di permanenza.
3. Analisi del Diagramma di Fase: Un diagramma di fase a 16 celle $(\lambda, \delta)$ che caratterizza l'indice di collusione $\Delta$, isolando i trigger per FM1 e FM2.
4. Diagnostica delle Tracce: Analisi a livello di traiettoria che integra le metriche scalari, rivelando meccanismi come il collasso del segnalamento e il mancato recupero post-shock.
5. Mitigazione Parziale con Contabilità dei Costi: Un'analisi quantificata di una correzione microstrutturale (asincronia + latenza) e una rendicontazione trasparente dei suoi limiti.

Risultati

• Trigger FM1 (Baseline Sincrona): Nella baseline sincrona ($S_0$, $\delta=0$), gli agenti DDPG innescano in modo affidabile la collusione tacita, raggiungendo un indice di collusione medio di $\Delta = 0.69 \pm 0.11$. Ciò conferma che gli agenti di deep RL possono apprendere strategie di ricompensa e punizione simili agli agenti Q-learning tabulari.
• Mitigazione Parziale tramite Microstruttura:
  • L'introduzione della sola asincronia di Poisson ($\lambda=1, \delta=0$) riduce la collusione del 48% a $\Delta = 0.36 \pm 0.08$.
  • L'aggiunta della latenza di osservazione ($\delta=1.0$) spinge la collusione al minimo di $\Delta = 0.28 \pm 0.09$, una riduzione del 59% rispetto alla baseline sincrona.
  • Non-monotonicità: Con latenza estrema ($\delta=2.0$), la collusione rimbalza leggermente a $\Delta = 0.30$, suggerendo che la mitigazione non è monotona rispetto a $\delta$.
• Diagnostica delle Tracce: Nel caso sincrono, i prezzi salgono costantemente verso un plateau di monopolio. Nei casi asincroni, i prezzi si stabilizzano a livelli inferiori e interi. Sotto shock della domanda, gli agenti asincroni non riescono a recuperare il plateau collusivo pre-shock, indicando una interruzione del meccanismo di segnalamento implicito.
• Trigger FM2 (Alto Tasso di Evento): Ad alti tassi di evento ($\lambda=5, \delta=1$), il critico DDPG diventa instabile. Due seed su cinque hanno prodotto una divergenza della policy in cui i prezzi sono spiralati sopra il livello di monopolio ($\Delta > 1.9$). Questa modalità di fallimento è distinta da FM1 e non è affrontata dalla correzione della latenza.

Significatività e Rivendicazioni
L'articolo rivendica di fornire un framework precisamente caratterizzato e riproducibile per valutare la collusione algoritmica in contesti a tempo continuo.

• Implicazioni Antitrust: Gli autori sostengono che le microstrutture di mercato a tempo continuo (asincronia e latenza) agiscono come un mitigante parziale ma non banale contro la collusione algoritmica emergente. Tuttavia, avvertono esplicitamente che questo non esonera dal rischio; anche con la più forte mitigazione, l'indice di collusione residuo ($\Delta \approx 0.28$) rimane sostanzialmente al di sopra del benchmark competitivo ($\Delta=0$).
• Limiti della Correzione: La mitigazione è documentata come avente specifici costi:
  1. Parziale: Non elimina la collusione.
  2. Fragile: L'effetto è non-monotono rispetto alla latenza ($\delta$) e interagisce negativamente con alti tassi di evento (innescando FM2).
  3. Ambito: I risultati sono attualmente limitati a duopoli simmetrici; la generalizzazione a $N \ge 3$ imprese o a orologi asimmetrici non è provata.
• Lavoro Futuro: Gli autori identificano la necessità di ricerche di follow-up per affrontare FM2 (ad es., tramite regolarizzatori TD3 o SAC), testare la generalizzazione a mercati più ampi e analizzare i tassi di orologio asimmetrici.

L'articolo conclude che, sebbene le frizioni a tempo continuo riducano la severità della collusione algoritmica rispetto ai modelli sincroni idealizzati, i regolatori non dovrebbero considerare tali frizioni come una soluzione completa, e il benchmark proposto serve come strumento per valutare ulteriormente le strategie di mitigazione.