Failure Modes of Deep Multi-Agent RL in Asynchronous Pricing: Reproducible Triggers, Trace Diagnostics, and a Partial Fix

Resumo Técnico: Modos de Falha de Aprendizado por Reforço Multiagente Profundo em Precificação Assíncrona

Definição do Problema
Este artigo investiga a robustez do Aprendizado por Reforço Multiagente Profundo (MARL) em mercados de precificação de tempo contínuo. Embora trabalhos anteriores (ex: Calvano et al., 2020) tenham estabelecido que agentes de Q-learning tabular em oligopólios de Bertrand síncronos podem aprender colusão tácita, o comportamento de agentes de RL profundo sob microestruturas de mercado realistas — especificamente tempo assíncrono, latência de comunicação e precificação baseada em eventos — permanece subestudado. Os autores adotam uma lente de "modo de falha", definindo um modo de falha como um comportamento reproduzível desencadeado por fatores específicos do ambiente e do agente, caracterizado por um traço verificável e possuindo uma mitigação de custo parcialmente compreendida.

O estudo foca em dois modos de falha específicos em um duopólio de Bertrand de tempo contínuo (CT):

1. Modo de Falha 1 (FM1): Formação de cartel tácito, onde agentes concorrentes convergem para preços supracompetitivos sem comunicação explícita.
2. Modo de Falha 2 (FM2): Instabilidade do crítico em altas taxas de eventos, onde o crítico do DDPG diverge antes que o buffer de replay acumule diversidade de trajetória suficiente, levando à divergência da política.

Metodologia
Os autores instanciam esses modos de falha dentro de um benchmark customizado de CT-MARL apresentando:

• Ambiente: Um duopólio de tempo contínuo com demanda logit de ótimo interior ($\mu=0,25$), custo marginal $c=0$, e espaço de ação $[0, 2]$. O equilíbrio de Bertrand-Nash é $p_{BN} \approx 0,473$, e o preço de monopólio conjunto é $p_M \approx 0,925$.
• Dinâmica: Empresas operam em relógios de Poisson independentes com taxa $\lambda$. Os preços são mantidos constantes entre os eventos. Os agentes observam o preço do rival com uma latência $\delta$ (ou seja, $\hat{p}_{-i}(t) = p_{-i}(t-\delta)$).
• Arquitetura do Agente: Um agente DDPG de semi-MDP. O agente utiliza um fator de desconto de tempo contínuo $\gamma_\tau = e^{-\rho\tau}$ baseado em seu tempo de permanência (sojourn time) $\tau$. O ator é um MLP de duas camadas com uma saída de preço contínua, e o crítico é um MLP de duas camadas recebendo a concatenação estado-ação.
• Métricas:
  • Índice de Colusão ($\Delta$): Uma métrica escalar definida como $\Delta = (\bar{p} - p_{BN}) / (p_M - p_{BN})$, onde $\bar{p}$ é o preço médio. $\Delta=0$ representa o equilíbrio competitivo, e $\Delta=1$ representa a colusão perfeita.
  • Diagnósticos de Traço: Trajetórias de preço por episódio para analisar a formação de patamares colusivos e a recuperação de choques.

Principais Contribuições

1. Benchmark Reproduzível: Um benchmark de CT-MARL auto-contido incorporando agentes com relógios de Poisson, latência de observação e choques de demanda opcionais.
2. Extensão DDPG para Semi-MDP: Uma formulação de agente que estende o DDPG padrão para semi-MDPs com ações de preço contínuas e desconto dependente do tempo de permanência.
3. Análise de Diagrama de Fase: Um diagrama de fase de 16 células $(\lambda, \delta)$ caracterizando o índice de colusão $\Delta$, isolando os gatilhos para FM1 e FM2.
4. Diagnósticos de Traço: Análise ao nível de trajetória complementando métricas escalares, revelando mecanismos como colapso de sinalização e não-recuperação pós-choque.
5. Mitigação Parcial com Contabilidade de Custos: Uma análise quantificada de um ajuste de microestrutura (assincronia + latência) e uma prestação de contas transparente de suas limitações.

Resultados

• Gatilho de FM1 (Baseline Síncrono): No baseline síncrono ($S_0, \delta=0$), agentes DDPG acionam confiavelmente a colusão tácita, atingindo um índice de colusão médio de $\Delta = 0,69 \pm 0,11$. Isso confirma que agentes de RL profundo podem aprender estratégias de recompensa e punição semelhantes a agentes de Q-learning tabular.
• Mitigação Parcial via Microestrutura:
  • Introduzir assincronia de Poisson isoladamente ($\lambda=1, \delta=0$) reduz a colusão em 48% para $\Delta = 0,36 \pm 0,08$.
  • Adicionar latência de observação ($\delta=1,0$) leva a colusão ao mínimo de $\Delta = 0,28 \pm 0,09$, uma redução de 59% em relação ao baseline síncrono.
  • Não-monotonicidade: Em latência extrema ($\delta=2,0$), a colusão rebate levemente para $\Delta = 0,30$, sugerindo que a mitigação não é monótona em relação a $\delta$.
• Diagnósticos de Traço: No caso síncrono, os preços sobem constantemente para um patamar de monopólio. Em casos assíncronos, os preços estabilizam em níveis inferiores e interiores. Sob choques de demanda, agentes assíncronos falham em recuperar ao patamar colusivo pré-choque, indicando uma interrupção do mecanismo de sinalização implícito.
• Gatilho de FM2 (Alta Taxa de Eventos): Em altas taxas de eventos ($\lambda=5, \delta=1$), o crítico do DDPG torna-se instável. Duas em cinco sementes resultaram em divergência de política onde os preços espiralaram acima do nível de monopólio ($\Delta > 1,9$). Este modo de falha é distinto de FM1 e não é endereçado pelo ajuste de latência.

Significância e Alegações
O artigo afirma fornecer um framework precisamente caracterizado e reproduzível para avaliar a colusão algorítmica em configurações de tempo contínuo.

• Implicações Antitruste: Os autores argumentam que microestruturas de mercado de tempo contínuo (assincronia e latência) atuam como um mitigante parcial, mas não trivial, contra a colusão algorítmica emergente. No entanto, eles alertam explicitamente que isso não isenta o risco; mesmo com a mitigação mais forte, o índice de colusão residual ($\Delta \approx 0,28$) permanece substancialmente acima do benchmark competitivo ($\Delta=0$).
• Limitações do Ajuste: A mitigação é documentada como tendo custos específicos:
  1. Parcial: Não elimina a colusão.
  2. Frágil: O efeito é não-monótono em relação à latência ($\delta$) e interage negativamente com altas taxas de eventos (desencadeando FM2).
  3. Escopo: Os resultados estão atualmente limitados a duopólios simétricos; a generalização para $N \ge 3$ empresas ou relógios assimétricos não foi comprovada.
• Trabalho Futuro: Os autores identificam a necessidade de pesquisas de acompanhamento para abordar o FM2 (ex: via regularizadores TD3 ou SAC), testar a generalização para mercados maiores e analisar taxas de relógio assimétricas.

O artigo conclui que, embora as fricções de tempo contínuo reduzam a severidade da colusão algorítmica em comparação com modelos síncronos idealizados, reguladores não devem ver isso como uma solução completa, e o benchmark proposto serve como uma ferramenta para avaliar estratégias de mitigação adicionais.