Failure Modes of Deep Multi-Agent RL in Asynchronous Pricing: Reproducible Triggers, Trace Diagnostics, and a Partial Fix

Resumen Técnico: Modos de Fallo del Aprendizaje por Refuerzo Multi-Agente Profundo en la Fijación de Precios Asíncrona

Planteamiento del Problema
Este artículo investiga la robustez del Aprendizaje por Refuerzo Multi-Agente Profundo (MARL) en mercados de fijación de precios en tiempo continuo. Mientras que trabajos previos (p. ej., Calvano et al., 2020) establecieron que los agentes de Q-learning tabular en oligopolios de Bertrand sincrónicos pueden aprender colusión tácita, el comportamiento de los agentes de aprendizaje por refuerzo profundo bajo microestructuras de mercado realistas —específicamente la asincronía temporal, la latencia de comunicación y la fijación de precios basada en eventos— permanece insuficientemente estudiado. Los autores adoptan una perspectiva de "modos de fallo", definiendo un modo de fallo como un comportamiento reproducible desencadenado por factores específicos del entorno y del agente, caracterizado por un rastro verificable y poseedor de una mitigación de costo parcial y comprendida parcialmente.

El estudio se centra en dos modos de fallo específicos en un duopolio de Bertrand en tiempo continuo (CT):

1. Modo de Fallo 1 (FM1): Formación de cárteles tácitos, donde los agentes competidores convergen hacia precios supra-competitivos sin comunicación explícita.
2. Modo de Fallo 2 (FM2): Inestabilidad del crítico ante altas tasas de eventos, donde el crítico de DDPG diverge antes de que el búfer de repetición (replay buffer) acumule suficiente diversidad de trayectoria, provocando la divergencia de la política.

Metodología
Los autores instancian estos modos de fallo dentro de un benchmark personalizado de CT-MARL que presenta:

• Entorno: Un duopolio en tiempo continuo con demanda logit de óptimo interior ($\mu=0.25$), costo marginal $c=0$, y espacio de acción $[0, 2]$. El equilibrio de Bertrand-Nash es $p_{BN} \approx 0.473$, y el precio de monopolio conjunto es $p_M \approx 0.925$.
• Dinámica: Las firmas operan sobre relojes de Poisson independientes con tasa $\lambda$. Los precios se mantienen constantes entre eventos. Los agentes observan el precio del rival con una latencia $\delta$ (es decir, $\hat{p}_{-i}(t) = p_{-i}(t-\delta)$).
• Arquitectura del Agente: Un agente DDPG de semi-MDP. El agente utiliza un factor de descuento en tiempo continuo $\gamma_\tau = e^{-\rho\tau}$ basado en su tiempo de permanencia (sojourn time) $\tau$. El actor es un MLP de dos capas con una salida de precio continua, y el crítico es un MLP de dos capas que toma la concatenación estado-acción.
• Métricas:
  • Índice de Colusión ($\Delta$): Una métrica escalar definida como $\Delta = (\bar{p} - p_{BN}) / (p_M - p_{BN})$, donde $\bar{p}$ es el precio promedio. $\Delta=0$ representa el equilibrio competitivo, y $\Delta=1$ representa la colusión perfecta.
  • Diagnósticos de Rastro (Trace Diagnostics): Trayectorias de precios por episodio para analizar la formación de mesetas colusivas y la recuperación tras choques.

Contribuciones Clave

1. Benchmark Reproducible: Un benchmark de CT-MARL autónomo que incorpora agentes con relojes de Poisson, latencia de observación y choques de demanda opcionales.
2. Extensión DDPG para Semi-MDP: Una formulación de agente que extiende el DDPG estándar a semi-MDPs con acciones de precios continuas y descuento dependiente del tiempo de permanencia.
3. Análisis de Diagrama de Fases: Un diagrama de fases de 16 celdas $(\lambda, \delta)$ que caracteriza el índice de colusión $\Delta$, aislando los disparadores para FM1 y FM2.
4. Diagnósticos de Rastro: Análisis a nivel de trayectoria que complementa las métricas escalares, revelando mecanismos como el colapso de señalización y la falta de recuperación post-choque.
5. Mitigación Parcial con Contabilidad de Costos: Un análisis cuantificado de una corrección de microestructura (asincronía + latencia) y una contabilidad transparente de sus limitaciones.

Resultados

• Disparador de FM1 (Línea Base Sincrónica): En la línea base sincrónica ($S_0$, $\delta=0$), los agentes DDPG activan de manera fiable la colusión tácita, logrando un índice de colusión medio de $\Delta = 0.69 \pm 0.11$. Esto confirma que los agentes de aprendizaje por refuerzo profundo pueden aprender estrategias de recompensa y castigo similares a las de los agentes de Q-learning tabular.
• Mitigación Parcial vía Microestructura:
  • La introducción de la asincronía de Poisson por sí sola ($\lambda=1, \delta=0$) reduce la colusión en un 48% hasta $\Delta = 0.36 \pm 0.08$.
  • Añadir latencia de observación ($\delta=1.0$) lleva la colusión a un mínimo de $\Delta = 0.28 \pm 0.09$, una reducción del 59% respecto a la línea base sincrónica.
  • No Monotonicidad: Con una latencia extrema ($\delta=2.0$), la colusión rebota ligeramente a $\Delta = 0.30$, lo que sugiere que la mitigación no es monótona respecto a $\delta$.
• Diagnósticos de Rastro: En el caso sincrónico, los precios suben de forma constante hacia una meseta de monopolio. En los casos asíncronos, los precios se estabilizan en niveles interiores más bajos. Bajo choques de demanda, los agentes asíncronos no logran recuperarse a la meseta colusiva previa al choque, indicando una interrupción del mecanismo de señalización implícito.
• Disparador de FM2 (Alta Tasa de Eventos): En tasas de eventos altas ($\lambda=5, \delta=1$), el crítico de DDPG se vuelve inestable. Dos de cada cinco semillas resultaron en una divergencia de política donde los precios espiralaron por encima del nivel de monopolio ($\Delta > 1.9$). Este modo de fallo es distinto de FM1 y no es abordado por la corrección de latencia.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco precisamente caracterizado y reproducible para evaluar la colusión algorítmica en entornos de tiempo continuo.

• Implicaciones para la Defensa de la Competencia (Antitrust): Los autores argumentan que las microestructuras de mercado en tiempo continuo (asincronía y latencia) actúan como un mitigante parcial pero no trivial contra la colusión algorítmica emergente. Sin embargo, advierten explícitamente que esto no los exime del riesgo; incluso con la mitigación más fuerte, el índice de colusión residual ($\Delta \approx 0.28$) permanece sustancialmente por encima del benchmark competitivo ($\Delta=0$).
• Limitaciones de la Corrección: La mitigación está documentada con costos específicos:
  1. Parcial: No elimina la colusión.
  2. Frágil: Su efecto es no monótono con respecto a la latencia ($\delta$) e interactúa negativamente con altas tasas de eventos (desencadenando FM2).
  3. Alcance: Los resultados están actualmente limitados a duopolios simétricos; la generalización a $N \ge 3$ firmas o relojes asimétricos no ha sido probada.
• Trabajo Futuro: Los autores identifican la necesidad de investigación de seguimiento para abordar el FM2 (p. ej., mediante regularizadores TD3 o SAC), probar la generalización a mercados más grandes y analizar tasas de reloj asimétricas.

El artículo concluye que, si bien las fricciones en tiempo continuo reducen la severidad de la colusión algorítmica en comparación con los modelos sincrónicos idealizados, los reguladores no deben verlas como una solución completa, y el benchmark propuesto sirve como una herramienta para evaluar posteriormente las estrategias de mitigación.