Failure Modes of Deep Multi-Agent RL in Asynchronous Pricing: Reproducible Triggers, Trace Diagnostics, and a Partial Fix

Résumé Technique : Modes de Défaillance de l'Apprentissage par Renforcement Multi-Agent Profond en Tarification Asynchrone

Énoncé du Problème
Cet article étudie la robustesse de l'apprentissage par renforcement multi-agent profond (MARL) dans des marchés de tarification en temps continu. Alors que les travaux antérieurs (par exemple, Calvano et al., 2020) ont établi que des agents de Q-learning tabulaire dans des oligopoles de Bertrand synchrones peuvent apprendre une collusion tacite, le comportement des agents de RL profond sous des microstructures de marché réalistes — spécifiquement le décalage temporel (asynchronie), la latence de communication et la tarification pilotée par les événements — reste sous-étudié. Les auteurs adoptent une perspective de « mode de défaillance », définissant un mode de défaillance comme un comportement reproductible déclenché par des facteurs spécifiques de l'environnement et de l'agent, caractérisé par une trace vérifiable et possédant une atténuation partiellement comprise et sensible aux coûts.

L'étude se concentre sur deux modes de défaillance spécifiques dans un duopole de Bertrand en temps continu (CT) :

1. Mode de Défaillance 1 (FM1) : Formation de cartel tacite, où des agents concurrents convergent vers des prix supra-compétitifs sans communication explicite.
2. Mode de Défaillance 2 (FM2) : Instabilité du critique à des taux d'événements élevés, où le critique DDPG diverge avant que le tampon de relecture (replay buffer) n'ait accumulé une diversité de trajectoires suffisante, entraînant une divergence de la politique.

Méthodologie
Les auteurs instaurent ces modes de défaillance au sein d'un benchmark CT-MARL personnalisé comprenant :

• Environnement : Un duopole en temps continu avec une demande logit à optimum intérieur ($\mu=0,25$), un coût marginal $c=0$, et un espace d'action $[0, 2]$. L'équilibre de Bertrand-Nash est $p_{BN} \approx 0,473$, et le prix du monopole conjoint est $p_M \approx 0,925$.
• Dynamique : Les entreprises opèrent sur des horloges de Poisson indépendantes de taux $\lambda$. Les prix sont maintenus constants entre les événements. Les agents observent le prix du rival avec une latence $\delta$ (c'est-à-dire $\hat{p}_{-i}(t) = p_{-i}(t-\delta)$).
• Architecture d'Agent : Un agent DDPG (Deep Deterministic Policy Gradient) de type semi-MDP. L'agent utilise un facteur de remise en temps continu $\gamma_\tau = e^{-\rho\tau}$ basé sur son temps de séjour $\tau$. L'acteur est un MLP à deux couches avec une sortie de prix continue, et le critique est un MLP à deux couches prenant la concaténation état-action.
• Métriques :
  • Indice de Collusion ($\Delta$) : Une métrique scalaire définie par $\Delta = (\bar{p} - p_{BN}) / (p_M - p_{BN})$, où $\bar{p}$ est le prix moyen. $\Delta=0$ représente l'équilibre compétitif, et $\Delta=1$ représente la collusion parfaite.
  • Diagnostics de Trace : Trajectoires de prix par épisode pour analyser la formation de plateaux collusifs et la récupération après des chocs.

Contributions Clés

1. Benchmark Reproductible : Un benchmark de tarification CT-MARL auto-contenu intégrant des agents cadencés par horloge de Poisson, une latence d'observation et des chocs de demande optionnels.
2. Extension DDPG Semi-MDP : Une formulation d'agent qui étend le DDPG standard aux semi-MDP avec des actions de prix continues et une remise dépendante du temps de séjour.
3. Analyse de Diagramme de Phase : Un diagramme de phase de 16 cellules $(\lambda, \delta)$ caractérisant l'indice de collusion $\Delta$, isolant les déclencheurs de FM1 et FM2.
4. Diagnostics de Trace : Une analyse au niveau de la trajectoire complétant les métriques scalaires, révélant des mécanismes tels que l'effondrement du signalement et la non-récupération post-choc.
5. Atténuation Partielle avec Comptabilité des Coûts : Une analyse quantifiée d'une correction de microstructure (asynchronie + latence) et un compte rendu transparent de ses limites.

Résultats

• Déclencheur de FM1 (Référence Synchronous) : Dans la référence synchrone ($S_0, \delta=0$), les agents DDPG déclenchent de manière fiable une collusion tacite, atteignant un indice de collusion moyen de $\Delta = 0,69 \pm 0,11$. Cela confirme que les agents de RL profond peuvent apprendre des stratégies de récompense et de punition similaires aux agents de Q-learning tabulaire.
• Atténuation Partielle via la Microstructure :
  • L'introduction de l'asynchronie de Poisson seule ($\lambda=1, \delta=0$) réduit la collusion de 48 % à $\Delta = 0,36 \pm 0,08$.
  • L'ajout d'une latence d'observation ($\delta=1,0$) conduit la collusion à un minimum de $\Delta = 0,28 \pm 0,09$, soit une réduction de 59 % par rapport à la référence synchrone.
  • Non-monotonie : À une latence extrême ($\delta=2,0$), la collusion rebondit légèrement à $\Delta = 0,30$, suggérant que l'atténuation n'est pas monotone par rapport à $\delta$.
• Diagnostics de Trace : Dans le cas synchrone, les prix grimpent régulièrement vers un plateau de monopole. Dans les cas asynchrones, les prix se stabilisent à des niveaux intérieurs plus bas. Sous des chocs de demande, les agents asynchrones ne parviennent pas à revenir au plateau collusif pré-choc, indiquant une rupture du mécanisme de signalement implicite.
• Déclencheur de FM2 (Taux d'Événements Élevé) : À des taux d'événements élevés ($\lambda=5, \delta=1$), le critique DDPG devient instable. Deux graines sur cinq ont entraîné une divergence de politique où les prix ont spiralé au-dessus du niveau de monopole ($\Delta > 1,9$). Ce mode de défaillance est distinct de FM1 et n'est pas traité par la correction de latence.

Signification et Revendications
Le papier revendique la fourniture d'un cadre précisément caractérisé et reproductible pour évaluer la collusion algorithmique dans des contextes de temps continu.

• Implications pour l'Antitrust : Les auteurs soutiennent que les microstructures de marché en temps continu (asynchronie et latence) agissent comme un atténuateur partiel mais non trivial de la collusion algorithmique émergente. Cependant, ils mettent explicitement en garde que cela ne dispense pas du risque ; même avec la plus forte atténuation, l'indice de collusion résiduel ($\Delta \approx 0,28$) reste substantiellement supérieur au benchmark compétitif ($\Delta=0$).
• Limites de la Correction : La mitigation est documentée comme ayant des coûts spécifiques :
  1. Partielle : Elle n'élimine pas la collusion.
  2. Fragile : Son effet est non monotone par rapport à la latence ($\delta$) et interagit négativement avec les taux d'événements élevés (déclenchant FM2).
  3. Portée : Les résultats sont actuellement limités aux duopoles symétriques ; la généralisation à $N \ge 3$ entreprises ou à des horloges asymétriques n'est pas prouvée.
• Travaux Futurs : Les auteurs identifient la nécessité de recherches de suivi pour traiter FM2 (par exemple, via des régularisateurs TD3 ou SAC), tester la généralisation à des marchés plus larges, et analyser les taux d'horloges asymétriques.

Le papier conclut que, bien que les frictions en temps continu réduisent la sévérité de la collusion algorithmique par rapport aux modèles synchrones idéalisés, les régulateurs ne doivent pas considérer cela comme une solution complète, et le benchmark proposé sert d'outil pour évaluer davantage les stratégies d'atténuation.