Failure Modes of Deep Multi-Agent RL in Asynchronous Pricing: Reproducible Triggers, Trace Diagnostics, and a Partial Fix

Technische Samenvatting: Falingsmodi van Deep Multi-Agent RL in Asynchrone Prijsvorming

Probleemstelling
Dit artikel onderzoekt de robuustheid van Deep Multi-Agent Reinforcement Learning (MARL) in prijsmarkten in continue tijd. Hoewel eerder werk (bijv. Calvano et al., 2020) vaststelde dat tabelaire Q-learning agents in synchrone Bertrand-oligopolies impliciete collusie kunnen leren, blijft het gedrag van deep RL-agents onder realistische marktmicrostructuren—specifiek asynchrone timing, communicatielatentie en gebeurtenisgestuurde prijsvorming—onderbelicht. De auteurs hanteren een "falingsmodus"-lens, waarbij een falingsmodus wordt gedefinieerd als een reproduceerbaar gedrag dat wordt getriggerd door specifieke omgevings- en agentfactoren, gekenmerkt door een verifieerbaar spoor (trace) en voorzien van een deels begrepen, kostenbewuste mitigatie.

De studie richt zich op twee specifieke falingsmodi in een continue-tijd (CT) Bertrand-duopolie:

1. Falingsmodus 1 (FM1): Taciete kartelvorming, waarbij concurrerende agents convergeren naar supra-competitieve prijzen zonder expliciete communicatie.
2. Falingsmodus 2 (FM2): Critic-instabiliteit bij hoge event-rates, waarbij de DDPG-critic divergeert voordat de replay buffer voldoende trajectdiversiteit heeft verzameld, wat leidt tot beleidsdivergentie.

Methodologie
De auteurs instantiëren deze falingsmodi binnen een aangepaste CT-MARL benchmark met:

• Omgeving: Een continue-tijd duopolie met een logit-vraagfunctie met een intern optimum ($\mu=0.25$), marginale kosten $c=0$, en een actieruimte $[0, 2]$. Het Bertrand-Nash-evenwicht is $p_{BN} \approx 0.473$, en de gezamenlijke monopolieprijs is $p_M \approx 0.925$.
• Dynamiek: Firma's opereren op onafhankelijke Poisson-klokken met snelheid $\lambda$. Prijzen blijven constant tussen gebeurtenissen door. Agents observeren de prijs van de rivaal met een latentie $\delta$ (d.w.z. $\hat{p}_{-i}(t) = p_{-i}(t-\delta)$).
• Agent Architectuur: Een semi-MDP Deep Deterministic Policy Gradient (DDPG) agent. De agent gebruikt een continue-tijd kortingsfactor $\gamma_\tau = e^{-\rho\tau}$ gebaseerd op zijn verblijftijd (sojourn time) $\tau$. De actor is een twee-laags MLP met een continue prijsoutput, en de critic is een twee-laags MLP die de staat-actie concatenatie accepteert.
• Metrieken:
  • Collusie-index ($\Delta$): Een scalaire metriek gedefinieerd als $\Delta = (\bar{p} - p_{BN}) / (p_M - p_{BN})$, waarbij $\bar{p}$ de gemiddelde prijs is. $\Delta=0$ vertegenwoordigt het competitieve evenwicht, en $\Delta=1$ vertegenwoordigt perfecte collusie.
  • Trace Diagnostiek: Per-episode prijs-trajecten om de vorming van collusieve plateaus en herstel van schokken te analyseren.

Belangrijkste Bijdragen

1. Reproduceerbare Benchmark: Een zelfstandige CT-MARL prijsbenchmark die Poisson-geklokte agents, observatielatentie en optionele vraagschokken incorporeert.
2. Semi-MDP DDPG Extensie: Een agent-formulering die standaard DDPG uitbreidt naar semi-MDP's met continue prijsacties en verblijfstijd-afhankelijke korting.
3. Fasediagram Analyse: Een 16-cel $(\lambda, \delta)$ fasediagram die de collusie-index $\Delta$ karakteriseert en de triggers voor FM1 en FM2 isoleert.
4. Trace Diagnostiek: Traject-niveau analyse die scalaire metrieken aanvult en mechanismen zoals signaalinstorting (signalling collapse) en post-shock niet-herstel onthult.
5. Partiële Mitigatie met Kostenrekening: Een gekwantificeerde analyse van een microstructuur-fix (asynchronie + latentie) en een transparante verantwoording van de beperkingen ervan.

Resultaten

• FM1 Trigger (Synchrone Baseline): In de synchrone baseline ($S_0$, $\delta=0$), triggeren DDPG-agents betrouwbaar taciete collusie, waarbij ze een gemiddelde collusie-index bereiken van $\Delta = 0.69 \pm 0.11$. Dit bevestigt dat deep RL-agents belonings- en straatstrategieën kunnen leren die vergelijkbaar zijn met tabelaire Q-learning agents.
• Partiële Mitigatie via Microstructuur:
  • Het introduceren van Poisson-asynchronie alleen ($\lambda=1, \delta=0$) vermindert collusie met 48% naar $\Delta = 0.36 \pm 0.08$.
  • Het toevoegen van observatielatentie ($\delta=1.0$) drijft collusie naar een minimum van $\Delta = 0.28 \pm 0.09$, een reductie van 59% ten opzichte van de synchrone baseline.
  • Niet-monotoniciteit: Bij extreme latentie ($\delta=2.0$) veert de collusie licht terug naar $\Delta = 0.30$, wat suggereert dat de mitigatie niet monotoon is met betrekking tot $\delta$.
• Trace Diagnostiek: In het synchrone geval klimmen prijzen gestaag naar een monopolie-plateau. In asynchrone gevallen stabiliseren prijzen op lagere, interne niveaus. Onder vraagschokken falen asynchrone agents om te herstellen naar het pre-shock collusieve plateau, wat wijst op een verstoring van het impliciete signaleringsmechanisme.
• FM2 Trigger (Hoge Event Rate): Bij hoge event-rates ($\lambda=5, \delta=1$) wordt de DDPG-critic instabiel. Twee van de vijf seeds resulteerden in beleidsdivergentie waarbij prijzen boven het monopolieniveau spiraalden ($\Delta > 1.9$). Deze falingsmodus is onderscheidend van FM1 en wordt niet geadresseerd door de latentie-fix.

Significantie en Claims
Het artikel claimt een precies gekarakteriseerd, reproduceerbaar kader te bieden voor het evalueren van algoritmische collusie in continue-tijd settings.

• Mededingingsrechtelijke Implicaties: De auteurs stellen dat continue-tijd marktmicrostructuren (asynchronie en latentie) fungeren als een partiële maar niet-triviale mitigant tegen emergente algoritmische collusie. Echter, zij waarschuwen expliciet dat dit de risico's niet wegneemt; zelfs met de sterkste mitigatie blijft de residuele collusie-index ($\Delta \approx 0.28$) aanzienlijk boven het competitieve benchmark ($\Delta=0$).
• Beperkingen van de Fix: De mitigatie wordt gedocumenteerd met specifieke kosten:
  1. Partieel: Het elimineert collusie niet.
  2. Broos: Het effect is niet-monotoon met betrekking tot latentie ($\delta$) en interageert negatief met hoge event-rates (het triggert FM2).
  3. Scope: De resultaten zijn momenteel beperkt tot symmetrische duopolies; generalisatie naar $N \ge 3$ firma's of asymmetrische klokken is onbewezen.
• Toekomstig Werk: De auteurs identificeren de noodzaak voor vervolgonderzoek om FM2 aan te pakken (bijv. via TD3 of SAC regularisatoren), het testen van generalisatie naar grotere markten, en het analyseren van asymmetrische klok-rates.

Het artikel concludeert dat hoewel continue-tijd fricties de ernst van algoritmische collusie verminderen vergeleken met geïdealiseerde synchrone modellen, toezichthouders de voorgestelde fix niet als een volledige oplossing moeten beschouwen, en dat de voorgestelde benchmark dient als een instrument voor verdere evaluatie van mitigatiestrategieën.