Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

Technische Samenvatting: Reinforcement Learning voor Executie onder Dynamische Kosten in een Closed-Loop DEX Simulator

1. Probleemstelling

Het paper behandelt een fundamentele beperking bij het evalueren van trader-gerichte dynamische kosten op Automated Market Makers (AMMs): de historische data kan niet bepalen hoe de orderflow reageert op dergelijke kosten omdat:

1. Statische Kosten: Historische kosten zijn niet significant gevarieerd.
2. Latente Typen: Trader-typen en routingbeslissingen zijn niet geobserveerd.
3. Niet-sequentiële Aard: Het herafspelen van historische tapes vormt geen sequentieel beslissingsmilieu waarin acties de toekomstige toestanden van de markt beïnvloeden.

Consequent kunnen counterfactuele vragen — zoals "wat zou de orderflow doen als de kosten zich tegen de trader keren?" — niet worden beantwoord door historische event studies. Eerdere pogingen om Reinforcement Learning (RL) toe te passen op historische handelsdata faalden omdat de tape geen actie-afhankelijke transitie-kernel bezit; de acties van een agent in een replay kunnen de daaropvolgende staat van de markt niet veranderen.

2. Methodologie

Om het gebrek aan counterfactuele signalen in historische data te overwinnen, construeert de auteur een minimale closed-loop simulator waar het signaal door constructie aanwezig is. De methodologie wordt gedefinieerd door een rigoureuze evaluatiediscipline in plaats van een specifiek leeralgoritme.

De Markt Simulator:

• Structuur: Twee constant-product pools (Uniswap-lijn) en een externe Centralized Exchange (CEX).
• Agenten:
  • Execution Agent: Verhandelt een doelorder over een eindig horizon.
  • Noise Traders: Routeren flow op basis van effectieve executiekosten (softmax over kosten).
  • Arbitrageur: Sluit CEX-AMM gaten in closed-form wanneer dit winstgevend is (minus gas).
• Dynamische Kostenregel: Kosten worden elke stap opnieuw geprijsd op basis van een equilibrium-geïnspireerde afsluiting (linearisatie van Nash-kostenstructuren). Kosten zijn afhankelijk van:
  • Eigen-pool inventory imbalance.
  • Rival-pool staat.
  • Oracle prijsverschil.
• Transitie Dynamiek: Het milieu is een finite-horizon Markov Decision Process (MDP). De transitiefunctie combineert de actie van de agent met marktoperatoren (update van kosten, oracle update, arbitrage, noise flow) in een vaste, verklaarde volgorde. Cruciaal is dat de intra-step positie van de agent (bijv. handelen vóór of na arbitrage) een expliciete designvariabele is.

Evaluatie Protocol:

• Doel: Minimaliseer Implementation Shortfall (IS) onder een forced-terminal completion rule (alle inventaris moet geëxecuteerd worden, waarbij resterende inventaris direct in de laatste stap wordt geliquideerd).
• Benchmark Ladder: In plaats van een enkele baseline, vergelijkt de studie leerders met een "ladder" van getunede heuristieken om alternatieve verklaringen voor eventuele prestatievoordelen uit te sluiten:
  • Schedule Baselines: TWAP, snelste liquidatie, random routing.
  • Lookahead: Getunede one-step controle met een mark-to-market urgentie term (proxy voor toekomstige kosten).
  • Planners: Deterministische K-step certainty-equivalent planners en stochastic rollout planners.
  • Tabular Learners: On-policy Monte Carlo control met gediscretiseerde staten.
  • DQN: Deep Q-Network met function approximation.
• Rigoureuze Freeze: Alle hyperparameters, baseline tuning en designkeuzes zijn bevroren op een validatieblok. De uiteindelijke resultaten worden uitsluitend afgeleid van een gereserveerd blok van 1.000 seeds die nooit gezien zijn tijdens de ontwikkeling.

3. Belangrijkste Bijdragen

1. Constructie van een Closed-Loop Simulator: Het paper biedt een minimale, reproduceerbare simulator waar executie-acties direct invloed hebben op pool-inventaris, quotes en dynamische kosten, wat een geldige sequentiële beslissingsomgeving voor RL creëert.
2. Evaluatie Discipline: Het stelt een protocol vast voor het evalueren van model-free controle in closed-loop markten, met de nadruk op gepaarde vergelijkingen met getunede heuristieken, strikte completion semantics, en de scheiding tussen training/validatie/finale evaluatieblokken.
3. Counterfactueel Bewijs: Het genereert model-geconditioneerd bewijs met betrekking tot executiecontrole in AMM's, waarbij specifiek de impact van dynamische kosten op executiestrategieën wordt geïsoleerd.

4. Resultaten

De studie evalueert een kleine DQN tegen de benchmark ladder op het gereserveerde finale blok (1.000 seeds) onder forced completion.

• Prestatievoordeel: De DQN is de enige geëvalueerde policy waarvan de gepaarde verbetering ten opzien van een getunede one-step lookahead benchmark de nul uitsluit.
  • Agent-First Ordering: De DQN vermindert de implementation shortfall met 13,3 bps (basispunten) van de order notional vergeleken met de lookahead benchmark.
  • Agent-Last Ordering: Het voordeel is 14,9 bps.
  • Randomized Ordering: Het voordeel is 5,6 bps (het kleinste, maar nog steeds significant).
• Falen van Alternatieven:
  • Planning: Deterministische en stochastische shallow planners falen om de kloof met de lookahead benchmark te dichten. Hun prestaties zijn statistisch niet te onderscheiden van of zelfs slechter dan de getunede one-step lookahead.
  • Tabular Learning: Een 450-state tabular learner presteert slechter dan lookahead. Een 1.440-state tabular learner vertoont een gepaard verschil van -0,42 bps, maar de 95% betrouwbaarheidsinterval bevat nul.
• Attributie van Voordeel:
  • Het voordeel is geconcentreerd in dynamische-fee omgevingen. Onder constante kosten is het gepaarde verschil tussen de DQN en de heuristiek niet te onderscheiden van nul.
  • De DQN leert om trades te timen naar lage-fee staten en te routeren op basis van fee gaps, waarbij het de correlatie tussen goedkope quotes en lage kosten exploiteert.
• Robuustheid:
  • Het voordeel blijft bestaan over variaties in gas costs, arbitrage snelheid en noise intensiteit.
  • Transfer vs. Re-solving: Een bevroren policy getraind onder één ordering (bijv. agent-first) verliest zijn voordeel wanneer het wordt geëvalueerd onder een andere ordering (bijv. agent-last). Echter, het hertrainen van de DQN onder de nieuwe ordering herstelt het voordeel, wat aangeeft dat het verlies te wijten was aan een mismatch tussen policy en omgeving, en niet aan een gebrek aan exploiteerbare structuur.

5. Betekenis en Claims

Het paper is bescheiden in zijn reikwijdte en definieert expliciet wat de resultaten wel en niet ondersteunen:

• Wat het ondersteunt:

  • In de specifieke geconstrueerde omgeving kan model-free executiecontrole (DQN) sterke, getunede one-step routing heuristieken verslaan wanneer strikte completion wordt afgedwongen.
  • Het prestatievoordeel wordt specifiek geleerd van de structuur van dynamische kosten; het bestaat niet in omgevingen met constante kosten.
  • Shallow planning (deterministisch of stochastisch) is onvoldoende om de waarde van dynamic fee timing in deze setting te vatten.

• Wat het niet ondersteunt:

  • Historisch Gedrag: De resultaten zijn geen bewijs over hoe historische traders zich zouden gedragen, aangezien de data synthetisch is.
  • Inzetbare Winst: De resultaten bewijzen niet dat een ingezette strategie winstgevend zou zijn in een live markt, aangezien de simulator een minimale model is.
  • Equilibrium Play: De dynamische kostenregel wordt gebruikt als een closure principe om het milieu "zichzelf te laten verdedigen", niet als een certificering dat de kostenregel een Nash-evenwicht is.
  • LP Welvaart: Het paper claimt niet dat dynamische kosten optimaal zijn voor Liquidity Providers.

Conclusie:
Het paper demonstreert dat in een closed-loop markt met dynamische kosten, een model-free agent executiestrategieën kan leren die beter presteren dan heuristische lookaheads door gebruik te maken van variaties in de fee-staat. Dit voordeel is echter afhankelijk van de specifieke markt-dynamiek (dynamische kosten) en de afstemming tussen de trainingsomgeving van de agent en de executie-volgorde. Het werk dient als een proof-of-concept voor het gebruik van closed-loop simulatie om executiecontrole in AMM's te bestuderen, in plaats van een blauwdruk voor directe implementatie.