Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

Résumé Technique : Apprentissage par Renforcement pour l'Exécution sous Frais Dynamiques dans un Simulateur de DEX en Boucle Fermée

1. Énoncé du Problème

L'article traite d'une limitation fondamentale dans l'évaluation des frais dynamiques face aux traders sur les Automated Market Makers (AMM). Bien que les frais dynamiques soient proposés pour protéger les fournisseurs de liquidité (LP), les données historiques ne permettent pas de déterminer comment le flux d'ordres réagit à de tels frais car :

1. Frais Statiques : Les frais historiques n'ont pas varié de manière significative.
2. Types Latents : Les types de traders et les décisions de routage sont inobservés.
3. Nature Non Séquentielle : La relecture de bandes historiques ne constitue pas un environnement de décision séquentiel où les actions influencent les états futurs.

Par conséquent, les questions contrefactuelles — telles que « que ferait le flux d'ordres si les frais évoluaient contre lui ? » — ne peuvent être répondues par des études d'événements historiques. Les tentatives précédentes d'appliquer l'Apprentissage par Renforcement (RL) aux bandes de trading historiques ont échoué car la bande ne possède pas de noyau de transition dépendant de l'action ; l'action d'un agent dans une relecture ne peut pas modifier l'état ultérieur du marché.

2. Méthodologie

Pour surmonter l'absence de signaux contrefactuels dans les données historiques, les auteurs construisent un simulateur minimal en boucle fermée où le signal existe par construction. La méthodologie est définie par une discipline d'évaluation rigoureuse plutôt que par un algorithme d'apprentissage spécifique.

Le Simulateur de Marché :

• Structure : Deux pools à produit constant (de lignée Uniswap) et un échange centralisé (CEX) externe.
• Agents :
  • Agent d'Exécution : Trade un ordre cible sur un horizon fini.
  • Noise Traders (Traders de Bruit) : Routent le flux en fonction des coûts d'exécution effectifs (softmax sur le coût).
  • Arbitragiste : Ferme les écarts CEX-AMM de manière analytique dès que c'est profitable (moins les frais de gaz).
• Règle de Frais Dynamiques : Les frais sont reprécifiés à chaque étape selon une clôture inspirée de l'équilibre (linéarisation des structures de frais de Nash). Les frais dépendent de :
  • L'déséquilibre d'inventaire du propre pool.
  • L'état du pool rival.
  • L'écart de prix de l'oracle.
• Dynamiques de Transition : L'environnement est un processus de décision de Markov (MDP) à horizon fini. La fonction de transition compose l'action de l'agent avec les opérateurs de marché (mise à jour des frais, mise à jour de l'oracle, arbitrage, flux de bruit) dans un ordre fixe et déclaré. Crucialement, la position intra-étape de l'agent (par exemple, agir avant ou après l'arbitrage) est une variable de conception explicite.

Protocole d'Évaluation :

• Objectif : Minimiser l'Implementation Shortfall (IS) sous une règle de complétion terminale forcée (tout l'inventaire doit être exécuté, l'inventaire résiduel étant liquidé immédiatement à l'étape finale).
• Échelle de Référence (Benchmark Ladder) : Au lieu d'une simple ligne de base, l'étude compare les apprenants à une « échelle » d'heuristiques ajustées pour exclure toute explication alternative de la performance :
  • Baselines de Programmation (Schedules) : TWAP, liquidation la plus rapide, routage aléatoire.
  • Lookahead (Anticipation) : Contrôle optimisé à un pas avec un terme d'urgence de marquage au prix (proxy pour les coûts futurs).
  • Planneurs : Planificateurs déterministes à K-étapes à équivalence de certitude et planificateurs de rollouts stochastiques.
  • Apprenants Tabulaires : Contrôle Monte Carlo on-policy avec états discrétisés.
  • DQN : Deep Q-Network avec approximation de fonction.
• Gel Rigoureux : Tous les hyperparamètres, l'ajustement des baselines et les choix de conception sont gelés sur un bloc de validation. Les résultats finaux sont dérivés exclusivement d'un bloc réservé de 1 000 graines (seeds) n'ayant jamais été vues durant le développement.

3. Contributions Clés

1. Construction d'un Simulateur en Boucle Fermée : L'article fournit un simulateur minimal et reproductible où les actions d'exécution influencent directement l'inventaire du pool, les cotations et les frais dynamiques, créant ainsi un environnement de décision séquentiel valide pour le RL.
2. Discipline d'Évaluation : Il établit un protocole pour évaluer le contrôle sans modèle (model-free) dans des marchés en boucle fermée, en mettant l'accent sur les comparaisons appariées avec des heuristiques ajustées, des sémantiques de complétion strictes et la séparation des blocs d'entraînement, de validation et d'évaluation finale.
3. Preuve Contrefactuelle : Il génère des preuves conditionnées par le modèle concernant le contrôle de l'exécution dans les AMM, isolant spécifiquement l'impact des frais dynamiques sur les stratégies d'exécution.

4. Résultats

L'étude évalue un petit DQN par rapport à l'échelle de référence sur le dernier bloc réservé (1 000 graines) sous complétion forcée.

• Avantage de Performance : Le DQN est la seule politique évaluée dont l'amélioration appariée par rapport à une référence de lookahead ajustée exclut zéro.
  • Agent-First Ordering (Ordre de l'agent en premier) : Le DQN réduit l'Implementation Shortfall de 13,3 bps (points de base) du notionnel de l'ordre par rapport à la référence de lookahead.
  • Agent-Last Ordering (Ordre de l'agent en dernier) : L'avantage est de 14,9 bps.
  • Randomized Ordering (Ordre aléatoire) : L'avantage est de 5,6 bps (le plus faible mais toujours significatif).
• Échec des Alternatives :
  • Planification : Les planificateurs superficiels (déterministes ou stochastiques) échouent à combler l'écart avec la référence de lookahead. Leur performance est statistiquement indiscernable ou pire que celle du lookahead ajusté.
  • Apprentissage Tabulaire : Un apprenant tabulaire à 450 états performe moins bien que le lookahead. Un apprenant à 1 440 états montre une différence appariée de -0,42 bps, mais l'intervalle de confiance à 95 % contient zéro.
• Attribution de l'Avantage :
  • L'avantage est concentré dans les environnements à frais dynamiques. Sous des frais constants, la différence appariée entre le DQN et l'heuristique est indiscernable de zéro.
  • Le DQN apprend à temporiser les transactions dans des états de faibles frais et à router en fonction des écarts de frais, exploitant la corrélation entre les cotations peu coûteuses et les faibles frais.
• Robustesse :
  • L'avantage persiste à travers les variations des coûts de gaz, de la vitesse d'arbitrage et de l'intensité du bruit.
  • Transfert vs Re-résolution : Une politique gelée entraînée sous un ordre (ex: agent-first) perd son avantage lorsqu'elle est évaluée sous un autre ordre (ex: agent-last). Cependant, le réentraînement du DQN sous le nouvel ordre restaure l'avantage, indiquant que la perte était due à un désalignement entre la politique et l'environnement plutôt qu'à un manque de structure exploitable.

5. Signification et Revendications

L'article est modeste dans sa portée, définissant explicitement ce que les résultats soutiennent et ne soutiennent pas :

• Ce qu'il Soutient :

  • Dans l'environnement spécifique construit, le contrôle d'exécution sans modèle (DQN) peut surpasser de fortes heuristiques de routage de type lookahead lorsqu'une complétion stricte est imposée.
  • L'avantage de performance est appris spécifiquement de la structure des frais dynamiques ; il n'existe pas dans les environnements à frais constants.
  • La planification superficielle (déterministe ou stochastique) est insuffisante pour capturer la valeur du timing des frais dynamiques dans ce contexte.

• Ce qu'il Ne Soutient Pas :

  • Comportement Historique : Les résultats ne sont pas une preuve de la façon dont les traders historiques se comporteraient, car les données sont synthétiques.
  • Profit Déployable : Les résultats ne prouvent pas qu'une stratégie déployée serait rentable dans un marché réel, car le simulateur est un modèle minimal.
  • Jeu d'Équilibre : La règle de frais dynamiques est utilisée comme un principe de clôture pour faire en sorte que l'environnement « se défende lui-même », et non comme une certification que la règle de frais est un équilibre de Nash.
  • Bien-être des LP : L'article ne prétend pas que les frais dynamiques sont optimaux pour les fournisseurs de liquidité.

Conclusion :
L'article démontre que dans un marché en boucle fermée avec des frais dynamiques, un agent sans modèle (DQN) peut apprendre des stratégies d'exécution qui surpassent les heuristiques de lookahead ajustées en exploitant les variations d'états de frais. Cependant, cet avantage est tributaire de la structure spécifique du marché (frais dynamiques) et de l'alignement entre l'environnement d'entraînement de l'agent et l'ordre d'exécution. Ce travail sert de preuve de concept pour l'utilisation de la simulation en boucle fermée pour étudier le contrôle de l'exécution dans les AMM, plutôt que comme un plan de déploiement immédiat.