Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

技术摘要：针对动态费用环境下闭环 DEX 模拟器中执行任务的强化学习研究

1. 问题陈述

本文探讨了在评估面向交易者的自动化做市商（AMM）动态费用时面临的一个根本性限制。虽然动态费用被提议用于保护流动性提供者（LP），但历史数据无法确定订单流如何响应此类费用，原因如下：

1. 静态费用： 历史费用并未发生显著变化。
2. 潜在类型： 交易者类型和路由决策是不可观测的。
3. 非序列性质： 重放的历史行情记录并不构成一个动作能够影响未来状态的序列决策环境。

因此，反事实问题——例如“如果费用向不利于交易者的方向移动，订单流会如何反应？”——无法通过历史事件研究来回答。以往将强化学习（RL）应用于历史交易记录的尝试之所以失败，是因为行情记录缺乏一个依赖于动作的转移核（transition kernel）；智能体在重放过程中的动作无法改变随后的市场状态。

2. 方法论

为了克服历史数据中缺乏反事实信号的问题，作者构建了一个极简闭环模拟器，通过构造手段使信号存在。该方法论由严谨的评估规范而非特定的学习算法来定义。

市场模拟器：

• 结构： 两个恒定乘积池（Uniswap 系）和一个外部中心化交易所（CEX）。
• 智能体：
  • 执行智能体（Execution Agent）： 在有限的时间范围内交易目标订单。
  • 噪声交易者（Noise Traders）： 根据有效执行成本进行路由（基于成本的 softmax 分布）。
  • 套利者（Arbitrageur）： 每当有利可图（扣除 Gas 费后）时，以闭式解形式对 CEX-AMM 之间的价差进行平仓。
• 动态费用规则： 费用每步根据受均衡启发（纳什费用结构的线性化）进行重新定价。费用取决于：
  • 自身池子的库存失衡。
  • 竞争对手池子的状态。
  • 预言机价格差。
• 转移动力学： 该环境是一个有限时界的马尔可夫决策过程（MDP）。转移函数将智能体的动作与市场算子（费用更新、预言机更新、套利、噪声流）按固定的、声明的顺序进行组合。至关重要的是，智能体在步内（intra-step）的位置（例如，在套利之前还是之后行动）是一个显式的设计变量。

评估协议：

• 目标： 在强制终端完成规则（所有库存必须执行完毕，剩余库存在最后一步立即清算）下最小化实现缺口（Implementation Shortfall, IS）。
• 基准阶梯（Benchmark Ladder）： 研究并非仅对比单一基准，而是对比了一系列经过调优的启发式算法阶梯，以排除其他解释导致性能优势的可能性：
  • 调度基准（Schedule Baselines）： TWAP、最快清算、随机路由。
  • 前瞻（Lookahead）： 带有标记价值（mark-to-market）紧迫项的一步控制（作为未来成本的代理）。
  • 规划器（Planners）： 确定性 K 步等效规划器和随机展开（stochastic rollout）规划器。
  • 表格学习器（Tabular Learners）： 基于离散状态的在策略蒙特卡洛控制。
  • DQN： 带有函数近似的深度 Q 网络（Deep Q-Network）。
• 严格冻结： 所有超参数、基准调优和设计选择均在验证块上冻结。最终的标题结果完全源自一个从未在开发过程中使用的保留块（1,000 个种子）。

3. 核心贡献

1. 闭环模拟器构建： 本文提供了一个极简且可复现的模拟器，其中执行动作直接影响池子库存、报价和动态费用，从而创造了一个有效的序列决策环境。
2. 评估规范： 建立了一套评估闭环市场中无模型控制（model-free control）的协议，强调与调优启发式算法的配对比较、严格的完成语义，以及训练/验证/最终评估块的分离。
3. 反事实证据： 生成了关于 AMM 中执行控制的模型化证据，特别隔离了动态费用对执行策略的影响。

4. 结果

研究在强制完成条件下，针对保留的最终块（1,000 个种子），将小型 DQN 与基准阶梯进行对比。

• 性能优势： DQN 是唯一一个相对于调优后的一步前瞻（one-step lookahead）基准，其配对改进值排除零的评估策略。
  • 智能体优先排序（Agent-First Ordering）： 与前瞻基准相比，DQN 将实现缺口降低了 13.3 bps（基点）的订单名义金额。
  • 智能体滞后排序（Agent-Last Ordering）： 优势为 14.9 bps。
  • 随机排序（Randomized Ordering）： 优势为 5.6 bps（虽最小但仍显著）。
• 其他方案的失效：
  • 规划器： 确定性和随机性的浅层规划器未能缩小与前瞻基准的差距。其表现与调优后的一步前瞻在统计上是不可区分的，甚至更差。
  • 表格学习器： 一个 450 状态的表格学习器表现不如前瞻基准。一个 1,440 状态的表格学习器显示出 -0.42 bps 的配对差异，但其 95% 置信区间包含零。
• 优势归因：
  • 该优势集中在动态费用环境下。在恒定费用下，DQN 与启发式算法之间的配对差异与零不可区分。
  • DQN 学会了在低费状态下进行交易并根据费用差进行路由，从而利用了廉价报价与低费用之间的相关性。
• 鲁棒性：
  • 该优势在 Gas 成本、套利速度和噪声强度发生变化时依然存在。
  • 迁移 vs. 重解： 在一种排序（如智能体优先）下训练的冻结策略，在另一种排序（如智能体滞后）下评估时会失去其优势。然而，在新的排序下重新训练 DQN 可恢复该优势，这表明损失是由于策略与环境的不匹配，而非缺乏可利用的结构。

5. 意义与主张

本文的研究范围较为审慎，明确界定了其结果支持与不支持的内容：

• 支持的内容：

  • 在特定的构建环境中，在强制执行完成的情况下，无模型执行控制（DQN）可以超越强力的、经过调优的一步路由启发式算法。
  • 性能优势是专门从动态费用的结构中学习到的；在恒定费用环境下，该优势并不存在。
  • 浅层规划（确定性或随机性）不足以捕捉在此设置中动态费用定时（timing）的价值。

• 不支持的内容：

  • 历史行为： 由于数据是合成的，结果并非关于历史交易者如何行为的证据。
  • 部署盈利： 结果并未证明部署后的策略在真实市场中是盈利的，因为模拟器是一个极简模型。
  • 均衡博弈： 动态费用规则被用作一种闭合原则，使环境能够“自我防御”，而非作为该费用规则是纳什均衡的证明。
  • LP 福利： 本文并不声称动态费用对流动性提供者是最优的。

结论：
本文证明了在具有动态费用的闭环市场中，无模型智能体可以通过利用费用状态的变化，学习到优于启发式前瞻的执行策略。然而，这种优势取决于特定的市场动力学（动态费用）以及智能体训练环境与执行顺序的一致性。这项工作旨在作为使用闭环模拟来研究 AMM 执行控制的原理验证（proof-of-concept），而非直接部署的蓝图。