Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

技術要約：動的な手数料が存在するクローズドループDEXシミュレータにおける実行のための強化学習

1. 問題提起

本論文は、トレーダー向けの動的な手数料（ダイナミック・フィー）を評価する際の根本的な限界に対処している。流動性提供者（LP）を保護するために提案されている動的な手数料であるが、以下の理由により、ヒストリカルデータからオーダーフローが手数料に対してどのように反応するかを判断することはできない：

1. 静的な手数料： ヒストリカルな手数料は、これまで大きく変動してこなかった。
2. 潜在的なタイプ： トレーダーのタイプやルーティングの決定は観測不能である。
3. 非逐次的性質： ヒストリカルなテープを再生しても、アクションが将来の状態に影響を与えるような、逐次的な意思決定環境にはならない。

したがって、「もし手数料がオーダーフローにとって不利に動いたら、オーダーフローはどう動くだろうか？」といった反事実的な問いに対し、ヒストリカルなイベントスタディによって答えることはできない。過去のトレーディング・テープに強化学習（RL）を適用しようとするこれまでの試みは、テープにアクション依存の遷移カーネルが存在しないために失敗してきた。つまり、リプレイ中のエージェントのアクションによって、その後の市場の状態を変えることができないのである。

2. メソドロジー

ヒストリカルデータにおける反事実的な信号の欠如を克服するため、著者らは、構造上、信号が存在するように設計された最小限のクローズドループ・シミュレータを構築した。この手法は、特定の学習アルゴリズムではなく、厳格な評価規律によって定義される。

市場シミュレータ：

• 構造： 2つの定数積プール（Uniswap系）と、外部の中央集権型取引所（CEX）。
• エージェント：
  • 実行エージェント： 有限のホライゾンにわたってターゲット・オーダーを取引する。
  • ノイズトレーダー： 実効的な実行コストに基づいてフローをルーティングする（コストに対するソフトマックス関数を使用）。
  • アービトラージャー： 収益性が（ガス代を差し引いても）プラスである場合、閉形式（closed-form）でCEXとAMMの価格差を解消する。
• 動的な手数料ルール： 手数料は、均衡に触発された閉鎖原理（ナッシュ手数料構造の線形化）に基づき、毎ステップ再価格設定される。手数料は以下に依存する：
  • 自プール内の在庫不均衡（インベントリ・インバランス）。
  • 競合プールの状態。
  • オラクル価格の乖離。
• 遷移ダイナミクス： 環境は有限ホライゾンのマルコフ決定過程（MDP）である。遷移関数は、エージェントのアクションを、市場オペレーター（手数料更新、オラクル更新、アービトラージ、ノイズフロー）と、固定された宣言済みの順序で合成する。極めて重要な点として、エージェントのステップ内でのポジション（例：アービトラージの前に行動するか後に行動するか）は、明示的な設計変数となっている。

評価プロトコル：

• 目的： 強制的な最終完了ルール（すべての在庫を実行しなければならず、最終ステップで残存在庫を即座に清算する）の下での実装ショートフォール（IS）の最小化。
• ベンチマーク・ラダー： 単一のベースラインではなく、代替的な説明を排除するために、調整されたヒューリスティックの「ラダー（梯子）」と比較を行う：
  • スケジュール・ベースライン： TWAP、最速清算、ランダム・ルーティング。
  • ルックアヘッド： 将来のコストをプロキシするマーク・トゥ・マーケットの緊急性項を用いた、調整済み1ステップ制御。
  • プランナー： 決定論的なKステップ確実等価プランナー、および確率的ロールアウト・プランナー。
  • 表形式学習（Tabular Learners）： 離散化された状態を用いたオンポリシー・モンテカルロ制御。
  • DQN： 関数近似を用いたDeep Q-Network。
• 厳格なフリーズ： すべてのハイパーパラメータ、ベースラインのチューニング、および設計上の選択は、検証ブロック上で凍結される。最終的な主要な結果は、開発中に一度も目にしたことのない、予約された1,000個のシードのみから導出される。

3. 主な貢献

1. クローズドループ・シミュレータの構築： 本論文は、エージェントの実行アクションがプールの在庫、クオート、および動的な手数料に直接影響を与える、再現可能な最小限のシミュレータを提供し、有効な逐次的決定環境を創出している。
2. 評価規律： 調整されたヒューリスティックとのペア比較、厳格な完了セマンティクス、および訓練・検証・最終評価ブロックの分離を強調することで、クローズドループ市場におけるモデルフリー制御を評価するためのプロトコルを確立した。
3. 反事実的証拠： 動的な手数料が実行戦略に与える影響を特定することにより、モデル条件付きの証拠を生成した。

4. 結果

研究では、強制完了の下、予約された最終ブロック（1,000シード）において、小さなDQNをベンチマーク・ラダーと比較評価している。

• パフォーマンスのエッジ： DQNは、調整済み1ステップ・ルックアヘッド・ベンチマークに対するペアでの改善がゼロを除外する、唯一の評価された方策である。
  • エージェント優先（Agent-First）の順序： DQNは、ルックアヘッド・ベンチマークと比較して、実装ショートフォールをオーダー名目の13.3 bps（ベーシスポイント）削減した。
  • エージェント最後（Agent-Last）の順序： エッジは14.9 bpsであった。
  • ランダム順序： エッジは5.6 bps（最小ではあるが、依然として有意）であった。
• 代替手法の失敗：
  • プランニング： 決定論的および確率的な浅いプランナーは、ルックアヘッド・ベンチマークとの差を埋めることに失敗した。彼らのパフォーマンスは、調整済み1ステップ・ルックアヘッドと統計的に区別がつかないか、それ以下であった。
  • 表形式学習： 450状態の表形式学習者はルックアヘッドよりも劣る性能を示した。1,440状態の表形式学習者は-0.42 bpsのペア差を示したが、95%信頼区間はゼロを含んでいた。
• エッジの帰属：
  • 優位性は動的な手数料環境に集中している。一定の手数料環境下では、DQNとヒューリスティックの間のペア差はゼロと区別がつかない。
  • DQNは、安いクオートと低い手数料の相関関係を利用して、手数料の低い状態に合わせて取引を行い、手数料のギャップに基づいてルーティングすることを学習している。
• 堅牢性：
  • エッジは、ガス代、アービトラージ速度、およびノイズ強度の変化に対しても持続する。
  • 転移 vs 再解決： ある順序（例：エージェント優先）の下で訓練され凍結された方策は、異なる順序（例：エージェント最後）の下で評価されると、そのエッジを失う。しかし、新しい順序の下でDQNを再訓練するとエッジが回復することから、この損失は、モデルフリーの構造の欠如ではなく、方策と環境のミスマッチによるものであることが示された。

5. 意義と主張

本論文は、その範囲を控えめに定義しており、結果が何を支持し、何を支持しないかを明確にしている：

• 支持するもの：

  • 特定の構築された環境において、厳格な完了が強制される場合、モデルフリーの実行制御（DQN）は、強力に調整された1ステップ・ルーティング・ヒューリスティックを上回ることができる。
  • パフォーマンスの優位性は、具体的に動的な手数料の構造から学習されたものであり、一定の手数料環境には存在しない。
  • 浅いプランニング（決定論的または確率的）は、この設定における動的な手数料のタイミングの価値を捉えるには不十分である。

• 支持しないもの：

  • ヒストリカルな挙動： 結果は、データが合成されたものであるため、ヒストリカルなトレーダーがどのように行動するかについての証拠ではない。
  • 展開可能な利益： 結果は、展開された戦略がライブ市場で利益を生むことを証明するものではない。なぜなら、シミュレータは最小限のモデルだからである。
  • 均衡プレイ： 動的な手数料ルールは、環境を「自衛」させるための閉鎖原理として使用されており、その手数料ルールがナッシュ均衡であることを証明するものではない。
  • LPの厚生： 本論文は、動的な手数料が流動性提供者（LP）にとって最適であると主張していない。

結論：
本論文は、動的な手数料を持つクローズドループ市場において、モデルフリーのエージェントが、手数料状態の変化を利用することで、ヒューリスティックなルックアヘッドを上回る実行戦略を学習できることを示している。しかし、この優位性は、特定の市場ダイナミクス（動的な手数料）および、エージェントの訓練環境と実行順序の一致に依存している。本研究は、即時の展開のためのブループリントではなく、AMMにおける実行制御を研究するための、クローズドループ・シミュレーションを使用するための概念実証として機能するものである。