Zero-shot adaptation to order book dynamics

技術的サマリー：オーダーブックダイナミクスへのゼロショット適応

問題定義
古典的な Avellaneda–Stoikov（AS）マーケットメイキングモデルは、ボラティリティ、注文到達強度、在庫リスク回避、時間 horizon といった少数の解釈可能なパラメータに基づき、高速かつ構造的に頑健な枠組みを提供します。しかし、これらのモデルは通常、事前に定義された固定された目的関数に依存しています。市場レジームが変化したり、取引目的（望ましい在庫目標、リスク許容度、または逆選択ペナルティなど）が変わったりした場合、モデルは手動での再解釈または再較正を必要とします。本論文は、モデル全体を再学習することなく、また AS 枠組みの解析的構造を放棄することなく、市場条件に基づいてリアルタイムで取引目的を調整できる適応メカニズムの必要性に対処します。

方法論
提案されたアーキテクチャは、市場ダイナミクスと取引目的を分離し、ゼロショット強化学習（特に Forward-Backward 表現）に触発された「successor measure 風」の適応メカニズムを利用します。システムは以下の 3 つの主要コンポーネントを通じて動作します。

1. 市場状態推定（$\xi_t$）:
   現在のリミットオーダーブックの状態（$L_t$）を、Avellaneda–Stoikov パラメータの低次元ベクトル $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$ にマッピングします。これらのパラメータは、ボラティリティ、注文到達強度、および局所的な逆選択コストを含む局所的な市場ダイナミクスを支配します。古典的モデルではこれらが固定されるのに対し、ここではオーダーブックから動的に推論されます。

2. 適応的目的推定（$z_t$）:
   固定された報酬関数の代わりに、モデルは最近の実現報酬（$W_t$）のローリングウィンドウから低次元の目的ベクトル $z_t$ を推定します。報酬は、結果の特性の線形関数としてモデル化されます：$r = z^\top \phi(s, a, s')$。ここで、$\phi$ には損益、次の在庫、在庫の二乗、および逆選択コストが含まれます。
   目的ベクトルは、過去の状態 - 行動対を報酬座標空間にマッピングする backward 表現 $B_\psi$ を用いて推定されます。推定値は、実現報酬の加重期待値として計算されます：
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   これにより、モデルはデータから直接、現在の市場の「報酬方向」（例えば、在庫蓄積に対して報酬を与えているのか、逆選択に対してペナルティを課しているのか）を推論できます。

3. HJB 前方表現とスカラー化:
   中核的な価値オブジェクトは、与えられた目的 $z$ に対する最適方策下での期待将来報酬特性を表すベクトル値 Hamilton-Jacobi-Bellman（HJB）前方表現、$F_{HJB}(q, \tau, a, z; \xi)$ です。
   スカラー行動価値は、このベクトルを現在の適応的目的に射影することで得られます：
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   方策 $\pi_{z_t}$ は、このスカラー値を最大化することで導出されます。閉形式の実装において、これは古典的な AS と同様の見積もり規則をもたらしますが、継続値 $h_t(q)$ は推論された目的 $z_t$ に対して特に計算されます：
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   （ask 側についても同様に適用されます）。

主な貢献

• 適応的 AS 枠組み: 本論文は、Avellaneda–Stoikov モデルの解析的速度と解釈可能性を維持しつつ、固定された目的をデータ駆動型の適応ベクトルに置き換える手法を導入します。
• ダイナミクスと目標の分離: 市場ダイナミクス（パラメータ $\xi_t$）と取引目標（ベクトル $z_t$）を分離できることを実証します。ダイナミクスはオーダーブックから推論され、目標は実現報酬から推論されます。
• ゼロショット適応: このアプローチにより、モデルはレジームや目的の変化に再学習なしで適応でき、実質的にマーケットメイキング目的に対するゼロショット学習器として機能します。
• 閉形式解: 著者は、適応的目的を標準的な AS 構造に統合する閉形式の見積もり規則を導出しており、これによりモデルは計算効率を維持します。

実験結果
著者は、再構築された BTCUSDT リミットオーダーブックデータセット上で、提案された「Rolling FB-AS HJB」戦略を 2 つのベースラインと比較評価しました。

1. 固定レイテンシの Guéant–Lehalle–Fernandez-Tapia（GLFT）戦略。
2. 固定レイテンシの Avellaneda–Stoikov 戦略。

知見:

• パフォーマンス: 両方のベースライン戦略（GLFT グリッドおよび AS グリッド）は、評価ウィンドウにおいて負のリターンと高いドローダウンを生み出しました。これに対し、Rolling FB-AS HJB 戦略は正のリターン（0.002167）を達成し、シャープレシオもベースラインの負の値に対して著しく高い値（28.57）を示しました。
• リスク管理: 適応的戦略は、ベースライン（約 0.0027–0.0028）と比較して、大幅に低い最大ドローダウン（0.000947）を示しました。
• 取引頻度: 適応的戦略はベースライン（1 日あたり約 4500–4600 回）よりも著しく頻度の低い取引（1 日あたり 477.85 回）を行いました。これは、適応的目的と有限 horizon HJB 選択が、ノイズの多い条件における過剰取引に対するフィルターとして機能していることを示唆しています。

意義と主張
本論文は、「解析的マーケットメイキングと表現ベースの強化学習の間の解釈可能な架け橋」を提供すると主張しています。Avellaneda–Stoikov のダイナミクスを物理的コアとして維持し、低次元の目的ベクトルのみを適応させることで、この枠組みは深層強化学習の「ブラックボックス」性を回避しつつ、ゼロショット適応の柔軟性を獲得します。

著者は、結果がネイティブな取引所データではなく、再構築されたデータと近似した約定帰属を用いた「制御されたシミュレーション研究」から得られたものであると指摘し、主張には謙虚さを保っています。彼らは、本番環境での実装にはネイティブなイベントデータ、約定確率のより強力な較正、およびより詳細なコストモデリングが必要であると認めています。しかし、この研究は、同一のバックテスト条件の下で、適応的見積もり規則が固定目的のベースラインとは根本的に異なり、より頑健に動作することを示しています。