Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

技術要約：共整（コインテグレーション）に基づく暗号資産統計的裁定取引における、アセット・ユニバース設計とアクション・スペースの粒度に関する研究

問題提起
暗号資産市場は高いボラティリティと連続的な取引を提供しており、共整に基づく統計的裁定取引の機会を生み出している。しかし、深層強化学習（DRL）フレームワークの性能評価は、アルゴリズムの選択（例：DQN vs. PPO）のみに焦点を当て、アセット・ユニバースの構築やアクション・スペースの粒度を固定された二次的な前処理ステップとして扱う傾向がある。本研究は、これら2つの設計上の選択が性能を決定付ける極めて重要な要素であると仮定する。具体的には、合成裁定ポートフォリオの安定性と取引可能性が、選択されたアセット・ユニバースの経済的一貫性に依存するかどうか、また、エージェントにエクスポージャーの規模調整を許可すること（粒度の高いアクション）が、バイナリな全エクスポージャー決定と比較してリスク管理を改善するかどうかを調査する。

手法
本研究では、30分足のBinance USDT建て現物データを用いた、共整ベースのDRLフレームワークを採用している。実証設計は、ユニバースのサイズと経済的一貫性の影響をテストするために、4つの異なるアセット・ユニバースを中心に構成されている。

1. ベースライン14資産ユニバース： 標準的な14資産セットの複製。
2. 広域20資産ユニバース： スケーラビリティとノイズをテストするための拡張セット。
3. 決済系コイン6資産ユニバース： 決済指向のアセット（例：BTC, XRP, DOGE）に特化したサブセット。
4. レイヤー1プラットフォーム9資産ユニバース： ブロックチェーン・インフラストラクチャ資産に特化したセクター別サブセット。

実験フレームワーク：

• ポートフォリオ構築： 各取引シナリオにおいて、共整ベクトルを推定し、2つの合成ポートフォリオ（AおよびB）を構築するために、288観測値（6日間）の形成ウィンドウを使用する。これらのウェイトは、その後の48観測値（1日間）の取引ホライゾンにおいて固定される。
• DRLエージェント： DQN（Deep Q-Network）、PPO（Proximal Policy Optimization）、A2C（Advantage Actor–Critic）の3種類のエージェントを評価する。
• アクション・スペース：
  • バイナリ（二値）： エージェントはフル・ロングまたはフル・ショートのエクスポージャー（$a_t \in \{-1, 1\}$）を選択しなければならない。
  • グラニュラー（粒度あり）： エージェントは、フル、ハーフ、またはフラット（ノーポジション）のエクスポージャー（$a_t \in \{-1, -0.5, 0, 0.5, 1\}$）を選択できる。
• 報酬関数： 報酬はポートフォリオAとBの実現相対対数収益率に基づき、エクスポージャーの変化量（$\Delta a_t$）に比例する取引コストによってペナルティが課される。
• 評価： 戦略は、アウトオブサンプル・テスト（2024年12月～2025年5月）を用いて、非DRLの共整ベンチマーク（COIN）と比較される。堅牢性は、ランダムシード（42, 101, 202）にわたる評価によって検証される。

主な貢献

1. 設計変数としての資産ユニバース： 本研究は、アセット・ユニバースの選択を中立的な前処理ステップとしてではなく、核心的な経験的変数として扱う。これにより、アセット・セットの経済的一貫性が、共整関係の学習可能性に大きく影響することを実証する。
2. アクション・スペースの粒度分析： 同一の共整フレームワーク内でバイナリ・アクションとグラニュラー・アクションを直接比較し、部分的なエクスポージャー能力がリスク調整後パフォーマンスを向上させるのか、あるいは単に総収益を減少させるだけなのかを検証する。
3. シードレベルの堅牢性： 単一の実行結果の報告を超え、複数のランダムシードにわたって主要モデルを評価することで、確率的なトレーニングのアーティファクト（人工物）と安定したモデルの挙動を区別する。

実証結果

• アセット・ユニバースの影響： パフォーマンスはユニバースの設計に強く依存する。
  • 決済系コイン6 および ベースライン14 ユニバースが最も強力な結果を示した。決済系コイン・ユニバースでは、DQN（バイナリ）が**32.26%の総収益（シード42）を達成した。ベースライン14ユニバースでは、DQN（バイナリ）は30.24%**を記録した。
  • 広域20 ユニバースは、DRLエージェントにとって極めて成績が悪く（すべてマイナス収益）、非DRLのCOINベンチマーク（3.25%）がすべてのDRL戦略を上回った。
  • レイヤー1プラットフォーム9 ユニバースでは、ベンチマークを含め、すべての戦略でマイナス収益となった。
  • 結論： アセット・ユニバースを拡大することは、必ずしもパフォーマンスの向上につながらない。小さく経済的に一貫したユニバースの方が、より安定した共整シグナルを提供する。
• アクション・スペースの粒度の影響：
  • バイナリ・アクションは、最も強力な設定（例：決済系コインおよびベースライン14におけるDQN）において高い総収益を生み出した。これは、シグナルが強力な場合、全方向へのエクスポージャーが最適であることを示唆している。
  • グラニュラー・アクションは、普遍的に収益を増加させたわけではないが、より脆弱な環境においてリスク制御を大幅に改善した。これにより、シグナルがノイズの多いシナリオ（例：レイヤー1および広域20ユニバース）において、ドローダウンとターンオーバーを抑制することが可能となった。
• 堅牢性：
  • 結果は、確率的なトレーニングの変動に対して敏感である。決済系コインのDQN（バイナリ）は、シード間で平均16.50%のプラスを維持したが、収益の分散（ばらつき）が大きかった。
  • ベースライン14のDQN（バイナリ）が示したシード42での強力なパフォーマンスは、他のシードでは維持されず（平均収益はマイナスとなった）、単一の実行による成功は安定性を保証しないことを示している。

意義と主張
本論文は、暗号資産の統計的裁定取引におけるDRLの成功は、単なるアルゴリズムの優位性によるものではなく、共整構造、アセット・ユニバースの設計、アクション・スペースの仕様、およびトレーニングの安定性の相互作用から生じるものであると主張している。

• 研究者に対して： DRLを用いたトレーディングの評価においては、固定された設定における最適なアルゴリズムのみに焦点を当てるのではなく、アセット・ユニバースの設計、アクション・スペースの仕様、およびシード感度を報告すべきであると本研究は説いている。
• 実務家に対して： アセットの選択は、共整関係が学習可能であるかどうかを決定する主要なモデリング上の意思決定であることを示唆している。さらに、グラニュラーなアクション・スペースは、普遍的な収益向上策としてではなく、弱いシグナルや高い取引コストに対処するためのリスク管理メカニズムとして捉えるべきである。
• 総合的な結論： トレーディング環境の設計（ユニバースおよびアクション・スペース）は、DRLアルゴリズム自体と同じくらい重要である。DRLは好条件の設定（例：決済系コイン・ユニバースにおけるDQN）において価値を付加できるが、特に基礎となる資産間の関係がノイズが多い、あるいは不安定な場合には、古典的な共整ベンチマークを一律に上回るものではない。