Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study

1. 問題設定 (Problem)

• 背景: 従来の平均・分散ポートフォリオ理論（Markowitz 1952）は、資産リターンの期待値と共分散行列を正確に推定する必要があります。しかし、特に期待リターンは推定が極めて困難であり、推定誤差がポートフォリオの最適解に大きな影響を与える（感度が高い）ことが知られています。
• 課題: 動的な市場環境において、モデルのパラメータ（ドリフトやボラティリティなど）を事前に推定せず、あるいは推定を避けて、直接的に最適な投資戦略を学習する手法の確立。
• 環境:
  • 株価と市場要因（ファクター）は観測可能な拡散過程（Itô の拡散過程）に従うが、その係数（ドリフト、拡散係数）は未知。
  • 投資家は「モデルフリー」であり、市場の確率分布モデルを構築せず、観測データ（価格、要因、富のプロセス）のみに基づいて意思決定を行う。
  • 投資家は価格受容者（Price Taker）であり、自身の取引が市場価格に影響を与えないと仮定。

2. 手法とアルゴリズム (Methodology)

論文は、Wang et al. (2020) や Jia and Zhou (2022a,b) によって確立された連続時間 RL の一般理論を MV 問題に適用・拡張しています。

A. 基本的な枠組み

• 確率的方策（Stochastic Policy）: 探索（Exploration）を促進するため、決定論的なポートフォリオではなく、状態（時間、富、要因）から行動（ポートフォリオ配分）の確率分布を出力する確率的方策 $\pi$ を用います。
• エントロピー正則化: 目的関数にエントロピー項を追加し、探索を強制します。
  $$\mathbb{E}\left[ -\left(X_T^\pi - w\right)^2 + \gamma \int_0^T \log \pi(u_t^\pi | t, X_t^\pi, F_t) dt \right] - (w-z)^2$$
  ここで、$\gamma$ は温度パラメータ（探索の重み）、$w$ はラグランジュ乗数（期待リターンの制約）、$z$ は目標リターンです。
• Actor-Critic 学習:
  1. Policy Evaluation (Critic): 観測データに基づき、価値関数 $J$ を学習します。これは、あるマルティンゲール条件（確率過程の性質）を満たすようにパラメータを更新するアプローチ（時系列差分学習の連続時間版）を用います。
  2. Policy Gradient (Actor): 学習された価値関数を用いて、方策のパラメータを勾配法で更新します。
  3. Lagrange Multiplier Update: 期待リターンの制約を満たすように $w$ も同時に学習します。

B. Black-Scholes 市場における具体的アルゴリズム (CTRL)

理論的保証を得るため、ファクターを含まない多変量 Black-Scholes 環境（幾何ブラウン運動）に特化したアルゴリズム「CTRL」を提案しました。

• 関数近似の構造: 理論的な最適解の形にヒントを得て、価値関数と方策を特定の関数形（多項式と正規分布）でパラメータ化します。
  • 方策：$\pi(\cdot | t, x) \sim \mathcal{N}(-\phi_1(x-w), \phi_2 e^{\phi_3(T-t)})$
  • 価値関数：$J(t, x) = (x-w)^2 e^{-\theta_3(T-t)} + \dots$
• 更新則: 観測された富の軌跡と、上記の関数形に基づき、パラメータ $\theta, \phi, w$ を確率近似アルゴリズム（Stochastic Approximation）を用いて反復更新します。

3. 主要な貢献 (Key Contributions)

1. モデルフリーな連続時間 MV 問題への RL 適用:
   市場パラメータを推定せず、直接的に戦略を学習する一般的手順を提案しました。これは従来の「推定して最適化（Plug-in）」アプローチとは根本的に異なります。
2. サブリニア後悔（Sublinear Regret）の理論的証明:
   Black-Scholes 環境において、学習アルゴリズムが収束し、シャーレ比率（Sharpe Ratio）に基づく後悔がサブリニア（$\sqrt{N}$ のオーダー）に抑えられることを証明しました。
   • これは、モデルフリー連続時間 RL における MV 問題での初めての後悔分析結果です。
   • 学習期間が長くなれば、アルゴリズムは完全な市場知識を持つ「オラクル（Oracle）」に近い性能を達成することを保証します。
3. 包括的な実証研究:
   S&P 500 構成銘柄（2000-2020 年）を用いた大規模な実証分析を行いました。
   • 比較対象：市場ポートフォリオ、等重み、サンプルベース MV、Black-Litterman、ファクターモデル、他の RL アルゴリズム（DDPG, PPO）など 13 手法。
   • 評価指標：リターン、シャーレ比率、最大ドローダウン、回復時間、取引コスト、破産確率など多角的な指標。

4. 実証結果 (Results)

• 性能の優位性:
  • 提案された CTRL アルゴリズムは、年間リターン、シャーレ比率、ソルティノ比率、カルマー比率のすべての指標で、比較対象の 13 手法の中で最も高いパフォーマンスを示しました。
  • 特に、ボラティリティが高く、下落相場（ベアマーケット）において顕著な優位性を発揮しました。2008 年の金融危機などの局面でも、他の手法に比べて回復時間が短く、破産確率が低く抑えられました。
• モデルベース手法との比較:
  • 従来のモデルベース（パラメータ推定後、最適化）の連続時間 MV 手法（ctmv）は、推定誤差の影響を受け、リターンがマイナスになるなど極めて不安定でした。
  • CTRL はモデル推定を回避するため、この「推定誤差の感度」の問題を根本的に解決し、安定した高いパフォーマンスを実現しました。
• 取引特性:
  • 取引頻度（Turnover）が最も低く、取引コストの影響を受けにくい構造を持っています。
  • ポジションの集中度（MaxL/MaxS）が低く、レバレッジも適切に管理されており、実用性が高いことが示されました。
• ロバスト性:
  • 学習率や温度パラメータなどのハイパーパラメータを変化させても、パフォーマンスは安定しており、微調整に依存しない堅牢な手法であることが確認されました。

5. 意義と結論 (Significance)

• パラダイムシフト: この研究は、金融意思決定において「モデルを学習して最適化する」従来のアプローチから、「モデルを学習せず、直接最適方策を学習する（Learn to Optimize without Learning the Model）」という新しいパラダイムへの転換を示唆しています。
• 理論と実証の融合: 連続時間 RL における数学的に厳密な後悔分析（理論）と、実市場データによる大規模な実証研究（実証）を両立させた点に大きな意義があります。
• 実用性: 複雑なニューラルネットワークや多数の予測因子を使わずとも、RL の「探索と利用のバランス」と「モデルフリー学習」の原理によって、従来手法を凌駕するポートフォリオ戦略が構築できることを実証しました。

結論:
提案された連続時間 RL 戦略（CTRL）は、市場パラメータの推定誤差に悩まされることなく、動的な市場環境において、特に不安定な局面で優れたリスク調整後リターンを実現する、理論的に裏付けられた強力なポートフォリオ選択手法です。