💰 quantitative finance

Data-Driven Merton's Strategies via Policy Randomization

不完全市場におけるモデルパラメータが未知のミルテン問題に対し、ガウス分布に基づくポリシーのランダム化を介した連続時間強化学習アプローチを提案し、モデル推定なしにデータ駆動型の最適戦略を学習するアルゴリズムを開発し、その有効性をシミュレーションおよび実証研究で実証した。

原著者： Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

公開日 2026-02-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 従来の方法：完璧なレシピを探す「プラグイン方式」

昔からある投資のやり方は、**「まず市場のルール（レシピ）を完璧に推測し、その通りに料理を作る」**というものです。

状況: 市場という巨大なキッチンがあります。株価は食材、金利は調味料、そして「期待リターン（どれくらい儲かるか）」は隠された魔法のスパイスです。
問題点: この「魔法のスパイス」の量（期待リターン）を正確に測るのは、歴史データがいくらあっても不可能に近いと言われています。
失敗の理由:
- レシピ（モデル）の推測が少し間違っていると、出来上がる料理（投資戦略）は**「毒入り」になったり、「火事」**（破綻）になったりします。
- 市場は常に変わるので、過去のレシピが明日も通用する保証はありません。
- これを**「推定して、つなぎ合わせる（Plug-in）」**方式と呼びます。

2. この論文の新しい方法：試行錯誤で学ぶ「強化学習（RL）」

この論文は、**「レシピ（市場の法則）を推測する必要なんてない！直接、美味しい料理を作る『コツ』をデータから学べばいい」**と言っています。

ここで登場するのが**「強化学習（Reinforcement Learning）」**という AI の技術です。

鍵となるアイデア：「あえてランダムに振る舞う（ポリシーのランダム化）」

通常、AI が何かを学ぶとき、**「あえて失敗するかもしれない行動（ランダムな行動）」**を繰り返して、環境の反応を学びます（これを「探索」と呼びます）。

従来の疑問: 「株価は外部的なもので、自分がどう動こうが市場は変わらない。だから、あえて失敗するランダムな投資をする必要はないのでは？」という疑問がありました。
この論文の発見:
- 小規模な投資家（価格を受け入れるだけの存在）にとって、ランダムな行動は「情報収集」のためではなく、**「数学的なテクニック」**として使えます。
- 例え話:
  - 従来の方法は、「完璧な地図（モデル）を描こうとして、地図の誤差に悩む」こと。
  - この論文の方法は、**「あえて少しふらふら歩きながら（ランダム化）、目的地への最短ルート（最適戦略）を直接見つける」**ことです。
- 驚くべきことに、この「ふらふら歩き」の平均的な動きが、実は「完璧な地図」から導き出される最も賢い動きと全く同じになることが数学的に証明されました。

3. なぜこれがすごいのか？（メリット）

この新しい AI 方式は、以下の点で従来の方法に勝ります。

レシピ不要（モデルフリー）:
- 市場の複雑な数式（期待リターンや変動率の公式）を知らなくても大丈夫です。過去の株価データさえあれば、AI が「これだ！」という戦略を自分で見つけ出します。
頑丈さ（ロバスト性）:
- 従来の方法は、市場が少し変わっただけで戦略が破綻しましたが、この AI は**「市場の変化に即座に適応」**します。
- 実験では、従来の方法が「大暴落」で資産を大きく減らす中、この AI 方式は**「損失が小さく、回復も早い」**ことが示されました。
データが少ないときでも強い:
- 従来の方法は大量のデータが必要ですが、この AI は少ないデータでも、ランダムな試行錯誤を上手に利用して、すぐに良い戦略を学びます。

4. 実証実験の結果

シミュレーション: 人工的に作った市場データでテストしたところ、従来の方法よりも高いリターンと低いリスクを実現しました。
実市場データ（S&P500）: 実際の米国株式市場のデータ（1990 年〜2025 年）でテストしました。
- 結果: 従来の方法や「ただ買い続けて待つ（バリュー投資）」戦略よりも、**「リスク調整後のリターン」が圧倒的に高く、暴落時の「回復期間」**が圧倒的に短かったのです。

まとめ

この論文が伝えたかったことは、**「投資の天才になるために、市場の『法則』を完璧に理解する必要はない」**ということです。

代わりに、**「データという経験則から、AI に『試行錯誤（ランダム化）』を通じて直接、最適な投資の『勘』を学ばせる」**というアプローチが、現実の複雑で予測不可能な市場において、最も賢く、強靭な解決策であることを示しました。

一言で言えば：

「完璧な地図を描こうと悩むより、AI に『あえて迷いながら』目的地を目指させれば、結果的に一番近道が見つかる」という、投資の新しい哲学です。

この論文「Data-Driven Merton's Strategies via Policy Randomization（方策のランダム化によるデータ駆動型メルトン戦略）」は、不完全市場におけるメルトンの期待効用最大化問題を、モデルの構造（パラメータや関数形）を知らずに、データ駆動型で解決する新しいアプローチを提案しています。

以下に、論文の技術的な要点を日本語で詳細にまとめます。

1. 研究の背景と問題設定

従来のアプローチ（プラグイン法）: 従来の金融工学では、「推定」と「最適化」を分離するアプローチが主流でした。まず歴史的データから市場パラメータ（期待リターン、ボラティリティなど）を統計的に推定し、その推定値をメルトンの最適化問題に代入して解を求めます。
- 課題: 金融市場では期待リターンの推定には膨大なデータが必要であり、市場の非定常性により推定誤差が生じやすいです。さらに、メルトン戦略はパラメータに対して極めて敏感であるため、小さな推定誤差が最適ポートフォリオに大きな誤差として増幅され、実用的でない戦略を生むことがあります。
本研究の課題: 市場モデルの関数形（ドリフトや拡散項の具体的な形式）が未知であり、かつ推定できない状況下で、どのようにして最適な投資戦略を導出するか。
投資家の仮定: 価格受容者（小口投資家）であり、市場価格プロセス、ファクタープロセス、および瞬時ボラティリティ（VIX などで近似可能と仮定）のみを観測可能。モデルパラメータは未知。

2. 提案手法：方策のランダム化と補助問題

本研究の核心は、**「方策のランダム化（Policy Randomization）」**を単なる探索（Exploration）の手段ではなく、技術的なツールとして用いる点にあります。

補助問題の定式化:
- 元の決定論的なメルトン問題（4）に対し、投資家がガウス分布に従ってポートフォリオ比率をランダムに選択する「ランダム化方策」を許容する**補助問題（7）**を定義します。
- 具体的には、分散が $\frac{\lambda}{\gamma \sigma^2}$ に比例するガウス分布 $\mathcal{N}(u, \frac{\lambda}{\gamma \sigma^2})$ を用います。ここで $\lambda$ は温度パラメータ（ランダム性の強さ）、 $\gamma$ はリスク回避度、 $\sigma$ はボラティリティです。
理論的基盤（定理 1）:
- このランダム化された補助問題の最適方策の**平均（Mean）**が、元の決定論的なメルトン問題の最適解と一致することを証明しました。
- これにより、モデルパラメータを推定することなく、ランダム化方策を学習することで、元の最適戦略を復元できることが保証されます。
ランダム化の必要性:
- 小口投資家の場合、市場への影響がないため「探索」による情報獲得のメリットはありません。しかし、本研究では、ランダム化が学習信号（勾配推定）の分散を制御し、アルゴリズムの収束を可能にするという技術的な必要性を指摘しています。決定論的な方策（ $\lambda=0$ ）では、学習信号の分散が無限大になり、更新が不可能になります。

3. 数理的アプローチとアルゴリズム

連続時間強化学習（Continuous-time RL）:
- Wang et al. (2020) や Jia and Zhou (2022, 2023) が構築した連続時間 RL の枠組みを適用します。
- Actor-Critic アルゴリズム:
  - Critic（評価）: 現在のランダム化方策における価値関数（Value Function）を学習します。
  - Actor（方策）: 価値関数に基づいて方策を改善します。
- 定理 2 と 3: 価値関数と方策関数が特定の構造（CRRA 効用関数の同次性を利用した変換）を持つことを示し、これらをデータから学習するためのマルティンゲール直交条件（Martingale Orthogonality Conditions）を導出しました。これにより、モデルフリーな勾配推定が可能になります。
温度パラメータ $\lambda$ のトレードオフ:
- $\lambda$ が大きいと学習信号の分散（ノイズ）は小さくなりますが、ランダム化による効用損失（Equivalent Relative Wealth Loss）は大きくなります。
- $\lambda$ が小さいと逆の現象が起きます。
- 定理 4 では、適切な $\lambda$ と学習率の下で、アルゴリズムが最適解に収束し、その収束率が $O(n^{-1} \log n)$ であることを証明しました。

4. 数値実験と実証結果

シミュレーション（合成データ）:
- 3/2 モデル（非線形確率ボラティリティモデル）を用いたシミュレーションを行いました。
- 結果: 提案された RL アルゴリズム（特に理論的な構造を反映させたパラメトリック形式）は、従来の「推定＋プラグイン法（Est-SV）」や「経験的リスク最小化（ERM）」、そして「買い持ち（Buy-and-Hold）」を凌駕しました。
- ノイズ耐性: 観測ボラティリティにノイズが含まれる場合、従来のプラグイン法は推定誤差により戦略が破綻しましたが、RL 手法はモデルパラメータを直接推定しないため、極めてロバストに機能しました。
実証分析（実市場データ）:
- S&P 500 指数と VIX（ボラティリティ指数）を用いて、1990 年から 2025 年までのデータで検証を行いました。
- 結果: RL 手法（特にニューラルネットワークを用いたもの）は、シャープレシオ、ドローダウン、回復時間などのすべての指標で他手法を上回りました。
- 特に、2000 年代のバブル崩壊や 2008 年の金融危機のような暴落局面において、RL 戦略は市場の変化を素早く検知し、リスク資産の比率を適切に調整して損失を抑制しました。一方、プラグイン法は過去のデータに基づいた推定パラメータに固執し、適応が遅れました。

5. 主な貢献と意義

理論的革新:
- 小口投資家の設定において、RL（特に方策のランダム化）が「探索」の役割を超え、決定論的な方策では解けない問題を技術的に解決するツールとして機能することを初めて示しました。
- ランダム化方策の平均が元の最適解と一致することを証明し、モデルフリーなメルトン戦略の正当性を確立しました。
実用的価値:
- 市場モデルの特定やパラメータ推定を不要とし、推定誤差による戦略の破綻（Blow-up）を防ぐ、堅牢な投資手法を提供しました。
- 連続時間 RL の理論を実際のポートフォリオ選択問題に応用する最初の試みの一つであり、その有効性を実証しました。
学術的意義:
- 金融工学と強化学習の融合において、モデルフリーなアプローチが持つ可能性を明確に示し、従来の「推定と最適化の分離」というパラダイムへの新たな視点を提供しました。

結論

この論文は、市場モデルが不完全にしか理解できない現実的な状況下において、方策のランダム化を活用した連続時間強化学習アルゴリズムが、従来のモデルベース手法よりも優位に立ち、よりロバストで高性能な投資戦略を導出できることを示しました。これは、金融意思決定における AI/ML の応用における重要な進展です。