Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

技術要約：行動ファイナンスと堅牢なエージェント型DRLによるポートフォリオ選択の架け橋

問題提起
金融市場は、動的なボラティリティ、マクロ経済ショック、および従来のポートフォリオ最適化モデルでは捉えきれない重大な行動的反応を特徴としている。標準的な強化学習（RL）アルゴリズムを含む従来のアプローチは、通常、リターンに基づいた報酬構造に依存している。これらの構造は、損失回避、利得と損失に対する非対称な反応、および市場状態に内在する不確実性といった、極めて重要な投資家の特性を見落としがちである。その結果、標準的なRLエージェントは、揮発的な条件下での汎化に苦しみ、タイミングの誤り、過度なリスクテイク、あるいは市場の混乱期における早すぎる撤退を招く可能性がある。既存の文献には、摂動ベースの堅牢性とプロスペクト理論に着想を得た行動モデリングを、ポートフォリオ管理のための統一されたRLアーキテクチャ内に体系的に統合することに関する明確な空白が存在する。

手法
本研究は、摂動ベースの堅牢な学習と行動的報酬形成という2つの主要なメカニズムを通じて、近接方策最適化（PPO）アルゴリズムを拡張した新しい計算フレームワーク、RPPO-MPTを提案する。ポートフォリオ選択問題は、15銘柄の米国大型株を含むマルコフ決定過程（MDP）として定式化される。

本手法は、以下の3つの比較ステージを通じて進行する：

1. ベースラインPPO: 標準的なPPOエージェントは、一様重みで初期化され、教師あり学習を介して平均分散ポートフォリオ（MPT）戦略を用いて事前学習される。エージェントは、取引コスト（$\gamma = 0.01$）によってペナルティを課された累積リターンの最大化を学習する。状態空間には、14週間のヒストリカル・リターンと直前のポートフォリオの重みが含まれる。
2. 堅牢なPPO (RPPO): このバリアントは、市場ノイズに対する安定性を高めるために、摂動ベースの学習メカニチズムを導入する。各状態行動ペアに対して、エージェントはガウスノイズ（$\sigma = 0.03$）を用いて$K=5$個の摂動を加えた状態を生成する。堅牢な報酬は、トレードオフ・パラメータ$\beta = 0.2$によって制御され、これら摂動状態間におけるリターンの分散をペナルティとして課すことで算出される。これにより、政策が小さな状態の変化に対して鈍感になるよう強制する。
3. RPPO-MPT (提案モデル): このモデルは、RPPOの堅牢性と、プロスペクト理論に着想を得た報酬構造を統合する。生の（生のリターンを最適化するのではなく、参照点（ゼロに設定）に対して評価される「希望と恐怖」の効用関数を最適化する。
   • 参照依存性: リターンは参照点（ゼロに設定）に対して評価される。
   • 損失回避: 報酬関数は、結果を「希望（利得）」と「恐怖（損失）」に分解する。損失は損失回避係数（$\lambda = 2.25$）によって重み付けられ、利得と損失はともに減衰する感度（$\alpha = \beta = 0.88$）に従う。
   • 報酬形成: 最終的な報酬は、希望成分と恐怖成分の比率（数値的安定性を確保するための小さな定数$\epsilon_1$を含む）から、取引コストを差し引いたものである。この構造は、損失を同等の利得よりも重くペナルティを課すことで、エージェントの目的を行動投資家の嗜好に明示的に適合させる。

実験設定
モデルは、2010年1月から2022年6月中旬までの15銘柄のS&P 500構成銘柄の調整後価格データを用いて学習された。アウトオブサンプル・テストは、2022年6月中旬から2025年9月まで実施された。パフォーマンスは、年率リターン、シャープレシオ、情報比、$\alpha$、最大ドローダウン、最長ドローダウン、年間ターンオーバー、および様々なリスク回避設定下での行動的効用を含む包括的な指標群を用いて評価された。

主な結果
比較分析により、提案されたRPPO-MPTフレームワークが、3つのモデルの中で最も強力なアウトオブサンプル・パフォーマンス・プロファイルを実現することが示された：

• 優れたリスク調整後リターン: RPPO-MPTは、シャープレシオ、情報比、および$\alpha$において、ベースラインPPOおよび堅牢なPPO (RPPO)の両方を上回った。
• 行動的整合性: 本モデルはより高い行動的効用を達成し、損失回避および非対称なリスク認識に関する投資家の嗜好とのより良い適合を示した。
• ドローダウン制御: 競争力のあるドローダウン制御を維持しつつ、RPPO-MPTモデルは、リターン生成を犠牲にすることなく、ダウンサイドリスクを効果的に管理した。
• 安定性: 摂動ベースの堅牢性の統合により、エージェントは揮発性の高いテスト期間（2022年–2025年）において安定性を維持し、ベースラインPPOで見られるような過度な集中や不安定なリバランシングを回避することができた。

意義および主張
本論文は、本研究の主要な貢献は、堅牢な最適化と行動ファイナンスを単一のディープ強化学習アーキテクチャ内で融合させることに成功した点にあると主張している。金融パフォーマンス、状態の不確実性に対するレジリエンス、および投資家と一致した効用を共同で最適化することにより、RPPO-MPTフレームワークは、リターンの最大化のみに依存する従来のRLモデルの限界に対処する。

著者らは、このアプローチが、実際の金融システムにおいて「レジリエントで心理学に基づいた意思決定エージェント」をデプロイするための実用的な経路を提供すると主張している。本研究は、市場の不確実性（摂動を介して）と投資家心理（プロスペクト理論による報酬形成を介して）を明示的に考慮することが、RLエージェントの適応性と投資家への適合性を高め、従来のポートフォリオ最適化手法に代わる、より堅牢な選択肢を提供することを実証している。