技術概要：PORTBENCH

問題定義

大規模言語モデル（LLM）は、知識検索や数値推論など多様な金融タスクにおいて有能であることを示してきたが、**ポートフォリオ管理（PM）**は依然として十分にベンチマーク化されていない。既存の金融ベンチマークには、2 つの決定的な欠陥がある。

1. 資産間相関の軽視: ほとんどのベンチマークは、単一の資産クラスに限定するか、資産を個別に評価する範囲に留まっている。この設計は、真に分散されたポートフォリオと、極めて集中したポートフォリオを区別できず、リスク管理に不可欠な相関構造（Markowitz, 1952; Qian et al., 2005）を無視している。
2. 不完全な意思決定パイプライン: 現在の評価は、静的な単ステップ予測または部分的なマルチステップ評価に依存している。これらは、市場解釈、シグナル生成、ウェイト最適化、実行、リスク監視にわたる PM の完全な逐次ワークフローを捉えられていない。初期段階の誤りが、破滅的な下流の失敗へと連鎖する可能性がある。さらに、既存のベンチマークは通常、単一の暗黙的なリスクプロファイルのもとで通常市場条件下を評価しており、ストレス下における戦略の回復力や、特定の投資家の許容度との整合性が検証されていない。

手法

著者らは、株式、商品、債券、暗号資産、不動産、現金同等物の 6 つの異種資産クラスにわたり、10 年間（2015–2025 年）にわたって LLM を評価するために設計された、相関を考慮したフルパイプラインのベンチマークPORTBENCHを導入する。このフレームワークは、4 つの中核モジュールで構成される。

1. 市場ベースデータセット

データセットは、日次価格履歴、リターン系列、関連するニューステキストを含む 183 種類の金融商品で構成される。また、金利、インフレ、クレジットスプレッド、ボラティリティ指数などのマクロ経済指標を含み、クラス間の低い相関とクラス内の強い相関との格差を浮き彫りにする構造となっている。

2. 二層評価フレームワーク

PORTBENCH は、2 つの補完的な層を通じて LLM を評価する。

• 静的 QA 層: 単一資産の予測からレジーム駆動のリバランスまで、7 つのタスクテンプレート（T1–T7）にわたる 6,269 件の相関ベースの質問からなるデータセット。質問と正解は、分析式を用いて歴史データから自動的に生成される。
• 動的 5 ステージパイプライン: 各リバランス時点で PM の完全な意思決定サイクルを模倣するサンドボックス。
  • S1（市場解釈）: 感情スコアを割り当て、市場レジームを特定する。
  • S2（シグナル生成）: 感情を方向性のある取引シグナル（買い/売り/保有）にマッピングする。
  • S3（ウェイト最適化）: 制約条件に従ってポートフォリオのウェイトを提案する。
  • S4（実行シミュレーション）: 取引コストを適用し、オラクルからのターンオーバーの乖離を測定する決定論的なパススルー。
  • S5（リスク監視）: バリュー・アット・リスク（VaR）、ドローダウン、ウェイトのドリフトを計算し、閾値を超えた場合にリバランスをトリガーする。

3. 新規指標

既存のスコアリング手法の限界に対処するため、PORTBENCH は以下の指標を導入する。

• 二層相関スコアリング（S3 用）: ウェイト最適化スコアを精度（最適シャープレシオへの近さ）と相関構造に分解する。相関成分は、クラス内の集中にペナルティを課し、クラス間のヘッジを報酬とし、ポートフォリオがリターン最適化だけでなく、分散の質に基づいて評価されることを保証する。
• CEPS（ステージ間誤差伝播スコア）: 推論エラーがパイプライン全体でどのように増幅されるかを定量化する指標。単純な平均とは異なり、CEPS は連続するステージ間でパフォーマンスが著しく低下するモデル（例：強力なシグナルが生み出されたが、実行が不十分など）にペナルティを課し、連鎖的な失敗と均一な平庸なパフォーマンスを区別する。

4. ストレスおよび投資家プロファイル評価

モデルは、3 つの歴史的ストレスレジーム（2015 年中国ショック、2020 年 COVID 暴落、2022 年暗号資産崩壊）と 3 つの投資家プロファイル（保守的、バランス型、攻撃的）のもとで評価される。パフォーマンスは、モデルが「ストレスゲート」（プロファイル固有の許容度内でドローダウンを維持すること）を通過するかどうか、および異なるリスク制約に適応して配分を調整する能力（プロファイル整合スコア）によって測定される。

主要な結果

著者らは、10 の最先端 LLM（DeepSeek-V4、Qwen3、GLM-5、Kimi-K2 などを含む）を、5 つの古典的ベースライン（等ウェイト、60/40、リスクパリティ、共分散リスクパリティ、最小分散）に対して評価した。

• 知識と有能性のギャップ: 静的な QA タスク（特に共分散行列が提供される式駆動タスク）で高いパフォーマンスを示したにもかかわらず、モデルとプロファイルの組み合わせの 90% は、リスク調整済みリターンにおいて、基本的な等ウェイト（1/N）ベースラインを上回ることができなかった。
• 実行の崩壊: 特定された決定的な失敗モードは「普遍的な取引不足」である。モデルはしばしば強力なシグナル（S2）を生成するが、それを意味のあるポートフォリオのリバランス（S4）に変換できない。これは、モデルが共分散行列をノイズとして扱うか、またはそれを解析できず、結果としてターンオーバーが最小限で済むほぼ均一なウェイトを生成することに起因しており、実行スコアを崩壊させる。
• ストレスへの脆弱性: 通常市場での高いパフォーマンスは、ストレス耐性を予測しない。2022 年の暗号資産崩壊中、保守的プロファイルのもとで、すべての手続き的制約を満たしていたにもかかわらず、10 モデル中 6 モデルがストレスゲートを通過できなかった。これらのモデルは、相関する資産の暴落に対する効果的なヘッジが配分になされていなかったため、破滅的なドローダウンを被った。
• ランクの乖離: 静的な QA 精度と動的パイプラインのパフォーマンス（CEPS）の間には、弱い負の相関（$\rho = -0.32$）が存在する。孤立した事実の想起に優れたモデルは、ポートフォリオ管理の因果連鎖全体にわたって推論を維持できないことが多い。
• 適応の価値: 特定された LLM の主な価値は、生のリターン生成ではなく、制約への適応である。特定の投資家のリスクプロファイル（例：保守的投資家に対する株式キャップの引き締め）に配分を調整することに成功したモデルは、絶対リターンが単純なヒューリスティックを常に上回っていなくても、静的なベースラインには欠けている能力を示した。

意義と主張

本論文は、PORTBENCH が LLM 駆動のポートフォリオ管理のための最初の包括的かつ相関を考慮したベンチマークであると主張する。その意義は以下の点にある。

1. 現在の LLM の限界の露呈: 強力な静的な金融知識が、共分散構造の活用やリバランスの実行といった、堅牢で実世界に即したポートフォリオ管理能力に変換されないことを示している。
2. 評価基準の再定義: CEPS と相関を考慮したスコアリングを導入することで、最終結果から意思決定プロセスの質と誤差の伝播へと焦点を移している。
3. 「コンプライアンスの罠」の強調: 本研究は、モデルがすべての手続き的制約（例：資産キャップ）を満たしながらも、ストレス下では結果的な安全性（例：過度のドローダウン）を侵害しうることを明らかにしている。これは、標準的なベンチマークでは以前に測定されていなかった失敗モードである。

著者らは、ポートフォリオ管理における LLM の価値は、単純な分散戦略を上回るリターンを生成することではなく、単一の意思決定フレームワーク内での制約への適応とテールリスクへの意識にあると結論づけている。最先端モデルでさえストレス条件下では脆弱な振る舞いを示すため、厳格な人間の監視なしにライブ取引で LLM 生成の配分を展開することには慎重であるべきだと警告している。