論文要約：「有効なシグナルの失敗：LLM 特徴量と RL 取引ポリシーの間のレジーム境界」

著者: Zhengzhe Yang (独立研究者)
概要: 大規模言語モデル（LLM）が生成する連続数値特徴量が、強化学習（RL）取引エージェントのパフォーマンス向上に寄与するかどうかを検証した研究。LLM を状態非依存の特徴量抽出器として活用し、その抽出プロンプトを金融指標（情報係数：IC）に基づいて最適化するパイプラインを構築したが、特徴量レベルでの有効性が必ずしもポリシーレベルでの収益向上に直結しないこと、特にマクロ経済ショックによる分布シフト下では LLM 特徴量がノイズとして機能しうることを示した。

---

1. 研究の背景と課題 (Problem)

近年、金融意思決定における LLM の応用が増加しているが、多くのモジュラー型パイプライン（LLM をセンチメント分類器として使用し、その出力を RL エージェントに渡す方式）には目的関数のミスマッチが存在する。

• 現状の問題: LLM は通常、分類精度やセンチメント極性などの標準的な NLP 損失関数で最適化される。しかし、これらは下流の連続値取引ポリシーにおける「将来のリターン予測能力」を保証するものではない。
• 核心的な課題: 抽出されたナラティブ（物語）が、分布シフト（マクロ経済環境の変化など）が発生した際に、RL エージェントにとってロバストな状態表現として機能するかどうかは不明確である。

2. 手法とアーキテクチャ (Methodology)

著者は、LLM と取引アルゴリズムを厳密に分離しつつ、特徴量抽出プロセスを金融目的に直接整合させるモジュラーパイプラインを構築した。

2.1 システムアーキテクチャ

• データ収集: Go 言語ベースの並行パイプラインを用い、ニュース、SEC 提出書類（EDGAR）、インサイダー取引情報を日次で収集し、SQLite に保存。これにより「先読みバイアス」を排除。
• LLM 特徴量抽出器: 凍結された LLM（Qwen3-235B）をステートレスな特徴量抽出器として使用。
  • 入力: 1 日分のニュース記事と提出書類のバンドル。
  • 出力: 9 次元の固定長ベクトル（センチメント、インパクト、矛盾シグナル、ニュースの新規性など）。
• RL エージェント: 抽出された特徴量ベクトルと、価格データ（OHLCV）、テクニカル指標、マクロ経済指標（VIX、国債利回りなど）を結合した状態ベクトルを入力とし、PPO（Proximal Policy Optimization）アルゴリズムを用いてポートフォリオ決定を行う。

2.2 プロンプト最適化ループ (Prompt Optimization)

従来の NLP メトリクス（BLEU 等）ではなく、**情報係数（IC：予測リターンと実現リターンの順位相関）**を最適化指標として用いた自動最適化ループを導入。

• 手法: プロンプトを離散ハイパーパラメータとみなし、メタオプティマイザー（Claude API）を用いて「突然変異 - 評価 - 選択」のループを実行。
• 最適化ゲート: IC、Hit%（方向性精度）、 Quintile Spread（ランク付けされたポートフォリオの単調性）などの閾値をクリアしたプロンプトを採用。
• 結果: 最適化により、IC が -0.024 から +0.104 に向上（Few-shot 例の追加が鍵となった）。

3. 主要な貢献 (Key Contributions)

1. プロンプトをハイパーパラメータとした最適化: LLM 抽出プロンプトを、NLP 損失ではなく金融指標（IC）に基づいて直接最適化するフレームワークを提案。
2. 特徴量有効性とポリシー有用性のギャップの解明: 中間表現（LLM 特徴量）が統計的に有意であっても、それが必ずしも RL ポリシーのパフォーマンス向上に繋がらないことを実証。このギャップは「レジーム（市場環境）」に依存する。
3. マルチレジームでのアブレーション研究: 2025 年の前半（H1：関税ショックによるボラティリティ期）と後半（H2：比較的静穏な期）という異なる分布条件下での評価を行い、マクロ経済変数がポリシーのロバスト性を決定する最も重要な要因であることを示した。

4. 実験結果 (Results)

4.1 特徴量の有効性

• 最適化されたプロンプトは、将来の 5 日間のリターンと強い順位相関（IC > 0.15）を持つ特徴量（特に conflicting_signals や impact）を生成することに成功した。
• しかし、このシグナルは中期的（3〜10 日）にピークを迎え、1 日単位ではノイズに近い（情報遅延の制約）。

4.2 分布シフト下でのパフォーマンス (H1 2025: マクロショック期)

• 結果: 関税ショックによるボラティリティ上昇期において、LLM 特徴量を追加したエージェントは、価格データのみを使用するベースラインよりもパフォーマンスが劣化した。
• 原因: 市場全体がマクロ要因で支配される中、個別株のニュースに基づく LLM 特徴量はノイズとして作用し、エージェントを誤った方向へ導いた。
• マクロ変数の役割: VIX や国債利回りなどのマクロ変数は個別銘柄の順位を予測できない（クロスセクショナル IC=0）が、市場のレジーム変化を検知し、エージェントのリスク暴露を抑制する「ブレーキ」として機能した。

4.3 静穏なレジーム下でのパフォーマンス (H2 2025)

• 結果: 市場が静穏な H2 期では、LLM 特徴量のみ、またはマクロ変数単独、あるいは両方を組み合わせたすべての設定がベースラインを上回った。
• 考察: 個別株のナラティブは、システムリスクが低下した環境では有効なシグナルとなりうる。しかし、統計的有意性（p 値）の観点からは、マクロ変数単独の方が最もロバストな改善をもたらした。

4.4 取引コスト感度

• 取引コストを 0〜50bp まで変化させても、H1 期におけるベースラインの優位性は維持され、結果が摩擦の仮定によるアーティファクトではないことが確認された。

5. 考察と意義 (Significance)

5.1 特徴量からポリシーへのギャップ

本研究は、転移学習における「事前学習された強力な特徴量が、分布シフト下での微調整（ファインチューニング）の成功を保証しない」という現象が、LLM 駆動の RL 取引においても同様に発生することを示した。

• 重要な示唆: 中間メトリクス（IC など）での有効性だけで LLM 特徴量の価値を判断することは不十分である。

5.2 レジーム依存性の重要性

LLM 由来の特徴量は、市場が安定している場合には有効だが、マクロ経済ショックなどの分布シフトが発生すると、ノイズ源となりうる。

• マクロ変数の重要性: 個別のナラティブよりも、市場全体のレジーム（VIX など）を監視するマクロ変数の方が、ポリシーのロバスト性を高める上で決定的な役割を果たす。

5.3 今後の方向性

LLM 表現を下流の学習器に組み込むパイプラインを構築する際は、単一のテスト期間だけでなく、分布シフトを意図的に含んだマルチレジームのアウトオブサンプルテストを標準プロトコルとして採用すべきである。

---

結論:
LLM は予測的な数値特徴量を生成できるが、その有効性は市場環境（レジーム）に強く依存する。特にマクロ経済ショック下では、LLM 特徴量がノイズとなり、RL エージェントのパフォーマンスを低下させる可能性がある。したがって、金融 AI システムの設計においては、LLM 特徴量だけでなく、レジーム変化を検知・適応するマクロ変数の統合が不可欠である。