技術的概要：Moira – ペア取引のための言語駆動階層強化学習

1. 問題定式化

本論文は、階層構造、遅延フィードバック、および曖昧なクレジット割り当てを特徴とする環境における逐次的意思決定の課題に取り組む。具体的には、著者らはペア取引に焦点を当てており、これは自然に 2 つの異なる時間的・意味的スケールを組み合わせた金融領域である：

1. 高レベル抽象化（ペア選択）： 安定した経済的または統計的関係を持つ資産ペアを特定するために、長期的な意味的推論を必要とする。
2. 低レベル実行（取引）： 部分的観測性（市場ノイズ）下での市場中立取引を実行するために、短期的で反応的な意思決定を必要とする。

核心的な難しさはクレジット割り当てにある。取引戦略が失敗した場合、その誤りが高レベル抽象化の欠陥（間違ったペアの選択）、低レベル実行の非最適化（タイミングの悪さ）、あるいは両者の相互作用に起因するものかを明確にすることが困難である。従来のエンドツーエンド強化学習（RL）はこれらのコンポーネントを絡み合わせてしまうため、失敗の原因を特定することが難しい。さらに、標準的な階層強化学習（HRL）はしばしば硬直的な時間的抽象化に依存するか、固定されたノイズ分布を仮定しており、意味的関係がドリフトする際の適応性を制限する。

2. 手法：Moira フレームワーク

著者らは、Moira、すなわち言語駆動の階層強化学習フレームワークを提案する。勾配ベースの微調整や専門家によるラベル付きデータを使用する代わりに、Moira は高レベルのセレクターと低レベルのトレーダーの両方をプロンプト条件付き大規模言語モデル（LLM）としてパラメータ化する。ポリシーは、テキストベースのフィードバックによって駆動されるプロンプト更新を通じてのみ最適化される。

2.1 階層ポリシー設計

このフレームワークは、抽象化の選択と実行を明示的に分離し、フィードバックの可用性に合わせてそれらの適応スケジュールを整合させる：

• 高レベルセレクター（$\pi_{sel}$）： エピソードレベル（例：月次）で動作する。集約された価格統計と意味的サマリー（ニュース、センチメント）を観測し、資産ペア $z$ を選択する。この選択はエピソードの期間中固定される。
• 低レベルトレーダー（$\pi_{tr}$）： エピソード内レベル（例：日次/週次）で動作する。固定されたペア $z$ に条件付けられ、リアルタイムのスプレッドダイナミクスと局所的な価格特徴に基づいて取引アクションを実行する。

2.2 プロンプト適化による最適化

システムは、モデル重みに対する勾配降下を回避し、両レベルに対して2 段階のテキスト最適化プロセスを利用する：

1. 軌道レベルの批評（ステージ 1）： 「クリティック」LLM が実行された軌道（観測、アクション、報酬）を分析し、自然言語のフィードバック信号（$g_{text}$）を生成する。この信号は意思決定ルールの欠陥（例：「早すぎる退出」や「ニュース触媒の無視」）を特定する。
2. プロンプト更新（ステージ 2）： 「アップデート」LLM がテキストフィードバックを現在のポリシープロンプトに組み込み、次のサブエピソードまたはエピソード用の更新されたプロンプト（$\theta^{(k)}$）を生成する。

適応スケジュールの重要な相違点：

• トレーダー： エピソード内のプロンプト更新を受ける。ペアのコンテキストが固定されたまま、軌道レベルのフィードバックに基づいて実行ルールを適応させる。
• セレクター： エピソード単位のプロンプト更新を受ける。トレーダーがエピソード内の適応と実行を完了した後、累積収益などの遅延した集約フィードバックを受け取る。

3. 主要な貢献

1. 共有意味インターフェースとしての言語： 本論文は、言語を階層レベル間のインターフェースとして機能させる新たなアプローチを導入する。スカラー報酬とは異なり、テキストフィードバックは明示的な意味的帰属を可能にし、抽象化の誤り（不適切なペア選択）と実行の誤り（不適切なタイミング）を区別する。
2. プロンプト駆動の階層最適化： 著者らは、LLM がプロンプト更新のみによって最適化される階層ポリシーとして機能し得ることを実証する。これにより、複雑なアルゴリズム的制約や勾配ベースの微調整を必要とせずに、自然な時間スケールの分離が誘発される。
3. 抽象化と実行の分離： エピソード中はペア選択を固定しつつ、トレーダーがエピソード内で適応することを可能にすることで、レベル間の非定常性を低減し、遅延フィードバック下での標的化された適応を可能にする。

4. 実験結果

このフレームワークは、2025 年 1 月から 6 月までの過去の米国株式市場データ（流動性の高い 10 銘柄）で評価された。

4.1 パフォーマンス比較

Moira はいくつかのベースラインを大幅に上回った：

• 統計的ベースライン： GGR（距離最小化）、相関、および共積分。
• RL ベースライン： TRIALS（標準的な RL フレームワーク）。
• フラット LLM ベースライン： ペア選択と取引実行を同時に試みる非階層的 LLM。

主要指標（Moira vs 最良のベースライン）：

• 年間収益率（AR）： Moira は**59.11%**を達成し、最良の統計的ベースライン（相関/共積分）の 21.38% や、他のベースラインの負の収益率と比較して優れていた。
• シャープレシオ（SR）： Moira は3.791を達成し、統計的ベースライン（1.218）やフラット LLM（-0.403）を大幅に上回った。
• 最大ドローダウン（MDD）： Moira は**1.70%**という低い水準を維持し、統計的ベースラインの 5.11% やフラット LLM の 8.69% と比較して優れていた。

4.2 アブレーション研究

著者らは、階層分解とプロンプト適性の両方の必要性を検証するためにアブレーション研究を実施した：

• Moira-Selection（LLM セレクター + 統計的トレーダー）： LLM トレーダーを統計的トレーダーに置き換えた結果、収益は強く負（-17.10% AR）となり、適応的な実行なしでは意味的ペア選択のみでは不十分であることを示した。
• Moira-Tuning（統計的セレクター + LLM トレーダー）： 相関ベースのセレクターに調整済み LLM トレーダーを組み合わせた場合、収益はプラス（17.63% AR）であったが、完全な Moira モデルよりも大幅に劣った。これは、静的な取引行動では意味的選択によって特定された機会を完全に活用できないことを浮き彫りにした。
• Flat-LLM： 非階層的アプローチは学習に失敗し、負の収益と高いボラティリティをもたらした。これは、ペア選択と実行の同時最適化が単一の意思決定プロセスには複雑すぎることを確認した。

4.3 学習ダイナミクス

学習曲線の分析により、プロンプト更新に伴ってパフォーマンスが段階的に向上することが示された。初期の更新は基本的な規律（エントリー/エグジットルール）を確立し、後続の更新は高度なリスク管理（トレーリングストップ、部分的な利益確定）を導入し、より滑らかなエクイティ曲線とドローダウンの低減をもたらした。

5. 意義と主張

本論文は、言語駆動の階層ポリシー最適化が、以下の条件を持つ逐次的意思決定問題に対する原理的なアプローチを提供すると主張する：

• 抽象化は時間とともに進化する。
• フィードバックは遅延し、集約される。
• 明示的なクレジット割り当て信号が存在しない。

著者らは、言語をポリシー表現として使用することで、システムが勾配ベースの微調整に伴う不安定性や従来の HRL の硬直性なしに、異なる時間スケールで標的化された適応を達成し得ると論じる。結果は、LLM が階層的に構造化され、プロンプト適化を通じて最適化される場合、意味的推論と戦術的実行を効果的に分離し、堅牢な金融意思決定につながり得ることを示唆している。

認められた限界：
著者らは、本研究が小規模な資産領域（10 銘柄）と特定の市場レジームに限定されていることを指摘している。彼らは極端なレジームシフトや敵対的条件下での堅牢性を主張するものではなく、最適化信号としてのテキストフィードバックの理論的性質は未解決の課題である。