技術的概要：BacktestBench

問題定義

定量的バックテストは、取引戦略を評価する上で不可欠な要素であるが、依然として高い技術的障壁と限定的な拡張性によって阻害されている。従来のワークフローでは、ファクターの組み合わせを構築し、正確な時系列論理を用いて過去データを照会し、複雑な戦略を実行するエラーのないコードを実装するために、専門的な専門知識が必要とされる。大規模言語モデル（LLM）は、コード生成とエージェント的計画を通じてこの学際的なワークフローを自動化する変革的な可能性を秘めているが、その実用的な応用は現在停滞している。主なボトルネックは、自動化された定量的バックテストに特化した大規模かつ高品質なベンチマークの欠如である。既存のデータセット（Text-to-SQL や一般的なコード生成ベンチマークなど）は、金融戦略評価に固有の時系列論理、多段階推論、厳密な再現性の要件を捉えきれていない。

手法

1. データセット構築：BacktestBench

著者らは、自動化された定量的バックテストのための最初の大型ベンチマークであるBacktestBenchを提案する。

• データソース: データセットは、2020 年 1 月から 2025 年 9 月までの中国の 3 大取引所（上海、深圳、北京）からの 600 万件以上の実市場記録（日次取引データ）から構築されている。
• 規模と構成: 18,246 の綿密に注釈付けされた質問応答（QA）ペアで構成される。
• 中核概念: データセットは、ファクター（数値変数）、シグナル（ブーリアン判断）、戦略（実行可能な取引ポリシー）、KPI（パフォーマンス指標）を区別する。
• タスクカテゴリ: ベンチマークは、4 つの異なる意思決定タスクにおいてモデルを評価する。
  1. 指標計算: 与えられた戦略に対する特定の KPI（例：シャープレシオ、最大ドローダウン）を計算する。
  2. 銘柄選択: 固定された戦略の下で、候補銘柄群から最もパフォーマンスの良い資産を特定する。
  3. パラメータ確認: 戦略に対して最適なハイパーパラメータ（例：ルックバックウィンドウ）を選択する。
  4. 戦略選択: 同一の市場条件下で、競合する戦略間の優位なロジックを選択する。
• 生成パイプライン:
  • コードからテキストへ: 著者らはまず 43 の理論的ファクターと 7 つの KPI を生成し、これらを 80 のアトミックな戦略関数にカプセル化した。実行可能な Python バックテストコード（92,170 の買い戦略と 112,791 の売り戦略）を合成した。
  • リバースエンジニアリング: 5 つの最先端 LLM を用いて、「コードからテキストへ」のリバースエンジニアリングを行い、実際のコードロジックと整合する自然言語の戦略記述を生成した。
  • 品質管理: マルチモデルピアレビュープロセスにより高い忠実性を確保した。記述は、4 つの独立した LLM オーディターがコードの忠実性と戦略の有効性について全会一致で合意した場合のみ保持された。
  • 人間による検証: 200 のインスタンスのランダムサンプルにおいて、記述の完全性で 97.5%、コードの正しさで 98.5% の合格率を達成した。

2. ベースラインシステム：AutoBacktest

データセットの課題に対処するため、著者らは定量的研究者のワークフローを模倣するように設計された堅牢なマルチエージェント協調システムAutoBacktestを提案する。複雑なパイプラインを 3 つの専門エージェントに分離する。

1. サマライザ: 自然言語記述から意味レベルの金融指標（ファクターと KPI）を抽出する。非公式な用語を標準化された指標名のライブラリにマッピングし、曖昧さを低減するためにBM25 検索メカニズムを利用する。
2. リトリーバ: データレベルの操作を処理する。特定された指標を一意のショートコード（コンパクトでトークン効率の良い識別子）にマッピングし、PostgreSQL データベースから過去市場データを取得するための実行可能な SQL クエリを生成する。SQL が空でない有効な結果を返すことを保証するために、実行ベースの検証ループを採用する。
3. コーダ: ロジックレベルの実装に焦点を当てる。取得したデータ（Pandas データフレームとして）と標準化された指標コンテキストを受け取り、Python バックテストコードを生成・実行する。厳格なバックテストプロトコル（例：ロングのみ、始値買い・終値売り、先取りバイアスの排除）の下で、必要な指標を計算するか戦略ロジックを実行するために、コードを反復的にデバッグする。

主要な貢献

1. BacktestBench: 実市場データに由来する 18,246 の QA ペアを含む先駆的な大型ベンチマークであり、4 つの中核的な定量的タスクを網羅する。汎用コード生成と定量的金融の厳密な要件の間のギャップを埋める。
2. AutoBacktest フレームワーク: 自然言語の戦略を再現可能なバックテストに変換するマルチエージェントベースラインシステム。モジュール化されたアーキテクチャ（サマライザ、リトリーバ、コーダ）と、LLM を正確なデータベーススキーマと金融定義に接地させる「ショートコード」メカニズムを導入する。
3. 包括的な評価: BacktestBench 上で 23 の主要な LLM（オープンソースおよびクローズドソースの両方）を評価し、この垂直領域における LLM の能力に関する最初の体系的な分析を提供する。

実験結果

23 の LLM の評価により、いくつかの重要な示唆が明らかになった。

• 性能の格差: クローズドソースモデルは一般的にオープンソースの対抗馬よりも優れている。Gemini 3 Proは、複雑な論理的推論タスクである指標計算（51.67%）などで大幅に先行し、最高の総合精度（OA）である67.41%を達成した。最良のオープンソースモデルであるGLM 4.7は、OA 56.83% を達成した。
• スケーリング感受性: 論理的推論タスク（例：指標計算）はパラメータ規模に非常に敏感である。モデルサイズを 235B から 4B に削減すると、指標計算のスコアは 34.71% から 1.77% に急落した。一方、指標検索タスクは感受性が低く、小規模モデルでも比較的高い検索精度を維持した。
• Chain-of-Thought（CoT）の役割: CoT 推論を欠くモデル（例：Kimi Linear 48B）は、構文とロジックの分離を示した。SQL 実行の正しさは高い（99.22%）が、実行精度は低く（48.46%）、戦略ロジックのスコアはほぼゼロであった。これは、論理的に欠陥のある実行可能なコードを生成できることを示している。
• 複雑性のボトルネック: KPI の複雑さが増すにつれて、性能は急激に低下した。勝率や最大ドローダウンのような単純な指標は高い精度を示したが、ボラティリティやシャープレシオのような複雑な統計指標は、ほとんどのモデルにとって「災害地帯」となり、小規模モデルや CoT を持たないモデルでは合格率が 20% 未満になることが多かった。
• アブレーション研究:
  • ショートコード: ショートコード（標準化されたデータベース識別子）の導入は、すべてのモデルで SQL 実行精度（EA）を大幅に向上させ、一部では 20 ポイント以上の gains を見せた。
  • グランドトゥルース: 真の SQL を提供するよりも、真のショートコードを提供する方が影響力が大きかった。これは、SQL 構文の生成よりも、金融指標の意味理解が主要なボトルネックであることを示唆している。

意義と主張

本論文は、BacktestBench が標準化された評価プロトコルと厳密なデータリソースを確立し、汎用コード生成と定量的投資研究の間のギャップを効果的に埋めたと主張する。複雑な金融指標（年率換算ボラティリティやシャープレシオなど）に必要な「高次ロジック」において現在の LLM が苦戦していることを実証することで、この研究は金融意思決定における現在の AI の特定の限界を浮き彫りにしている。

著者らは、BacktestBench を即時のアルファ生成やライブ取引アドバイスを生み出すツールとしてではなく、構造化された金融環境における LLM の戦略理解、データ検索、コード生成能力をテストするための基礎的なベースラインとして位置づけている。この研究は、LLM が手続き的なコード生成は可能であるが、複雑な定量的ワークフローを確実に自動化するには、厳密な論理的推論と統計的推論において大幅な改善が必要であることを特定することで、将来の知的金融意思決定の進展の基礎を築いている。