FinTradeBench: 大規模言語モデル（LLM）のための金融推論ベンチマーク

技術的サマリー（日本語）

本論文は、現実世界の金融意思決定において不可欠な「企業ファンダメンタルズ（基礎的財務データ）」と「トレーディングシグナル（市場の価格動向）」の両方を統合的に推論する能力を評価するための新しいベンチマークFinTradeBenchを提案したものです。既存の金融 QA ベンチマークが主に財務報告書や帳簿データに焦点を当てているのに対し、本研究は市場の価格動態や投資家心理を反映するトレーディングシグナルの推論、および両者の統合推論を評価対象とすることで、LLM の金融分野における真の推論能力を測定します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

現実の金融分析では、以下の 2 つの補完的な情報源からの推論が必要です。

1. 企業ファンダメンタルズ: SEC 提出書類（10-K/10-Q）やバランスシートから導き出される会計ベースの指標（収益性、レバレッジ、バリュエーション比率など）。
2. トレーディングシグナル: 歴史的な価格・出来高データから計算される市場ダイナミクス（モメンタム、ボラティリティ、トレンド転換など）。

既存の課題:

• 既存のベンチマーク（FinQA, TAT-QA など）は、主に財務報告書や表データに基づく数値推論に焦点を当てており、市場の価格動向や投資家センチメントを反映するトレーディングシグナルの推論を評価していません。
• ファンダメンタルズと市場行動が矛盾するケース（例：決算は悪かったが株価が急騰するなど）において、LLM が両者を統合して判断できるかは不明瞭です。
• 現在の LLM は、テキストベースの財務情報には強いものの、時系列データに基づく定量的な市場ダイナミクスの解釈や、数値計算を伴う推論において弱点を示しています。

2. 手法とベンチマーク設計 (FinTradeBench)

データセットの構築:

• 対象: NASDAQ-100 に属する企業 10 年間（2015-2025 年）のデータ。
• 規模: 合計 1,400 問の質問。
• データソース:
  • 規制書類（SEC 提出書類）から抽出されたファンダメンタルズ指標。
  • OHLCV（始値・高値・安値・終値・出来高）データから計算されたトレーディングシグナル（移動平均、RSI、ボラティリティなど）。
• 質問の分類:
  1. ファンダメンタルズ重視 (F-type): 会計指標に基づく推論。
  2. トレーディングシグナル重視 (T-type): 市場の価格動向に基づく推論。
  3. ハイブリッド (FT-type): 両方の信号を統合した推論（最も難易度が高い）。

構築パイプライン（Calibration-Then-Scaling）:
信頼性とスケーラビリティを確保するため、以下の 3 段階のフレームワークを採用しました。

1. シード質問の生成と自己選択: 専門家が 150 問のシード質問を作成し、複数の LLM で回答候補を生成。各モデルが自らの出力の中から事実性や推論の完全性に基づき最良の回答を自己選択（Intra-model self-filtering）します。
2. 評価と較正: 金融専門家と独立した LLM 裁判官（Judge）が回答を評価。人間の評価と LLM 裁判官の評価を一致させる（MAE < 10%）ことで、大規模な自動評価の信頼性を担保します。
3. スケーリング: 較正された LLM 裁判官を用いて、NASDAQ-100 の企業と期間を拡張し、1,400 問のベンチマーク質問を生成・評価します。

評価設定:

• Zero-shot (No-RAG): 外部情報なしで回答。
• RAG (Retrieval-Augmented Generation): 財務文書（SEC 提出書類）と時系列市場データの両方を検索して回答を生成する双トラック検索アーキテクチャを採用。

3. 主要な結果と知見

14 種類の LLM（大規模・中規模・小規模、プロプライエタリ・オープンソース）を評価した結果、以下のような明確な傾向が確認されました。

A. RAG の効果はタスクによって劇的に異なる

• ファンダメンタルズ (F) とハイブリッド (FT) 質問: RAG は大幅な性能向上をもたらしました（例：R1-Distill-Qwen 32B は F 質問で 37%、FT 質問で 55% 向上）。検索された SEC 文書がモデルの事前知識を活性化し、ハルシネーションを抑制したためと考えられます。
• トレーディングシグナル (T) 質問: RAG は逆に性能を低下させるケースが多発しました（例：Gemini 2.5 Flash-Lite は 19.7% 低下）。生の時系列数値データ（価格表など）をコンテキストに注入すると、モデルが混乱し、必要な数値計算やトレンド分析ができなくなる「情報過多（Distraction）」現象が発生しました。

B. 推論能力を持つモデルの優位性

• 潜在推論能力（Chain-of-Thought）を持つモデル（例：DeepSeek-R1 やその蒸留版）は、ハイブリッド質問において顕著な性能を発揮しました。特に RAG 環境下でも、矛盾する信号を統合する推論ステップを維持できるため、RAG による性能向上が最も大きかったです。
• 一方、単なる指示調整（Instruction-tuned）モデルは、RAG による追加情報に流されやすく、推論の深さが低下する傾向がありました。

C. モデルファミリーによる感受性の違い

• Qwen シリーズ: RAG によって全体的に性能が向上しました。
• LLaMA シリーズ: 70B パラメータのモデルであっても、RAG 環境下では全体的に性能が低下しました（-9.5%）。専門用語の多い SEC 文書や構造化されていない数値表に注意が逸れ、内部推論を放棄して表面的な要約を行う傾向が見られました。

D. 定量的な洞察

• RAG 導入により、Golden Indicator F1（専門家が定義した必須指標の抽出精度）は 56.5% 低下しました。これは、モデルが検索された大量のテキストを吸収して流暢な要約を作成する一方で、専門家が必要とする特定の金融シグナルを特定・抽出する能力が阻害されていることを示しています。
• 推論の深さ (Reasoning Depth) も RAG により 10.8% 低下しました。

4. 結論と意義

結論:
FinTradeBench は、LLM が現実の金融分析に必要な「テキスト（ファンダメンタルズ）」と「数値時系列（トレーディングシグナル）」の異種データを統合する能力を評価する初めての包括的なベンチマークです。研究結果は、現在の LLM がテキストベースの財務情報には強いが、定量的な市場ダイナミクスの解釈や、両者の統合推論においては依然として課題を抱えていることを示しています。特に、RAG 技術はテキスト検索には有効ですが、数値時系列データに対しては「情報過多」を引き起こし、性能を低下させる可能性があります。

意義と将来の展望:

• 研究への貢献: 金融分野における LLM の評価基準を、単なる財務報告書の理解から、市場行動との統合推論へと拡張しました。
• 実用性への示唆: 金融 RAG システムを構築する際、単にデータを検索して提示するだけでは不十分であり、数値データの構造化や事前計算、あるいは推論プロセスを維持するためのアーキテクチャ設計が重要であることを示唆しています。
• 今後の課題: 時系列データに基づく推論を支援するためのコード実行（Code Execution）や、より高度なエージェント型 RAG の開発が今後の研究課題として挙げられています。

本論文は、金融分野における AI の信頼性ある応用に向けた重要な第一歩であり、研究者や実務家に対して、モデルの能力と限界を正しく理解するための標準的な評価基盤を提供しています。