テクニカル・サマリー: BIGFINANCEBENCH

問題提起

財務リサーチの回答は、その導出過程が監査可能（auditable）である場合にのみ、意思決定に役立つものとなります。実務家は、最終的な数値だけでなく、選択された特定のソース、適用された会計定義、置かれた仮定、および実行された計算ステップを検証しなければなりません。既存の金融ベンチマークは、主に孤立したサブスキル（例：検索、単一事実のルックアップ）や最終回答を評価しており、導出過程そのものを十分に測定できていません。さらに、典型的なベンチマーク・タスクは、クエリと単一の離散的な入力（例：1ページの文書や提出書類）を組み合わせることが多く、現実世界のアナリスト業務におけるオープンエンドでマルチソース、かつ仮定に依存する性質を捉えきれていません。これにより、現在の評価手法が、専門家によるレビューで使用される「導出レベルの解像度」を反映していないというギャップが生じています。

メソドロジー

著者らは、実務家の着想に基づいた質問形式を用い、専門家による導出レビューの解像度において金融リサーチ・エージェントを評価するために設計された、ワークフローに基づいたベンチマークであるBIGFINANCEBENCHを導入します。

データセットの構築

• 規模と構成: データセットは、52名の金融リサーチ分野の専門家（主に現職および元投資銀行家、プライベート・エクイティ・インベスター）によって作成された928項目で構成されています。
• 品質管理: 各項目は、12名のレビュアーからなる独立したパネルによって監査されました。単なる単純なルックアップを積み重ねただけの質問は却下され、深い推論、ニッチな専門知識、またはドメイン固有の判断を必要とする質問のみが採用されました。
• 客観性: 質問は特定の時点にタイムアンカー（時間固定）されており、正当な手法の下で専門家のコンセンサスによって確定される回答を要求します。非自明な仮定については、クエリ内で明示的に述べられています。
• ルーブリックのデザイン: 各項目は、グランドトゥルース（正解）のリファレンス回答と、アナリストのワークフローから導出されたポイント加重ルーブリックを組み合わせています。
  • 構造: ルーブリックは、導出過程を独立して検証可能なステップ（例：エンティティの特定、ソースの選択、行項目の取得、会計上の調整、数式の構築）に分解します。
  • 基準: 15,656個のルーブリック基準があり、合計で36,241ポイントに及びます。
  • 作成ルール: 基準は、バイナリ（yes/no形式）、精密（正確な値と期間を指定）、アトミック（単一の概念を分離）、自己完結型（他の基準なしで採点可能）、および加重（1〜10のスケール）である必要があります。
• ワークフローへの接地: 本ベンチマークは、アナリスト業務のオープンエンドでマルチソースな構造を保持しています。これは頻度加重のセンサスではなく、現実的なワークフロー・ファミリーに対するフロンティア評価です。

評価セットアップ

• エージェント・ハーネス: 10種類の最先端およびオープンウェイトモデルが、50ステップの予算を持つ共通のオープンブック形式のReActスタイル・ハーネスを用いて評価されました。
• ツール・サーフェス: 使用されるツールセットは、最小限かつ公開ソースのみに限定されています：web_search、edgar_search（SEC提出書類）、fetch_url、およびpython_exec（サンドボックス化された計算）。独自の金融データベースは使用されていません。
• 判定: 2つの独立したLLMジャッジ（Gemini 3.1 Pro PreviewおよびClaude Opus 4.7）が各軌跡を採点します。これらは、すべてのルーブリック基準と最終回答に対する正誤を評価します。
• 指標:
  • ルーブリック・スコア: 主要な指標であり、獲得したルーブリック・ポイントを総ルーブリック・ポイントで除したもの（マクロ平均）として定義されます。
  • 最終回答の正確性: 正解と判定された最終回答の割合。
  • ルーブリック基準通過率: 通過した基準の非加重の割合。

主な貢献

1. 監査可能な金融ワークフロー: 公開された証拠に基づくソース選択、会計判断、および計算を必要とする、928の専門家作成の質問を導入し、単なるQAや検索タスクを超越しました。
2. 導出レベルの評価: 独立してチェック可能なワークフロー・ステップにわたるポイント加重ルーブリックを用いた新しいグレーディング・フレームワークを導入し、部分点による評価と、アナリスト・ワークフローにおける失敗の局所化を可能にしました。
3. 現行エージェントの経験的診断: 10のモデルを包括的に評価し、現在のシステムには大幅な改善の余地があること、およびモデルの能力が異なる金融ワークフロー間で非一様に変動することを明らかにしました。

結果

• 未飽和のパフォーマンス: ベンチマークは飽和には程遠い状態です。最良のシステム（Claude Opus 4.7, GPT-5.5, および Claude Sonnet 4.6）でも、ルーブリック・スコアで58.8%、最終回答の正確性で**41.5–44.3%**にしか達していません。
• ルーブリック vs 最終回答: ルーブリック・スコアと最終回答の正確性は強く相関していますが（ピアソン $r = 0.94$）、系統的に乖離しています。平均的な差は15.95パーセントポイントであり、これはルーブリックによる採点が、最終回答による採点では破棄されてしまう中間的なワークフローの進捗を評価していることを示しています。
• ワークフローの特化: 上位3つのクローズドモデルは、総合的なルーブリック・スコアにおいては密接にクラスター化していますが、直交する強みを持っています。単一のモデルが37.7%以上の質問でリードすることはありません。各モデルはおよそ3分の1の質問でリードしています。観測可能な特徴量（ワークフロー、ソース）を用いた単純なルーターを使用することで、最良の単一モデルと比較して、ルーブリックによる相対的な利得が**7.6%**向上します。
• 失敗の局所化: 「クリーンなセットアップ」（完璧な検索と定義のクレジット）の分析によれば、モデル間の差異の大部分は計算ステージの前に発生しています。モデルがクリーンなセットアップに到達すると、残存する計算の差異は、質問間の変動と比較して小さくなります。これは、失敗が算術そのものよりも、検索とセットアップにおいて蓄積していることを示唆しています。
• ソースへの感受性: パフォーマンスはソース文書のタイプによって異なります。モデルは、8-K文書に基づいた質問に対して、10-K文書と比較して一貫して6〜9パーセントポイント低いスコアを示しており、これは8-Kイベントの性質がより標準化されていないことに起因すると考えられます。

意義と主張

本論文は、BIGFINANCEBENCHが金融エージェントの評価パラダイムを、静的な知識テストから経済的に価値のある専門業務へとシフトさせるものであると主張しています。導出全体を採点することにより、本ベンチマークは以下を実現します：

• 最終回答の正確性によって隠されていた部分的な進捗を明らかにします。
• 導出がソース選択、メトリック定義、会計調整、計算のどこで崩れたのかを特定します。
• 最終回答の正確性が、ワークフローの正当性に対する「損失の多いプロキシ（代理指標）」であることを示します。
• 金融推論の最前線が均一ではなく「スパイク状（尖っている）」であることを示唆しており、将来の作業においては、特定のワークフローに対して特定のモデルを選択するモデル・ルーティング戦略が有益である可能性を示唆しています。

著者らは、本ベンチマークはアナリスト業務の静的な近似であり（独自のデータベースやライブなクライアントとの対話は含まない）、スコアは金融上の意思決定のためのデプロイメント検証として読み取るべきではないことを強調しています。代わりに、これは、システムが金融回答をレビュー可能にするために必要な「エンティティ、ソース、期間、定義、仮定、および計算」を接続できるかどうかを測定するための、高解像度の計器として機能します。