技術概要：LLM における深層データ調査の評価

問題定義

現在のアジェンティック大規模言語モデル（Agentic LLMs）の評価は、主に実行知能（定義されたタスクの完了や特定のユーザークエリへの回答能力）に焦点を当てている。この枠組みは、調査知能（何が調査に値するかを自律的に決定し、仮説を形成し、調査をいつ終了するかを判断する能力）と実行を混同している。現実のデータサイエンスにおいて、分析者は事前に定義された質問なしに構造化された生データから開始し、パターンが現れるにつれて仮説を反復的に洗練させる。既存のデータサイエンスベンチマーク（LLM4DS）は、多くの場合、事前に定義された質問、主観的なレポート品質評価、またはソースデータに対する事実主張を客観的に検証できない「LLM によるジャッジ」メカニズムに依存している。さらに、現在のベンチマークは通常、エージェントの相互作用を短い時間範囲（数十ステップ）に限定しており、長期的な自律的調査の複雑さを捉えきれていない。

手法

深層データ調査（DDR）の形式化

著者らは、深層データ調査（DDR）をオープンエンドなタスク $I = \text{DDR}(\text{LLM}, D, T)$ として形式化した。ここで、エージェントは構造化データベース $D$ とツールセット $T$（SQL および Python）を与えられるが、事前に定義された質問、目的、または相互作用の制限は存在しない。

• 入力: タスクエンティティ（例：「userid=2048 のユーザーの分析を開始」）と基本的なデータベースメタデータを指定する最小限の開始プロンプト。
• プロセス: エージェントは、$r$（推論）、$t$（ツール呼び出し）、$o$（観察）からなる ReAct スタイルの相互作用ループ $(r, t, o)$ を複数のラウンドにわたって実行する。エージェントは探索をいつ停止するかを自律的に決定する。
• 出力: 2 種類の洞察。
  1. メッセージ単位洞察（$I_m$）: 各相互作用ラウンドの漸進的な解釈。
  2. 軌道単位洞察（$I_t$）: 探索履歴全体を統合した包括的なレポート。

DDR-Bench の構築

DDR を評価するために、著者らは 3 つの異なる現実世界のシナリオから構成される大規模ベンチマークDDR-Benchを導入した。

1. MIMIC-IV: 匿名化された電子健康記録（EHR）データベース。エージェントは、構造化テーブルと非構造化の臨床ノートから患者のケア軌道を再構築し、臨床的洞察を抽出しなければならない。
2. GLOBEM: ウェアラブルセンサー信号と調査データを組み合わせたスポーツおよび運動心理学データセット。エージェントは時間的パターンを特定し、行動データを心理状態と結びつけなければならない。
3. 10-K: 米国上場企業の財務報告書。構造化された XBRL 財務諸表と非構造化のテキスト開示を統合する。エージェントは経済状況と財務動向を統合しなければならない。

評価フレームワーク:

• チェックリストに基づく検証: 主観的なスコアリングの代わりに、データベースの非構造化コンポーネント（臨床ノート、調査回答、財務開示など）から導き出された事実チェックリストを使用する。
• 客観的スコアリング: 各タスクエンティティに対して、検証可能な事実のチェックリストを生成する。LLM-as-a-Checker（GPT-5-mini）が、エージェントが生成した洞察が各事実項目を支持するのに十分な証拠を提供しているかどうかを評価する。
• 新規性分析: チェックリストがすべての有効な洞察を網羅できないという限界に対処するため、著者らは「新規」洞察（チェックリスト検証に使用されなかったもの）のペアワイズ比較を行い、未検証の発見の実用性に基づいてモデルをランク付けする。

実験設計

• ミニマリスト・エージェント・スケフォールディング: ベンチマークは、外部メモリ、計画モジュール、または複雑なスケフォールディングを持たない軽量な ReAct エージェントを使用し、モデルの内在的機能を分離する。
• スケーリング分析: 相互作用ターン、トークン消費、推論コストにわたるパフォーマンスを検証する。
• アブレーション研究: 著者らは、トレーニング要因（パラメータ規模、コンテキスト長、トレーニング世代数）およびエージェントモジュール（メモリ、推論予算）がパフォーマンスに与える影響を分析する。

主要な結果

全体的なパフォーマンス

• 限られた調査的自律性: 最先端モデルでさえ DDR に苦戦している。Claude 4.5 Sonnetのみが、平均チェックリスト精度で 40% 以上（全体で 47.73%）を達成している。他のトップモデル（GPT-5.2、DeepSeek-V3.2、GLM-4.6）は著しく低いスコアである。
• 洞察タイプの不一致: メッセージ単位（$I_m$）と軌道単位（$I_t$）の洞察の間でパフォーマンスにばらつきがあり、グローバルコンテキストの統合が漸進的分析とは異なる課題であることを示唆している。
• 新規性の相関: チェックリスト精度と新規洞察の実用性の間に強い相関（Spearman $\rho > 0.72$）があり、チェックリストベースの評価がモデル能力の支配的なシグナルを捉えていることを検証している。

スケーリングとダイナミクス

• 相互作用スケーリング: パフォーマンスはシグモイド曲線に従う。高性能モデル（Claude、GLM など）は急速な改善を遅らせることが多く、明示的なプロンプトではなく暗黙の計画を通じて「計画してから実行」するダイナミクスを示す。
• トークンとコストのスケーリング: パフォーマンスの向上は、初期の広範な探索ではなく、後期の高価値トークン（深層かつターゲットを絞ったクエリ）によって不均衡に駆動されている。
• 探索パターン: 成功するモデルは、低エントロピー（焦点を絞ったアクセス）で高いデータベースカバレッジを維持するバランスの取れた探索レジームを示す。弱いモデルは、探索が狭すぎたり、注意が広がりすぎたりする。
• 自己終了: 強力なモデルは自己終了においてより高い自信を示すのに対し、弱いモデルは揺らぎのある自信を示し、早期に終了したりループしたりすることが多い。

トレーニングとモジュール分析

• スケーリングだけでは不十分: 特定のアジェンティックトレーニングなしにパラメータサイズを増加させる（Qwen ファミリー内など）ことは、10 倍のパラメータ増加に対して 3% 未満の改善という僅かな利益しかもたらさない。
• トレーニング戦略が重要: 「アジェンティックファースト」のトレーニング戦略を持つモデル（Qwen3 および Qwen3-Next）は、活性化パラメータ数が少なくても、その前身モデルを大幅に上回る。これは、体系的なアジェンティックトレーニング（事前トレーニングと強化学習）が、規模やコンテキスト長よりも重要であることを示唆している。
• エージェントモジュール: 外部メモリや複雑な計画モジュールを追加することは、ミニマルな ReAct ベースラインと比較してパフォーマンスを低下させることが多く、現在のモデルは外部のスケフォールディングよりも内在的な能力からより恩恵を受けていることを示している。

失敗モードと幻覚

• 主要な失敗: 誤りの 58% は不十分な探索（幅または深さの欠如）に起因しており、多くの場合、早期の自己終了が原因である。
• 幻覚: 幻覚発生率は低く（ほとんどのモデルで 5% 未満）、精度との間に有意な相関は見られない。これは、この設定におけるパフォーマンスの過大評価の主要な要因がデータ汚染ではないことを示唆している。

意義と主張

本論文は、実行知能と区別される調査知能を評価するための厳密なフレームワークを確立することを主張している。主な貢献は以下の通りである。

1. DDR の形式化: エージェントが事前に定義された目標なしに構造化データを自律的に探索しなければならないオープンエンドな設定の定義。
2. DDR-Bench: 検証可能で客観的な長期的データ調査評価を可能にする、最初のチェックリストベースの大規模ベンチマークの提供。
3. 実証的洞察: 現在の最先端モデルは、出現しつつある自律性を示しているものの、深層データ調査の習得にはほど遠いことを明らかにしている。効果的な調査知能への移行は、外部のスケフォールディングや単純なパラメータのスケーリングよりも、アジェンティックに焦点を当てたトレーニングを通じて発展した内在的戦略に依存している。

著者らは、フィールドがクエリ - 応答の整合性を超え、エージェントが目標を自発的に定義し、大規模データから有用な洞察を導き出すエンドツーエンドの自律性を育成するトレーニングパラダイムへと移行する必要があると結論付けている。