技術要約: SANA - 検索エージェント・ナビゲーション・アブレーション・フレームワーク

1. 問題定義

データレイクにおける探索的質問回答（Exploratory Question Answering: EQA）では、LLMエージェントが関連するソースを反復的に発見し、取得したデータを分析し、中間結果に基づいてアクションを適応させる必要があります。標準的なQAとは異なり、エージェントは事前のデータスキーマ知識がない状態で、高レベルな質問に答えるためにどのテーブル、メタデータ、フィルタ、または計算が必要かを判断しなければなりません。

現在の評価手法はエンドツーエンドの正確性に依存しており、以下の異なるコンポーネント間の失敗を混同してしまいます：

• 検索 (Search): 無関係、不完全、または欠落したソースの取得。
• プランニング (Planning): 質問を誤った、あるいは不完全なサブクエスチョンへと分解すること。
• データ分析 (Data Analysis): 不正確なクエリ/コードの記述、結果の誤解釈、またはスキーマエラー。
• エージェント・ポリシー (Agent Policy): 次に何をすべきか、いつ停止すべきか、あるいはどのように証拠を統合すべきかを決定するターン単位の意思決定プロセス（アクション・ポリシー）。

既存のベンチマーク（例：LakeQA、KramaBench）やエージェント評価（例：DCI、Metadata Reasoner）は、これらの失敗モードを分離できていません。その結果、エージェントの失敗が、検索インフラの不備によるものなのか、推論チェーンの弱さによるものなのか、あるいは実行ポリシーの欠陥によるものなのかが不明確なままとなっています。

2. メソドロジー: SANA フレームワーク

著者らは、エンドツーエンドのEQAタスクの精度を特定のコンポーネントの失敗へと分解するために設計された診断的アブレーション・フレームワークである SANA (Search Agent Navigation Ablation framework) を提案しています。

2.1 タスク・プロファイリング

SANAは、解決済みのEQAタスクを、グラウンドトゥルース（正解）情報を含む ランタイム・プロファイル へと変換します：

1. ソース・シーケンス (Source Sequence): 各サブクエスチョンに対して必要とされる、正解データセット ($D_{gold}$) の順序付けられたシーケンス。
2. サニタイズされたサブクエスチョン (Sanitized Subquestions): 検索ターゲットのリークを防ぐために、データセット名の直接的な言及を削除したサブクエスチョンのシーケンス ($\tilde{Q}$)。（例：「nypd_crimes」を「NYPDが報告した犯罪レポートを見つける」に置き換えるなど）
3. 実行記録 (Execution Records): データ分析を必要とする各ステップにおける、データセット、分析の意図、正しいコード/クエリ、および中間回答の仕様。

2.2 意図に基づくアブレーション (Intent-Based Ablation)

SANAは、エージェントのアクション・ポリシー（次に何をすべきかの決定）を維持したまま、システムコンポーネントを 理想化されたバージョン に置き換えることで、各コンポーネントの寄与を分離します。フレームワークは、アブレーションのための3つの軸を定義しています：

• プランニング・アブレーション (Planning Ablation): エージェントはサニタイズされたサブクエスチョンのシーケンス ($\tilde{Q}$) と各ステップの目標を受け取りますが、依然として検索クエリの策定と分析の実行を行わなければなりません。これは、エージェントが正しい分解に従うことができるかをテストします。
• 検索アブレーション (Search Ablation): 標準的な検索ツールを、検索空間を $D_{gold}$ に厳格に制限するオーラクル的なオペレーター ($f_{ideal}$) に置き換えます。エージェントは依然として「何を」検索し「いつ」検索するかを決定しますが、検索の精度は完璧になります。
• データ分析アブレーション (Data Analysis Ablation): 標準的な実行ツールを $g_{ideal}$ に置き換えます。これは、エージェントの意図が注釈付きの実行記録と一致しているかを確認します。一致した場合は検証済みの中間回答を返し、一致しない場合は、表明された意図に対して正しいコードを生成するより強力なモデルを使用します。

2.3 評価セットアップ

このフレームワークは、2つのベンチマークに適用されました：

• LakeQA: 大規模なデータレイク設定（約4,000万ドキュメント、135タスク）。
• KramaBench (変換版): データ発見を必要とするように適応させた、小規模なデータ・トゥ・インサイト設定（1,764ソース、83タスク）。

実験は、固定された予算 ($B=30$ ツールの呼び出し回数) と実行時間の下で、2つのモデルサイズ (gpt-5.4-nano および gpt-5-mini) を用いて行われました。研究では、Naive (ベースライン)、Standard (現在のベストプラクティス)、および Ideal (アブレーション) の構成を比較しています。

3. 主な結果

3.1 LakeQA の知見 (大規模な発見)

• 検索が主要なボトルネックである: 理想的な検索（オーラクル検索）は、BM25と比較して、gpt-5.4-nanoで +14.1%、gpt-5-miniで +13.3% セマンティック一致（SM）を向上させました。正解ソースをプリロードすることでさらに高い利得（nanoで+28.9%）が得られ、これは、能力の低いエージェントが検索ナビゲーション（クエリの策定やソースへのコミット）において著しく苦戦していることを示しています。
• データ分析は一貫したボトルネックである: 理想的なデータ分析は、gpt-5-miniのSMを +18.5% 向上させました。これは、より強力なモデルであっても、正しい意図を特定できても実装（SQL/Python生成）において失敗することが多いことを示唆しています。
• プランニングはそれほど制限的ではない: 理想的なプランニングによる利得は限定的でした（nanoで+3.0%、miniで+9.6%）。分析により、エージェントはしばしば正解の分解と同様のプランを生成できるものの、実行中にそれを 実行（フォロー） する際に失敗していることが明らかになりました（軌道の逸脱）。
• 残留的なポリシーの失敗: すべてのコンポーネントを理想化したとしても、ギャップが残ります（例：gpt-5-miniのSM 76.3% 対 潜在的な100%）。失敗には、最終回答の幻覚、ループによる予算の浪費、または証拠の検証の失敗が含まれます。

3.2 KramaBench の知見 (小規模な分析)

• データ分析が支配的である: この設定では、データ分析が主要なボトルネックであり、理想化した場合にSMを +24.1% (nano) および +14.5% (mini) 向上させました。
• 検索はそれほど重要ではない: 検索の改善はわずか（+2.4% 〜 +6.0%）であり、これはスケールの小ささと、タスクの性質が広範な発見よりもデータ・トゥ・インサイト・パイプラインに近いことを反映しています。
• プランニングの影響: プランニング・アブレーションは、強いモデルよりも弱いモデル (nano) において、より顕著な相対的利得を示しました。これは、構造化された分析タスクにおいて、明示的な分解が弱いエージェントをより助けることを示唆しています。

3.3 失敗分析

失敗したトレースの監査により、明確な失敗プロファイルが明らかになりました：

• gpt-5.4-nano: 失敗は、ソースの標的化、プランの逸脱、ターンの浪費（繰り返されるループ）、および早期終了に分散していました。
• gpt-5-mini: 失敗は 実行/計算 (57.2%) と 最終化 (35.7%) に集中していました。このモデルは通常、正しい証拠に到達しますが、操作を正しく実装するか、最終的な回答を合成することに失敗します。

4. 貢献

1. SANA フレームワーク: 解決済みのEQAタスクをランタイム・プロファイルに変換し、プランニング、検索、およびデータ分析の理想的なインターフェースを構築しながら、エージェントのポリシーを保持する診断的アブレーション・フレームワーク。
2. 制御された評価: 検索、プランニング、および実行のそれぞれに対するエンドツーエンドの寄与を、固定された条件下で分離した、LakeQAおよび変換されたKramaBenchを用いた体系的な評価。
3. 経験的な診断: データ分析が（一貫した制限である）、検索が（大規模な発見における主要な制限である）、そして残留的なポリシーの失敗（軌道制御、検証、停止基準）が（コンポーネントを理想化した後でもなお存在する）という証拠。

5. 重要性と主張

本論文は、SANAが、EQAエージェントの評価を「ブラックボックス」的なエンドツーエンドの正確性から、特定の失敗モードを特定する 診断的アプローチ への必要な転換を提供するものであると主張しています。

• 正確性の解体: 著者らは、エンドツーエンドの正確性だけでは、検索、プランニング、またはエージェント・ポリシーのどこに失敗があるかを区別できないと主張しています。SANAは、これらの特定の領域における進捗を体系的に比較することを可能にします。
• ポリシー vs コンポーネントの質: 結果は、EQAエージェントの将来の改善には、単に優れたリトリーバーや強力なコード生成以上のものが必要であることを示唆しています。「残留ギャップ」は、より強力なランタイム・ポリシー、すなわちサブゴール（小目標）の進捗を追跡し、検証されたソースにコミットし、軌道の逸脱から回復し、最終回答を提出する前に中間証拠を検証できる能力が必要であることを示しています。
• 文脈依存のボトルネック: ボトルネックは普遍的なものではなく、ベンチマークの構造（例：大規模なレイクでは検索が支配的だが、より小規模でインサイト重視のタスクでは分析が支配的になる）によって変化することを強調しています。

著者が認める限界事項:

• 診断的近似: 理想的なツールはオーラクルの近似であり、プロファイル外の代替となる有効なソースを評価しない可能性があります。
• タスクの範囲: 結論は、評価されたタスク・スイート（LakeQAおよび変換されたKramaBench）に特有のものであり、すべてのエージェント・ベンチマークに一般化できるとは限りません。
• 判定への依存: いくつかの指標（セマンティック一致、プランの軌道、失敗のラベル付け）はLLM判定に依存しており、偽陽性や偽陰性を導入する可能性があります。