技術的サマリー：LLM エージェントはどの程度の数のツールを見るべきか？偶然補正された回答

1. 問題提起

大規模言語モデル（LLM）エージェントは、モデルがタスクの実行を試みる前に、レジストリから候補ツールの短縮リストを選択するための検索システムを必要とする。重要な設計上の選択は、検索深度 $K$（提示されるツールの数）を決定することである。現在のシステムは、クエリの難易度に関係なく、通常 固定の $K$（例：上位 5 つまたは 10 つのツールを表示）を採用している。このアプローチは、2 つの矛盾する課題に直面している。

• ツールが少なすぎる場合： 正しいツールが短縮リストから除外され、即座に失敗する可能性がある。
• ツールが多すぎる場合： モデルは過剰なノイズ（ダミー）の中から正しいツールを特定することに苦しみ、トークンコストが著しく増加する（100 個のツールで約 20,000 トークン）。

特定のクエリやレジストリに対して選択された深度 $K$ が適切かどうかを評価する標準的な指標は存在しない。既存の検索指標（$nDCG@K$ など）は文書検索向けに設計されており、プールサイズが小さい（50〜500 個のツール）こと、および成功において偶然が重要な役割を果たすことという、ツール選択特有の制約を考慮していない。

2. 手法

2.1 ビッツ・オーバー・ランダム（BoR）指標

本論文は、検索深度の評価のための偶然補正ツールとして、Bits-over-Random（BoR） 指標を導入する。BoR は、同じ深度におけるランダム選択による成功確率に対する、システムの成功率を測定する。

• 数式： $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$：観測された成功率（正しいツールが上位 $K$ に入っているクエリの割合）。
  • $P_{rand}$：偶然によって少なくとも 1 つの関連項目が含まれる確率。超幾何分布を用いて計算される。単一ツールクエリ（$R_q=1$）の場合、$P_{rand} = K/N$ であり、ここで $N$ はレジストリのサイズである。
• 解釈：
  • $BoR = 0$：性能は偶然と同等。
  • $BoR > 0$：性能は偶然を上回る。
  • 自己剪除特性： $K$ が増加すると、$P_{rand}$ も増加する。その結果、$P_{obs}$ が一定であっても、短縮リストが成長するにつれて報酬信号（BoR）は自然に減少する。これは、設計された深度ペナルティを必要とせずに、不要な深度に対する内在的なペナルティを生み出す。

2.2 強化学習（RL）定式化

著者らは、BoR 指標の有用性を検証するために、$K$ の選択をマルコフ決定過程（MDP）として定式化した。

• 状態： エージェントは、これまでに検討されたツールの類似度スコア、現在の深度 $k_t$、レジストリサイズ $N$、および BoR の天井値を観測する。
• 行動： 二値決定：STOP（現在の短縮リストを LLM に提示する）または CONTINUE（次の候補を検討する）。
• 報酬：
  • エージェントが停止し、正しいツールが存在する場合：報酬 = $-\log_2(P_{rand})$。
  • 正しいツールが存在しない場合：報酬 = 0。
  • 不要な探索を抑制するための小さなステップコストが存在するが、特定の深度の好みをエンコードするものではない。
• エージェント： 本研究では、生産アーキテクチャを提案するのではなく、指標の性質を探るために、意図的に単純なエージェント（DQN および表形式 Q-learning）を使用している。

2.3 ベースライン

BoR アプローチは、以下の手法と比較された。

1. 固定-$K$： すべてのクエリに対して上位 $K$ 個のツールを提示する。
2. F1 除去実験： 深度認識のみ（偶然補正なし）が適応行動を誘発するかどうかをテストするために、F1 ベースの報酬（リコール=1 の場合、$F1 = 2/(K+1)$）で訓練された RL エージェント。

3. 主要な結果

評価は、3 つのベンチマーク（BFCL、MetaTool、ToolBench）、複数のスコアラー（BM25、MiniLM、BGE）、および 20 から 3,251 個のツールにわたるレジストリサイズで行われた。

3.1 適応的深さと固定深さの比較

• BFCL（370 個のツール）： BoR エージェントは、平均深度 $K=7.4$ で 90.3% のカバレッジを達成し、7 倍少ないツールを提示しながら、固定深度 $K=50$（90.8%）のカバレッジとほぼ同等の結果を得た。
• ToolBench（3,251 個のツール）： 固定深度 $K=5$ は、BoR エージェント（61.9%）よりも高い集約カバレッジ（64.7%）を達成した。しかし、固定ベースラインは「困難な」クエリ（正しいツールが 6 位〜20 位にランクされている場合）では完全に失敗した。BoR エージェントはこれらの困難なクエリで深度を $K=5.7$ に適応させ、固定-$K$ が完全に逃したケースの 16.7% を回復した。
• MetaTool： BoR エージェントは、レジストリサイズとスコアラーの品質に対して感度を示した。弱い BM25 スコアラーの場合、ランキングの悪化を補うために深度を大幅に拡大（$K=80.7$）したが、F1 ベースラインはスコアラーの品質に関係なく浅い深度のままだった。

3.2 スコアラーの品質と適応

BoR 報酬信号は、基盤となるスコアラーの品質に適応する。

• 強力な埋め込みスコアラー（MiniLM）の場合、正しいツールが上位に現れるため、エージェントは早期に停止した（$K \approx 1.4$）。
• 弱いスコアラーの場合（MetaTool における BM25）、エージェントは選択性を維持するために検索を拡大（$K \approx 80.7$）したが、F1 ベースラインは適応できず、早期に停止して正しいツールを見逃した。

3.3 下流のツール選択検証

BFCL において Claude Sonnet 4.6 を使用し、提示されたセットから LLM が正しいツールを選択する能力が、より短く適応的なリストによって向上するかどうかを検証した。

• 選択精度： 正しいツールが存在する場合、Claude は BoR エージェントの短いリスト（$K=2.2$）で 93.1% の頻度でそれを選択したが、固定 $K=5$ の場合は 87.1% であった。
• 中程度の難易度： 正しいツールが 2 位〜5 位にランクされているクエリにおいて、BoR エージェントは選択精度を 76.8% に向上させたのに対し、固定 $K=5$ は 60.9% であった。
• 結論： ノイズ（ダミー負荷）の数を減らすことは、集約的な「発見」率が高固定-$K$ ベースラインよりもわずかに低い場合でも、LLM の意思決定精度を向上させる。

4. 意義と主張

本論文は、以下の貢献と意義を主張している。

1. 深度のための最初の偶然補正指標： 標準的な検索指標でしばしば無視されているランダム成功の確率を補正することで、ツール選択における検索深度を評価するために特別に設計された最初の指標として BoR を導入する。
2. 自己剪除報酬： BoR が深度とともに自然に減少する報酬信号を提供し、設計された深度ペナルティなしに RL エージェントが最適な停止点を学習できるようにすることを示す。
3. 適応的効率： 適応ポリシーは、大規模な固定短縮リストと同等のカバレッジを達成しながら、トークン消費とモデルの混乱を大幅に減少させることができることを示す。
4. 診断的有用性： この指標は、破損または弱いスコアラーを特定できる（例：エージェントがツールを見つけるためにレジストリ全体を検索することを強要される場合、スコアラーが非効率的であることを示す）。
5. 下流への影響： 適応的深度は、ツールをより効率的に検索するだけでなく、認知負荷を軽減することで、LLM が正しいツールを選択する下流の能力を向上させるという証拠を提供する。

認められた限界：
著者らは、BoR が最大のリコールではなく選択性を最適化することに注意を促している。したがって、均一な深度がほとんどのクエリに十分である場合、固定-$K$ ベースラインは時としてより高い集約カバレッジを達成し得る。使用された RL エージェントは生産システムではなく単純なプローブであり、評価はツールが「提示された」かどうかに焦点を当てており、ツールの実行引数の正しさについては評価していない。