技術要約: NTILC (Learned Compressionによるニューラル・ツール・インボケーション)

1. 問題提起

大規模言語モデル（LLM）に依存するエージェント・システムは、呼び出し可能なAPI、関数、およびローカル・アクションの広範なレジストリにますます依存するようになっています。標準的なアプローチである**インコンテキスト・ツーリング（In-Context Tooling: ICT）**は、ユーザーのクエリを処理する前に、利用可能なすべてのツールの全テキストをプロンプト内に挿入します。これは小規模なレジストリには効果的ですが、この手法はツール数に対して線形（$O(N)$）に増加するトークンコストを発生させます。

レジストリが拡大するにつれ（例：5,000個以上のツール）、ICTは以下の3つの決定的な限界に直面します：

1. コンテキストの枯渇: ツールのスキーマ（平均約120トークン）は急速にコンテキスト・ウィンドウを消費し、タスク固有の情報のための領域をほとんど残しません。
2. レイテンシとコスト: 膨大なコンテキスト・ウィンドウの処理は、プリフィル（prefill）時間と推論コストを増大させます。
3. 選択精度の低下: 多数の無関係なツール（ディストラクター）の存在、およびセマンティック・ブラー（意味的な曖昧さ）——すなわち、ツール同士が自然言語による説明ではほぼ同一であるが、実行シグネチャ（例：異なる引数の型）が互いに互換性を持たない現象——により、ツール選択のエラー率が高まります。

2. 手法: NTILC

著者らは、線形スケーリングするインコンテキスト・レジストリ・スキャニングを、外部の学習済み潜在表現によるリトリーバル（検索）ステップに置き換えるフレームワークであるNTILC (Neural Tool Invocation via Learned Compression) を提案しています。

2.1 推論パイプライン

NTILCは、全レジストリをプロンプトに注入する代わりに、以下のように動作します：

1. 意図生成 (Intent Generation): バックボーンとなるLLM（$M$）がユーザーのクエリ（$\chi$）を受け取り、自然言語によるツールの意図を含むプラン・ブロック（$P$）を生成します。
2. エンコーディング (Encoding): 専用のエンコーダ（$E$）が、これらの意図を学習済みの埋め込み空間へとマッピングします。
3. 潜在的リトリーバル (Latent Retrieval): 事前構築されたオフラインのツール・インデックス（$V$）に対して最近傍探索（NNS）を実行し、最も関連性の高いツール・クラスター識別子（$\hat{t}$）をリトリーブします。
4. 制約付き生成 (Constrained Generation): リトリーブされたツールのスキーマがLLMに渡されます。Outlines ライブラリを使用し、有限オートマトン（FSM）によってモデルの出力語彙を制約することで、生成される引数が構文的に有効であり、かつ選択されたツールのシグネチャに厳密に従うことを保証します。
5. 実行 (Execution): ディスパッチャーがツールを実行し、その結果を最終的なレスポンス合成のためにLLMに返します。

このアプローチは、レジストリをコンテキスト内のテキストとしてではなく、埋め込みインデックスとして外部化することにより、レジストリ・プロンプトのトークンコストを $O(N)$ から $O(1)$ へと削減します。

2.2 学習目的関数

中心となる課題は、意味的に類似しているが機能的には互換性がないツールを解決すること、すなわち「セマンティック・ブラー」の解消です。NTILCは、エンコーダ（$E$）に対する複合的な学習目的関数を通じてこれに対処します。

1. Circle Loss: 一般的なクエリとツールの整合に使用され、ペアワイズの類似度を重み付けすることで、リトリーバルの決定境界付近に勾配信号を集中させます。
2. Functional Margin (FM) Loss: 意味的な説明は似ているが、シグネチャが互換性を持たないツールを分離するために設計された新しい損失項です。
   • 引数の名前、型、およびリターン・スキーマの積集合に基づいて、適合度スコア（$compat$）を計算します。
   • 負のペアに対して、その機能的な不適合性に基づいた斥力重み（$w_{ij}$）を割り当てます。
   • 「ハード・ネガティブ」（意味的には近いが機能的には異なるツール）に対して特異的なマージン・ペナルティを適用し、それらを埋め込み空間内で押し離します。

総計の目的関数は $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$ となります。

3. 主な貢献

1. フレームワークの革新: レジストリを学習済み埋め込みインデックスとして外部化することで、ツール・レジストリをプロンプトの長さに依存させず、レジストリ・プロンプトのトークン数を実質的にゼロに削減するNTILCを導入しました。
2. Functional Margin Loss: 意味的には類似しているが機能的には異なるツール間の分離を明示的に強制する、シグネチャ認識型の損失関数を提案し、「セマンティック・ブラー」の問題に直接対処しました。
3. 包括的な評価: 5つの公開データセット（ToolBench, BFCL, API-Bank, MetaTool, ToolEyes）を用いて、様々なレジストリ・サイズにおける性能を評価しました。

4. 実験結果

著者らは、公開データセットにおいて、ICTベースライン（Qwen3-27B, Ministral 3, Kimi Moonlight, および ChatGPT 5 や Claude Sonnet 4.6 などのクローズドソースモデルを含む）に対するNTILCの性能を評価しました。

• コンテキスト削減: NTILCはコンテキスト・ウィンドウの消費量を95%以上削減します。5,000個のツールを持つレジストリの場合、ICTは約600,000の入力トークンを必要としますが、NTILCは意図と選択されたスキーマのみ（<5,000トークン）を必要とします。
• レイテンシ: NTILCは、ロングコンテキストICTベースライン（例：ToolBenchにおいて、レイテンシが5,663msから1,452msに低下）と比較して、推論レイテンシを最大74%削減します。
• 精度: NTILCは、Top-1 および Top-5 精度において、最先端のICTモデルと同等の性能を維持しています。
  • ToolBenchにおいて、NTILCはレジストリ・プロンプト・トークンがゼロの状態で98%のTop-1精度を達成しました。
  • セマンティック・ブラーのサブセットにおいて、Functional Margin Lossの導入により、Semantic-Blur Accuracyは70.8%（Circle Lossのみの場合）から**75.0%に向上し、同時にFunctional Error率は8.7%**に減少しました。

5. 意義と主張

本論文は、ツール・レジストリがコンテキスト・ウィンドウ内に存在する必要はないことをNTILCが証明していると主張しています。レジストリをコンパクトな埋め込みインデックスに移行することで、本フレームワークは以下を実現します：

• 能力とコンテキスト長のデカップリング: エージェントの性能は、ツール・レジストリの規模に応じて低下することはありません。
• 「セマンティック・ブラー」問題の解決: Functional Margin Lossを通じて、モデルはテキスト的には類似しているが機能的には異なるツールを区別することを学習し、これは標準的なセマンティック・リトリーバルの失敗モードです。
• スケーラビリティの実現: このアプローチにより、過度なトークンコストやレイテンシのペナルティを受けることなく、大規模なツール・レジストリを備えたエージェントの展開が可能になります。

著者らは、NTILCには、オフライン・インデックス作成が必要であり、頻繁な再インデックスなしでは非常に動的な、あるいは状態依存的なツールのドキュメントメントに対して苦戦する可能性があるという制限事項があることも述べています。また、NTILCは選択の効率を向上させるものの、安全性やポリシーの強制（例：許可リスト）は、ディスパッチ・メカニズムと併用すべき別の関心事であることを強調しています。