技術要約：関数呼び出しエージェントにおける合成データの言語的および引数の多様性

問題提起

大規模言語モデル（LLM）が外部APIやツールと相互作用することを可能にする関数呼び出しエージェントの開発は、現在、高品質で多様な学習データの不足によって阻害されている。先行研究では、関数自体の多様性（様々なドメインの網羅）、呼び出し構造（シングルターン対マルチターン）、およびレスポンスタイプ（コールあり対なし）の必要性については対処してきたが、以下の2つの重要な次元が未だ十分に探索されていない：

1. 言語的多様性（Linguistic Diversity）: ユーザーのリクエストにおける形状、スタイル、および意味的表現のバリエーション。既存のデータセットは、浅いバリエーションや固定されたプロンプトテンプレートに依存する傾向があり、同一の意図をユーザーがどのように言い換えるかという全スペクトラムを捉えきれていない。
2. 引数の多様性（Argument Diversity）: パラメータ値（例：特定の都市名、株価ティッカー、日付）のバリエーション。生成されたデータセットは「ヘッド（頻出）」値（例：「New York」、「AAPL」）に集中する傾向があり、モデルがより一般的でない「テイル（稀少）」値を扱う準備ができていない可能性があり、これがアウトオブディストリビューション（OOD）シナリオにおける堅牢性を制限している。

メソドロジー

著者らは、手動によるルール、定義済みのタクソノミー、または固定されたペルソナプールに依存することなく、多様性を最適化する新しいデータ生成パイプラインを提案している。彼らのアプローチの核となるのは、限界的な多様性寄与度指標を最大化するようにアイテムを反復的に選択する**貪欲な多様生成手順（greedy diverse generation procedure）**である。

コアコンポーネント

1. 多様生成フレームワーク:

   • システムはラウンド形式で動作し、候補アイテムを生成し、既存の集合 $E$ に候補 $c$ を追加した際の集合レベルの多様性指標 $\tilde{D}$ の限界増加量として定義される多様性スコア $D(c; E)$ に基づいて上位 $b$ 個の候補を選択する。
   • プロセスは、指示 $I$ と既存の例 $E$ に基づいて候補を生成するためにLLMを使用する。
   • 決定的なことに、指示は、以前の候補のスコアと、無効または不正確なアイテムを排除するフィルタリングプロセス $F$ に基づいて、後続のラウンドで更新される。これにより、データ空間の過小評価されている領域へと生成を誘導するフィードバックループが作成される。

2. 引数値の生成:

   • 前処理: 異なるAPI間のパラメータを、意味的類似性（埋め込みを使用）に基づいてクラスタリングし、グループ（例：「都市名」、「株価ティッカー」）を特定する。
   • 最適化: 数値および文字列パラメータに対して、システムは「仮想拡張（virtual augmentation）」戦略を採用する。LLMは大量の候補（例：25個）を生成し、そこから**クラスターエントロピー（Cluster Entropy）**を最大化するようにサブセットを選択する。この指標は、意味的クラスターにわたる値の分布のエントロピーを測定し、頻出するヘッド値ではなくテイル値の選択を促進する。
   • 一貫性: 連続的なAPI呼び出しの場合、論理的な整合性を確保するために、最後のAPIから逆方向にパラメータを生成する。一方で、並列呼び出しの場合は、API間で共有コンテキスト（例：同じ場所）を確保する。

3. クエリ（リクエスト）生成:

   • ターゲットとなる関数と引数値が与えられると、システムは自然言語のクエリを生成する。
   • 多様性は、**相互ランク融合（Reciprocal Rank Fusion: RRF）**を介して導出される複合指標を用いて最適化される。この手法は、複数の独立した指標からのランキングを融合する：
     • 語彙的: タイプ・トークン比（TTR）、圧縮率。
     • 構文的: 解析木のエントロピー、クエリ長の分散。
     • 意味的: パラフレーズの多様性（埋め込み類似度）、Chamfer距離、Vendiスコア。
   • LLMジャッジが、生成されたクエリが特定のAPI呼び出しとパラメータを論理的に正当化しているかを検証する。

4. ディストラクター（妨害要素）の選択:

   • 現実的な学習例を作成するために、システムは「ハードネガティブ」なディストラクター（無関係なAPI）を、クエリに意味的に近いが正解ではないものとして取得する。これは、埋め込みベースの検索と、LLMベースの妥当性フィルタ、および関連性スコアのカットオフを決定するための「エルボー法」を介して実現される。

主な貢献

1. 新しい多様性コンポーネント: 限界的な多様性指標を最適化することで、多様なアイテムを生成するための、汎用的でルールフリーなメカニズム。このコンポーネントは、手動の再構成なしに新しいドメインに適応可能である。
2. 合成データ生成技術: このコンポーネントを関数呼び出しデータに適用し、特にクエリにおける言語的バリエーションと、パラメータにおける引数値の多様性を標的にしている。
3. 包括的な分析: 多様性のこれらの特定の次元を高めることが、特にOOD設定においてモデルの性能を向上させることを示す徹底的な評価。

結果

著者らは、彼らの手法を、最先端（SoTA）のベースラインである ToolAce および APIGen、ならびに BFCL ベンチマークと比較して評価した。

内在的評価（データ品質）

• 引数の多様性: 提案手法は、ToolAceおよびAPIGenと比較して、有意に高い NCD多様性 および クラスターエントロピー スコアを達成した。例えば、通貨引数において、ベースラインが「USD」に支配されていたのに対し、提案手法は様々な通貨にわたるバランスの取れた分布を生成した。
• 言語的多様性: 生成されたデータセットは、ほぼすべての言語指標（Simpsonの指数、Tree Edit Distance、Semantic Spread、Vendi Score）において、統計的有意性をもってベースラインを上回った。唯一の例外はクエリの長さの分散であり、ベースラインには外れ値が見られた。
• 正確性: 手動検査および自動判定により、多様性の向上がデータの正確性を損なわないことが確認された。生成された例は引き続き現実的かつ有効であった。

外在的評価（モデル性能）

著者らは、提案されたデータセットを用いて Llama-3.1-8B-Instruct をファインチューニングし、ToolAceおよびAPIGenのデータでファインチューニングされたモデルと比較した。

• アウトオブディストリビューション（OOD）性能: 提案されたデータセットで訓練されたモデルは、訓練されていないデータセットでテストされた際に、優れた汎化性能を示した。
  • APIGen テストセットにおいて、提案モデルはToolAceで訓練されたモデルを 4.2ポイントの精度差 で上回った。
  • ToolAce テストセットにおいて、提案モデルはAPIGenで訓練されたモデルを 3.8ポイントの精度差 で上回った。
• BFCLベンチマーク: Berkeley Function-Calling Leaderboard（非ライブ・サブセット）で評価した際、提案されたデータセットで訓練されたモデルは 85.2%の精度 を達成し、ToolAce (77.8%) および APIGen (77.1%) の対抗馬を大幅に上回った。これは、ベースラインに対して 約7.4%の精度向上 を意味する。

意義と主張

本論文は、現在の合成データセットにおける言語的多沢性と引数の多様性の欠如が、関数呼び出しエージェントの堅牢性におけるボトルネックであると主張している。これらの次元を汎用的な指標駆動型アプローチを用いて直接最適化することで、著者らは以下を実証している：

1. 多様性が汎化を促進する: 訓練データの多様性の向上は、OOD性能の測定可能な向上につながり、多様なデータで訓練されたモデルは、未知のユーザー表現や稀なパラメータ値をより適切に扱えることを示唆している。
2. 手動キュレーションに対する自動化: 提案手法は、手動によるルール作成や固定されたペルソナ定義なしに優れた多様性を達成しており、これにより新しいドメインへのスケーラビリティと適応性を備えている。
3. 実用的な影響: この手法は、合成ベンチマークと現実世界の型エージェントの性能との間のギャップを埋める、高品質な訓練データを生成するための経路を提供しており、BFCLベンチマークにおける大幅な精度向上によってそれが証明されている。

著者らは、現在の分析が英語に限定されていること、生成プロセスが強力な（したがってコストのかかる）LLMによるフィルタリングに依存していること、および本研究がシングルターンの相互作用に焦点を当てていることから、マルチターンの多様性が今後の課題であることを述べ、限界については控えめな姿勢を保っている。