技術要約：使わないことを学ぶ：エージェンティック強化学習におけるツールの乱用抑制

1. 問題定義：エージェンティックRLにおけるツールの乱用

大規模言語モデル（LLM）の最近の進歩は、複雑な推論タスクを解決するために外部ツール（検索エンジンやPythonインタープリタなど）との相互作用を可能にする、エージェンティック強化学習（Agentic RL）フレームワークの開発を促進しました。これらのフレームワークは問題解決能力を向上させる一方で、「ツールの乱用（tool abuse）」と呼ばれる重大な問題を引き起こします。

標準的なエージェンティックRLでは、モデルは主にタスクの成功に対して報酬を受け取ります。その結果、エージェントは、内部的な推論（単純な算術や基本的な事実に関する質問など）によって効率的に解決できるクエリに対しても、ツール呼び出しをデフォルトの推論戦略として扱うことを学習してしまいます。この挙動は以下の問題をもたらします：

• 不要な計算量： 冗長なツール呼び出しは、レイテンシとデプロイコストを増加させます。特に、外部サービスが使用ごとに課金される場合、その影響は顕著です。
• 非効率な探索： 一律のペナルティやツール使用のハードリミット（OTCや標準的なGRPOなど）は、困難なクエリに対する必要なツール使用と、容易なクエリに対する不要な使用を区別できないことがよくあります。このような一律の制約は、真に困難なタスクにおける有用な探索を抑制したり、些細なタスクにおける乱用を抑制できなかったりします。
• 学習シグナルの欠如： 標準的なロールアウト手順は通常、ツールが利用可能な設定下で軌跡（trajectory）をサンプリングします。ツールフリーの軌跡が明示的に存在しないと、学習プロセスには、特定のクエリがモデル自身の内在的な推論のみで解決可能かどうかを判断するための直接的な証拠がなくなり、必要なツール使用と乱用を区別することが困難になります。

2. 手法：効率的なエージェンティック・ポリシー最適化（EAPO）

これらの課題に対処するため、著者らは推論の有効性とツール使用の効率性のトレードオフを最適化するように設計されたマルチツール・エージェンティックRLフレームワークであるEAPOを提案しています。EAPOは、以下の3つのコアメカニズムを導入しています。

2.1 効率性を考慮したロールアウト（Efficiency-Aware Rollout）

すべての軌跡がツールを呼び出す可能性がある標準的なロールアウトとは異なり、EAPOは、各クエリの$M$個の軌跡のロールアウトグループの中に、少なくとも$n$個のツールフリーの軌跡が含まれるようにします。

• 実装： 学習中、プロンプトは一部の軌跡に対してツール使用を明示的に禁止し、ロールアウトモジュールはこれらのサンプルに対してツールの実行を無効にします。
• メカニズム： これにより、ツール拡張型ソリューションとツールフリー・ソリューションの間の明示的な対比が生まれます。これにより、モデルは特定のクエリに対してツール呼び出しが真のパフォーマンス向上をもたらすかどうかを学習できます。
• 効率係数： 各軌跡に対して、効率係数 $\varepsilon(T_i) = \exp(-\beta(c_i - c_{min}))$ が計算されます。ここで、$c_i$ はツール呼び出しの回数であり、$c_{min}$ はグループ内の正しい軌跡における最小のツール呼び出し回数です。これは、グループ内の最も効率的な正解ソリューションと比較して、冗長なツール呼び出しを行う軌跡にペナルティを課します。

2.2 難易度を考慮した報酬形成（Difficulty-Aware Reward Shaping）

困難なタスクにおける学習を妨げるような過度に攻撃的なペナルティを避けるため、EAPOはクエリ固有の難易度を報酬信号に組み込んでいます。

• クエリの難易度 ($d(q)$)： $1 - \frac{1}{M}\sum I(T_i)$ として定義されます。ここで、$I(T_i)$ は軌跡の正誤を示します。グループ内のほとんどの軌跡が不正解である場合、そのクエリは困難であるとみなされます。
• 報酬の調整： 調整後の報酬 $\tilde{R}_i$ は次のように計算されます：
  $$\tilde{R}_i = [d(q) + (1 - d(q))\varepsilon(T_i)] R_i$$
  • 容易なクエリ（低い $d(q)$）の場合、報酬は効率係数 $\varepsilon(T_i)$ によって強く変調され、不要なツール使用に対して強力にペナルティを課します。
  • 困難なクエリ（高い $d(q)$）の場合、報酬はベースとなる正誤報酬 $R_i$ により依存し、たとえ多くの呼び出しを伴ったとしても、ツール支援による解決策を探索するインセンティブを維持します。

2.3 確信度を考慮したアドバンテージ再重み付け（Confidence-Aware Advantage Rewarding）

EAPOは、モデルの生成の確信度（$C_t = \log p_t(y_t)$）に基づいてトークンの重みを調整することで、ポリシー学習を精緻化します。

• 戦略：
  • 正解： 確信度が低い（$\rho$-分位点未満）トークンは、アップウェイト（$W_{pos}$）されます。これにより、不確実だが正しい推論ステップからの学習シグナルを強調します。
  • 不正解： 確信度が高い（$1-\rho$-分位点超過）トークンは、ダウンウェイト（$W_{neg}$）されます。これにより、過剰に自信を持った誤りの影響を軽減します。
• 目的： この再重み付けは、高情報密度のトークンに焦点を当て、自信に満ちた間違いによるノイズを軽減することで、より効果的なポリシーの学習を促進します。

3. 主な貢献

1. 効率性を考慮したロールアウト・メカニズム： モデルがツール使用の必要性と過度な依存を区別できるように、ツールフリーの軌跡を導入する新しい学習戦略。
2. EAPOフレームワーク： 推論性能とツール使用効率を同時に向上させるために、難易度を考慮した報酬形成と確信度ベースのトークン再重み付けを組み合わせた結合最適化フレームワーク。
3. 実証的検証： 9つのベンチマーク（数学および知識集約型）と複数のモデルファミリー（Qwen2.5-3B/7B, Llama3.1-8B）にわたる広範な実験により、精度と効率のトレードオフにおける一貫した改善を実証。

4. 実験結果

著者らは、Base（ツールなし）、TIR（プロンプトベースのツール使用）、GRPO、Reinforce++、ToolStar、ARPO、AEPOを含むベースラインに対してEAPOを評価しました。

• パフォーマンスの向上： EAPOは、すべてのベンチマークにおいて一貫して最高または2番目に優れたパフォーマンスを達成しました。
  • GRPOと比較して、EAPOは平均パフォーマンスを、Qwen2.5-3Bで10.45%、Qwen2.5-7Bで7.27%、Llama3.1-8Bで**9.69%**向上させました。
  • 数学的推論（Pass@1）および知識集約型タスク（F1）において、EAPOはARPOやAEPOのような強力なベースラインを上回りました。
• 効率性の向上： EAPOは、精度を犠牲にすることなく、不要なツール使用を大幅に削減しました。
  • GRPOと比較して、EAPOは平均ツール呼び出し回数を、Qwen2.5-3Bで18.33%、Qwen2.5-7Bで18.33%、Llama3.1-8Bで**24.59%**削減しました。
  • この削減は3Bモデルよりも7Bモデルでより顕著であり、これは小さなモデルの方が排除すべき冗長なツール使用が少ないことを示唆しています。
• アブレーション研究： コールドスタートSFTを除去すると、パフォーマンスが最も大きく低下しました。報酬形成を除去すると、QAタスクにおけるツール呼び出しが急増しました。アドバンテージ再重み付けを除去すると、ポリシーはより保守的になりました。
• ハイパーパラメータの感度： フレームワークは、妥当な範囲内であれば、ツールペナルティパラメータ $\beta$ および確信度再重み付けの重みに対して堅牢です。

5. 意義と主張

本論文は、EAPOが、ツール統合型の推論の恩恵を損なうことなく、エージェンティックモデルがいつツールを使わないべきかを学習できることを示していると主張しています。

• パラダイムの転換： 本研究は、単にツールの頻度を減らすことから、クエリの難易度と内在的な能力に基づいて「不要な」ツール使用を特定し、ペナルティを課すことへと進化させています。
• 実用的なデプロイ： 精度と効率のトレードオフを改善することで、EAPOは、ツール使用が無視できない計算コストや財務コストを伴う実用的なデプロイメントにおいて、エージェンティックRLをより適したものにします。
• 限界： 著者らは、現在のベンチマークが主に困難な問題に焦点を当てていることを指摘しています。効果と効率の両方を同時に評価する「易から難へ」のデータセットを用いて、ツール乱用を効果的に評価することが、今後の評価パラダイムにおける課題となります。

要約すると、EAPOは、エージェントに内部推論と外部ツール呼び出しのバランスを取る方法を教えるための構造化されたアプローチを提供し、ツールが推論のデフォルトの杖ではなく、推論を補完するものとして使用されることを保証します。