Tool-Aware Optimization with Entropy Guidance for Efficient Agentic Reinforcement Learning

技術要約：効率的なエージェンティック強化学習のためのエントロピー誘導によるツール認識最適化（TAO-RL）

問題提起
エージェンティック強化学習（RL）は、複雑な推論のために外部ツール（コードインタープリタなど）の使用を可能にすることで、大規模言語モデル（LLM）を強化する。しかし、学習ループに外部ツールを統合することは、重大な不安定性をもたらす。本論文では、主に2つの失敗モードを特定している：

1. 学習の不安定化： ツールの呼び出しが失敗したり、実行エラーが発生したりすると、ノイズが注入され、トークンパターンの急激な分布シフトを引き起こし、脆弱な方策更新と大きな勾配の変動を招く。
2. 効果的な探索の欠如： 逆に、ツールの使用を抑制する過度に保守的な戦略は、探索を制限し、価値の高いエージェンティックな振る舞いの発見を妨げる。
   既存の手法は、これらの問題のいずれか一方のみに対処していることが多い。例えば、フォーマットの妥当性のみに基づいてデータをフィルタリングし、実行の成功までは確認しない手法や、ツール呼び出し後の重要な決定ポイントと重要でないトークンを区別できない一律のエントロピー正則化を適用する手法である。これらは、退化したアドバンテージ推定（すべてのロールアウトが正解または不正解になる状態）や、ターゲットを絞らない探索インセンティブをもたらす。

手法
著者らは、ツール認識型軌跡フィルタリング（データレベル）とエントロピー誘導型探索（アルゴリズムレベル）を組み合わせ、方策の安定性と推論の深さを最適化する統一フレームワークであるTAO-RLを提案する。このフレームワークは、学習バッチごとに以下の2つの連続したフェーズで動作する：

1. ツール認識型軌跡フィルタリング（データレベル）：
   最適化の前に、高品質な学習分布（$O_{valid}$）を構築するために、2つの相補的な基準に基づいてロールアウト軌跡がフィルタリングされる：

   • 基準1：ツール実行の妥当性： すべてのツール呼び出しが実行に失敗した軌跡は破棄される。これらの軌跡は有効な環境フィードバックを提供せず、ノイズを注入するのみである。フィルタは、少なくとも1回のツール実行に成功している場合は、たとえ結果が不正解であっても保持する。これは、ツールと推論の相互作用に関する有益な信号を依然として提供するためである。
   • 基準2：回答の識別性： 実験的な通過率（$\rho(q)$）が0（すべて不正解）または1（すべて正解）であるクエリは削除される。これらの「退化した」ケースは、識別的な勾配信号を与えないゼロまたは一様なアドバンテージ推定をもたらす。混合した結果（$0 < \rho(q) < 1$）を持つクエリのみが保持される。

2. エントロピー誘導型探索（アルゴリズムレベル）：
   フィルタリングされた軌跡を用いて、TAO-RLはアドバンテージ関数を再形成するためのツール認識型エントロピー誘導ボーナスを導入する。

   • 特定： 本手法は、ツールの実行成功直後のトークン（$M_{post}$）を特定する。
   • エントロピー計算： これらのトークンに対して予測エントロピーを計算する。
   • ターゲット・ボーナス： 高エントロピーなポストツール呼び出しトークンの上位$q_H$割合に対してのみ、正規化されたエントロピーベースのアドバンテージ項を適用する。これにより、一律の正則化を行うのではなく、政策が不確実であり、選択の結果が最も高い重要決定ポイントに探索インセンティブを集中させる。
   • 最適化： 再形成されたアドバンテージはGRPO（Group Relative Policy Optimization）の目的関数に統合され、高品質で対照的な信号と、ターゲットを絞った探索によって更新が行われることを保証する。

主な貢献

• 統一フレームワーク： TAO-RLは、エージェンティックRLのために特別に設計された、データレベルの軌跡フィルタリングとアルゴリズムレベルのエントロピー誘導型探索を結合させた最初のフレームワークである。
• 2基準フィルタリング戦略： ツール実行の妥当性と回答の識別性の両方を考慮した新しいフィルタリングメカニズムを導入し、既存の手法を悩ませている退化した学習信号を効果的に除去する。
• ターゲットを絞ったアドバンテージ再形成： ツールとの相互作用の構造的役割に対処するため、高エントロピーなポストツール呼び出しトークンに探索インセンティブを局所化するエントロピー誘導ボーナスメカニズムを提案する。
• 理論的および経験的検証： フレームワークが勾配の信号対雑音比（SNR）を向上させ、ターゲットを絞った探索のためにステップサイズを調整することを示す理論的分析を提供する。

実験結果
7つの困難な数学的推論ベンチマーク（AIME 2024/2025、MATH500、OlympiadBenchを含む）および3つのモデルスケール（Qwen2.5-1.5B、Qwen3-4B-Base、Qwen2.5-7B）にわたって広範な実験が行われた。

• パフォーマンス： TAO-RLは、平均精度（Avg@K）と通過率（Pass@K）の両方において、ベースライン（TIR、SimpleTIR、AEPO）を一貫して上回った。例えば、Qwen2.5-7Bにおいて、TAO-RLは最強のベースラインであるSimpleTIRと比較して、AIME24のAvg@16で+2.09、AIME25で+2.92の向上を達成した。
• 安定性： 学習曲線は、TAO-RLがTIRやSimpleTIRと比較して、勾配ノルムの変動が著しく小さく、有効なコード率がより安定していることを示しており、ノイズを抑制するフィルタリング戦略の有効性を裏付けている。
• 推論の深さ： TAO-RLは、大幅に長いレスポンス（高いLen@K）とより複雑なコード（高いCode Line数）を生成しており、これは本手法がより深い推論チェーンと精緻なツール使用行動を育成していることを示している。
• 汎化性能： モデルはLiveCodeBenchベンチマークにおいて強力な分布外（OOD）汎化能力を示し、精度とコード生成の深さの両方でベースラインを上回った。
• アブレーション研究： 軌跡フィルタリングまたはエントロピーボーナスのいずれかを削除すると、大幅な性能低下を招き、両方のコンポーネントが必要かつ相互に強化し合うものであることが確認された。

意義と主張
本論文は、TAO-RLがエージェンティックRLにおける訓練の安定性と効果的な探索の間の根本的な緊張関係に対処することを主張している。厳格なデータフィルタリングを通じて「クリーンで情報量の多い訓練基盤」を確立し、ターゲットを絞ったエントロピーボーナスを通じて「より強力な推論行動」を駆動することにより、TAO-RLは最適化プロセスを不安定にすることなく優れた性能を達成する。著者らは、彼らのアプローチが単なるフォーマットフィルタリングや一律の探索を超え、ツール統合によって導入される特有のノイズと決定ダイナミクスを扱うための原則的な方法を提供していることを強調している。この研究は、効果的なエージェンティック学習には、単に多くのデータや広範な探索ではなく、よりスマートなデータ選択と、クリティカルな局面における精密な探索インセンティブが必要であることを示唆している。