技術概要：CARL（Competence-Aware Reinforcement Learning）

1. 問題定義

ツール（例：検索エンジン、電卓）を備えた大規模言語モデル（LLM）は、外部支援を必要とするタスクと、パラメトリック知識で解決可能なタスクを区別できずに失敗することが多い。人間は自然に自身の知識の境界を認識する（例：$2+2$ は電卓を必要としないが、$347 \times 28$ は必要である）が、LLM は通常そうではない。

既存のアプローチは、主に 2 つの限界に直面している：

• プロンプトベースの方法（例：ReAct、RAG）： これらは推論時にモデルにツールの使用を指示するが、モデルがいつツールが必要かを認識するように訓練しない。その結果、モデルは精度を向上させることなく、遅延とコストを増大させる不必要なツールの呼び出しを頻繁に行う。
• 軌道レベルの強化学習（RL）： 現在の RL 手法（例：Search-R1）は、完全な軌道に対して単一の結果報酬（例：完全一致）を割り当てる。これによりクレジット割り当て問題が生じる：
  • 無差別な強化： 成功した軌道において、有益なツール呼び出しも、不必要または誤った呼び出しも、ともに正の強化を受ける。
  • 選択性の欠如： 最終的な成功シグナルがすべてのセグメントに共有されるため、モデルは簡単な質問でツールをスキップすることを学習できない。
  • 外部依存： ステップレベルのクレジット手法は、多くの場合、学生モデルの知識と乖離する可能性がある外部ジャッジ（例：GPT-4）に依存するか、高価なステップレベルのアノテーションを必要とする。

2. 手法：CARL

著者らは、モデル自身の能力境界を学習するクリティックを訓練し、外部ジャッジなしで微細なクレジット割り当てを可能にするフレームワークである**CARL（Competence-Aware Reinforcement Learning）**を提案する。

2.1 構造的分解

CARL は、ツール使用軌道が純粋な推論軌道にはない構造的に観測可能な境界を持つという事実に依存する。軌道はこれらの境界に基づいてセグメントに分解される：

1. Invoke（呼び出し）： モデルは推論とコードブロック（例：search(query)）を生成する。環境はコードを実行し、生出力（stdout）を生成する。
2. Assimilate（吸収）： モデルは生出力を読み取り、<context> ブロックを生成して関連情報を抽出する。生出力は、この抽出された内容に置き換えられ、コンテキストに反映される。
3. Commit（確定）： モデルは最終的な回答を生成する。

この分解により、各セグメントが「オプション」となる**半マルコフ決定過程（SMDP）**が作成される。

2.2 セグメントレベルのアドバンテージ

CARL は、軌道全体に単一のスカラー報酬を割り当てるのではなく、SMDP ベルマン方程式を用いて、単一の二値終端報酬（$R \in \{0, 1\}$）からセグメントごとのアドバンテージを導出する。

$k=0 \dots N$ のセグメントを持つ軌道において、セグメント $k$ のアドバンテージは以下の通りである：

• 中間セグメント： $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
• 最終セグメント： $A(seg_N) = R - V_\phi(s_N)$

ここで、$V_\phi(s)$ は現在のコンテキストが与えられたときの成功確率を推定する価値関数（クリティック）である。

• メカニズム： 「良い」検索は成功確率の推定値（$V$）を高めるため、正のアドバンテージをもたらす。「悪い」検索または失敗した抽出は $V$ を低下させるため、負のアドバンテージをもたらす。モデルが既に知っている質問に対する不要な検索は $V$ を変化させないため、ほぼゼロのアドバンテージとなる。
• 重要な相違点： これにより、同一軌道内で相反する符号（例：正しいクエリに対する正のアドバンテージに続き、不適切な抽出に対する負のアドバンテージ）が可能となり、これは軌道レベルの手法には存在しない能力である。

2.3 クリティックの訓練とウォームアップ

クリティック $V_\phi$ は、共有された LLM バックボーンに接続された 2 層の MLP である。

• 訓練ターゲット： クリティックは、$V_\phi(s)$ と終端報酬 $R$ の間の平均二乗誤差（MSE）を最小化するために、モンテカルロ（MC）ターゲットを通じて訓練される。
• ウォームアップ段階： 初期のランダムな勾配がポリシーを破損するのを防ぐため、精選されたウォームアップ段階が不可欠である。クリティックは、最終的な正誤でラベル付けされたベースモデルのロールアウトで訓練される。質問は以下のように分類される：
  • ティア 1： パラメトリック能力を超えている（モデルはツールなしでは失敗する）。
  • ティア 2： パラメトリック能力内にある（モデルはツールなしで成功する）。
  • 軌道は、「ツール強制」と「ツールなし」の両方の条件下で生成され、クリティックに必要かつ不要なツール使用を区別することを教える。
• 外部ジャッジなし： クリティックは、モデル自身のロールアウトと二値の結果のみから学習するため、能力境界は特定のモデルの能力を反映する。

2.4 ポリシー最適化

ポリシーは、セグメントレベルでPPO（Proximal Policy Optimization）を用いて更新される。各セグメントは独自のアドバンテージスカラーを受け取り、そのセグメント内のすべてのトークンに一様に適用される。総損失は、PPO 目的関数とクリティックの MSE 損失を組み合わせる。

3. 主要な貢献

1. 能力認識型価値関数： 二値の結果で訓練され、パラメトリックで解決可能な質問とツール依存の質問を分離することを学習する価値関数。7B スケールでは、これらのティアを区別する際に AUC 0.93 を達成する。
2. 単一結果からのセグメントごとのクレジット： 構造的に観測可能な境界で SMDP ベルマン方程式を利用することで、CARL は単一の二値報酬から各セグメント（呼び出し、吸収、確定）に対して独立したアドバンテージを導出する。これにより、モデルは同じ成功軌道内で、有益な呼び出しに対して正のクレジットを受け取り、エラーや不要な呼び出しに対して負のクレジットを受け取ることが可能になる。
3. 創発的な選択性： この手法により、明示的な指示や外部監督なしに、モデルがいつ助けを求めるかを学習できるようになり、不要なツール呼び出しが削減される。

4. 実験結果

著者らは、Qwen2.5 モデルの 3B と 7B スケールを使用して、5 つのベンチマーク（GSM8K、HotpotQA、2WikiMQA、FinQA、Musique）で CARL を評価し、強力な RL ベースライン（Search-R1 PPO および GRPO）と比較した。

• 精度の向上： CARL は、検索ベースのデータセット全体で平均して、7B で最良の RL ベースライン（Search-R1 PPO）を6.7 点の Exact Match（EM）上回り、3B では9.7 点の EM上回った。
  • 最大の向上は、構成性のあるマルチホップベンチマークであるMusiqueで発生し、**+8.3 EM（7B）および+9.0 EM（3B）**の改善が見られた。
  • 向上はより小さなモデル（3B）で不均衡に大きかった（3B の改善は 7B の改善の 1.4 倍）ため、いつ助けを求めるかを知ることは、限られたパラメトリックメモリを持つモデルにとって重要であることが示唆される。
• ツール使用効率：
  • パラメトリック知識から回答可能な質問（ティア 2）において、CARL は Search-R1 PPO よりも53% 少ないツール呼び出しを行う。
  • ツールの呼び出し頻度が少ないにもかかわらず、CARL はこれらの同じ質問において約 10 EM 点高い精度を維持している。
  • 7B では、簡単な質問での検索をスキップすることにより、総トークン生成量が平均23% 削減された。
• クリティックの較正： 訓練されたクリティックは、成功確率（$V(s_0)$）を正確に推定する。
  • ティア 1 とティア 2 の質問を分離する際のAUC は 0.93（7B）および0.85（3B）。
  • 較正： 精選されたウォームアップにより、期待較正誤差（ECE）は 0.043 であり、予測された成功確率は実際の成功率と密接に一致している。
• 符号の乖離： クリティックは、単一の軌道内のセグメントに対して正しく相反する符号を割り当てる（例：良い検索で$+0.15$、悪い抽出で$-0.22$）。これは軌道レベルの手法では不可能な挙動である。

5. 意義と主張

本論文は、CARL が軌道レベルの RL の根本的な限界、すなわちどの特定のツール呼び出しが成功または失敗に寄与したかを分離できないという問題を解決していると主張する。ツール使用軌道の構造的に観測可能な境界を利用することで、CARL は単一の二値結果を、意味のある一連のセグメントレベルのアドバンテージに変換する。

著者らは、このアプローチによりモデルがツールの使用タイミングを指示されるのではなく、自身の能力境界を学習することを可能にすると強調している。これにより以下の結果が得られる：

• 幻覚の減少： 難しい質問（ティア 1）において、推測するのではなくツールへルーティングすることを学習するため、モデルは回答を捏造する可能性が低くなる。
• 効率性： 不要なツール呼び出しが抑制され、遅延と API コストが削減される。
• スケーラビリティ： 恩恵はより小さなモデルで最も顕著であり、セグメントレベルのクレジット割り当てが、尾部分布の知識を処理するためのパラメトリックメモリの拡張に対する実用的な代替手段であることを示唆している。

本論文は、検索の品質がパフォーマンスの天井であり続けること（より良い検索 API によるさらなる改善が示されたアブレーション研究で示されている）を認めつつも、CARL のクレジット割り当てメカニズムが、ツール拡張型 LLM における選択性と精度の向上の主要な駆動力であると結論付けている。