技術的概要：自己誘発型結果ポテンシャル（SIOP）

問題定義

長期視野を持つ大規模言語モデル（LLM）エージェント、特に検索拡張推論やツール使用に従事するエージェントは、中間の対話ターンによって成功か失敗かが決まります。しかし、標準的な訓練パラダイムは通常、最終的な回答が生成された後にのみ報酬が割り当てられる結果レベルの監督に依存しています。これにより、監督のミスマッチが生じます。単一の終端報酬では、エージェントの将来の展望を向上させた特定の中間思考、ツール呼び出し、または観察に対して、確実なクレジットを帰属させることができません。

既存の解決策は、主に 2 つの制限に直面しています：

1. ターンレベルの形状付け手法（例：IGPO、TIPS）は、ポテンシャルベースの報酬を計算するために「正解（gold answer）」または安定したタスク固有の検証器へのアクセスを必要とします。このような監督は、オープンエンドなエージェント環境ではしばしば利用できません。
2. ラベルなし強化学習（RL）手法（例：TTRL、EMPO）は出力分布から信号を抽出しますが、主に軌道レベルまたは回答レベルで動作します。これらは信頼できる最終応答を特定しますが、それらの結果に至った中間ターンに価値を割り当てることはできません。

核心的な課題は、訓練中に正解の存在を仮定することなく、自己生成された信号を活用する検証器不要のターンレベルのクレジット割り当てメカニズムを構築することです。

手法：自己誘発型結果ポテンシャル（SIOP）

SIOP は、最終回答のセマンティックなクラスターを潜在的未来結果状態として扱うことでこの課題に対処します。固定された正解ターゲットに依存する代わりに、このフレームワークはこれらの潜在状態に対するクエリ固有のターゲット分布を構築し、そのターンが信頼できる未来のモードに対する支持を増加させる能力に基づいてターンに報酬を与えます。

1. セマンティック結果モードと潜在状態

与えられたクエリ $q$ に対して、方策は $K$ 個のロールアウトをサンプリングします。最終回答 $\{y^{(k)}\}$ は、双方向のセマンティック含意（NLI モデルを使用）に基づいてセマンティック結果モード（$C(q)$）にクラスタリングされます。各クラスター $c$ は、異なるセマンティック仮説を表します。

• 潜在的未来状態：これらのクラスターは、ポテンシャルベースの形状付けのための未来状態空間として機能します。
• 信頼性の較正：生クラスタ頻度（$m(c|q)$）だけでは不十分です。なぜなら、頻繁なクラスターはモデルのバイアスにより一貫して誤っている可能性があるからです。SIOP は、経験分布を再重み付けするための信頼性信号 $r(c, q)$（例：取得したツール観察からの証拠サポート）を導入します。
• ターゲット分布：自己誘発型ターゲット分布 $q_\theta(c|q)$ は、経験的質量を信頼性で較正することで形成されます：
  $$q_\theta(c|q) \propto m(c|q) \exp(\eta \cdot r(c, q))$$
  これにより、頻繁だが信頼性の低いモードは重みが下がり、頻度は低いが証拠に裏付けられたモードは重みが上がることが保証されます。

2. 多参照クラスターサポート

特定の表現への感度を避けるため、SIOP は単一のプロトタイプ回答をスコアリングするのではなく、各クラスターから正規化された重み $\alpha_y$ を持つ少数の参照回答 $R(c)$ を選択します。プレフィックス $\tau_{\le t}$ が与えられた場合のクラスター $c$ に対するサポートは、以下のように近似されます：
$$\tilde{p}_\theta(c|\tau_{\le t}) = \sum_{y \in R(c)} \alpha_y p_\theta(y|\tau_{\le t})$$
この多参照アプローチは、セマンティックモード全体に対するサポートの頑健な尺度を提供します。

3. ポテンシャルベースのターンレベル報酬

核心的な革新は、ロールアウトの実現されたモード $c^{(k)}$ に対するターン $t$ の結果ポテンシャル $\Phi_\theta$ です：
$$\Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) = q_\theta(c^{(k)}|q) \log \tilde{p}_\theta(c^{(k)}|\tau_{\le t}^{(k)})$$
ターン $t$ に対するプロセス報酬は、現在のプレフィックスと以前のプレフィックスとの間のポテンシャルの差です：
$$r_{t,proc}^{(k)} = \Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) - \Phi_\theta(\tau_{\le t-1}^{(k)}, c^{(k)})$$
この報酬は、ターンが最終的に到達するクラスターに対するモデルのサポートを増加させる場合、そのクラスターの較正された信頼性で重み付けられて正となります。

4. ターンレベルのアドバンテージ構築

これらの報酬を方策最適化に統合するために：

• 拡張即時報酬：混合係数 $\lambda$ が、最終回答ターンでのみ追加される終端結果質量とプロセス報酬を組み合わせます。
• グループ正規化アドバンテージ：報酬はクエリグループ内（1 つのプロンプトに対するすべてのロールアウト）でプールされ、正規化（z スコア）され、割引和を介して後方へ伝播され、ターンレベルのアドバンテージ $A_t^{(k)}$ を計算します。
• トークンレベルの割り当て：軌道レベルのスコアをブロードキャストする標準的な GRPO と異なり、SIOP は特定のターン内で生成された学習可能なトークンのみに、その特定のターン固有のアドバンテージ $A_t^{(k)}$ を割り当てます。

主要な貢献

1. 検証器不要のターンレベルクレジット割り当て：本論文は、自己誘発型セマンティック結果モード上のポテンシャルベース学習としてクレジット割り当てを定式化し、正解やタスク固有の検証器の必要性を排除します。
2. 自己誘発型結果ポテンシャル（SIOP）：経験的結果モードを信頼性信号で較正し、クラスターサポートにおけるプレフィックスからプレフィックスへの変化をターンレベルのプロセス報酬に変換する、新規の報酬関数です。
3. 粒度の細かいアドバンテージ構築：この手法は長期視野のエージェントのためにターン固有のアドバンテージを構築し、各ターン内の学習可能なトークンのみにクレジットを割り当てます。これにより、中間的な貢献を曖昧にする軌道レベルのスコアの「ブロードキャスト」を回避します。
4. 理論的特徴付け：著者らは、SIOP が監督限界（ターゲット分布が正解クラスターに集中する場合）において標準的な正解ベースの形状付けに帰着することを証明し、グローバルなスコアのブロードキャストではなく、段階的な限界サポートの増加を測定することを示しました。

実験結果

この手法は、Qwen3-4B および Qwen3-8B をバックボーンとして、7 つの検索拡張 QA ベンチマーク（NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）で評価されました。

• 性能：SIOP は、結果レベルの信号に依存する検証器不要のベースライン（TTRL、EMPO）を一貫して上回りました。4B バックボーンにおいて、SIOP は最高の平均検証器不要 Exact Match（EM）および F1 を達成し、EMPO に対して EM で +0.7%、F1 で +1.8% の改善を達成しました。
• 監督ベースラインとの比較：SIOP は、正解監督の結果ベースライン（GRPO）の性能に近づき、訓練中に正解ラベルを使用せずに、正解監督のターンレベルベースライン（IGPO）とのギャップを大幅に縮めました。特に、HotpotQA や 2Wiki などのマルチホップベンチマークでは、SIOP は正解監督の GRPO 結果ベースラインを上回りました。
• アブレーション研究：信頼性較正、多参照サポート、またはターンごとのプロセス報酬を除去すると、すべて性能が低下し、各コンポーネントの必要性が確認されました。具体的には、ターンレベルのアドバンテージ構築が重要であることが示されました。なぜなら、アドバンテージをブロードキャストすること（標準的な GRPO のように）は、性能を結果のみのレベルまで低下させるからです。
• 訓練ダイナミクス：SIOP は、生成エントロピーを低いレベルに維持しながら、冗長な検索ターンと応答長を削減し、より効率的な探索を示しました。

意義と主張

本論文は、SIOP が正解が存在しない環境において、結果レベルの信頼性とプロセスレベルのクレジット割り当ての間のギャップを成功裏に橋渡しすることを主張しています。クラスター化された最終回答を潜在的未来状態として扱うことで、このフレームワークは、情報ポテンシャルの形状付けを正解監督から検証器不要の環境へ一般化します。

著者らは、SIOP が単により良い最終回答を選択するだけでなく、能動的に中間推論軌道を形状付けることを強調しています。この手法により、エージェントは、それらの状態の正しさがモデル自身のサンプルの一貫性と証拠サポートからのみ推測される場合でも、どの中間相互作用（特定の検索クエリやツール呼び出しなど）が軌道を信頼できる未来状態へと導くかを学習できます。これは、タスク固有の検証器の構築が非現実的なオープンエンドなドメインにおいて、対話型エージェントを訓練するための実用的な道筋を提供します。