技術要約: ABSeeker - 回答バックトラック型クレジットアサインメントによる長期間探索エージェントの学習

1. 問題提起

長期間（Long-horizon）の探索エージェントには、複雑なクエリを解決するために、証拠を検索、検証、統合するための複数の連続的なアクションが必要である。しかし、教師あり微調整（SFT）と強化学習（RL）の両方を含む既存の学習手法は、通常、**軌跡レベルの監督（trajectory-level supervision）**に依存している。このパラダイムでは、軌跡内のすべてのステップが一律に扱われる：成功した軌跡は完全に報酬を受け取り、失敗した軌跡は完全にペナルティを受ける。

この一律な扱いは、根本的な**クレジットアサインメント問題（信用割り当て問題）**を生じさせる：

• 偽陰性（False Negatives）: 失敗した軌跡であっても、決定的な証拠の発見や仮説の洗練など、非常に有用な中間ステップが含まれている場合があるが、最終的な回答が誤っているために報酬がゼロになる。
• 偽陽性（False Positives）: 成功した軌跡であっても、誤ったステップ、冗長なステップ、あるいは探索プロセスを阻害するような誤導的なステップが含まれている場合があるが、それらに対してフル報酬が与えられる。
• 粒度の欠如: 既存の手法は個々のアクションの貢献度を区別できないため、重要な探索および推論行動を最適化することに限界がある。

2. 手法: 回答バックトラック型クレジットアサインメント (ABC)

著者らは、疎な軌跡レベルの結果を密なステップレベルの監督へと変換する、きめ細かなフレームワークである**回答バックトラック型クレジットアサインメント（Answer-Backtracked Credit Assignment: ABC）を提案する。核心となる洞察は、正解（ground-truth answer）が判明している場合、探索タスクは自然にバックトラック可能（遡及可能）**になるということである。検証済みの回答から遡ることで、本来発見されるべき中間証拠（手がかり）を復元できる。

このフレームワークは、主に2つのステージで動作する：

2.1 回答バックトラックによる手がかりの復元

クエリ $q$ と検証済みの正解 $a^*$ が与えられたとき、システムはLLMを用いて、問題を解くために必要な証拠の連鎖を再構成する。

• プロセス: 復元モデルはアクティブなエージェントとして機能し、ウェブ検索やページ訪問を行い（フォワードエージェントと同じツール呼び出しプロトコルを使用）、回答からクエリの制約へと証拠を遡る。
• 出力: 中間的な証拠の手がかりの集合 $C = \{c_1, c_2, ..., c_K\}$。これらの手がかりは、クエリと回答を繋ぐ検証済みの証拠の連鎖を形成する、具体的かつ検証可能な情報（エンティティ、事実、属性、または関係性）である。
• 役割: これらの手がかりは、最終的な結果とは独立して、探索軌跡における各ステップの品質を評価するための固定されたアンカーとして機能する。

2.2 手がかりに基づくステップ・スコアリング

収集された軌跡（成功・失敗を問わず）の各ステップ $s_t$ は、復元された手がかり集合 $C$ に照らして評価される。

• スコアリング機構: 各ステップはベーススコア1.0から開始される。スコアは、ステップ内の推論、ツール呼び出し、およびレスポンスで検出された特定の挙動に基づいて調整される：
  • 正のデルタ（増加）: 正しい手がかりの発見/検証 (+0.8)、誤った候補の除外 (+0.4)、または検証済み回答の提出 (+1.0)。
  • 負のデルタ（減少）: 正しい手がかりの誤った破棄 (-0.8)、または誤った回答の提出 (-1.0)。
• 最終報酬: ステップ報酬 $r_t$ は、$[0, 2.0]$ の範囲にクリップされた累積スコアである。極めて重要な点は、失敗した軌跡内のステップであっても、正しい手がかりを発見した場合には正の報酬を受け取り、逆に成功した軌跡内のステップが有用な証拠を破棄した場合にはペナルティを受けることである。

2.3 学習パイプライン

これらの密なステップ報酬に基づき、著者らは2つの学習アルゴリズムを開発した：

1. ABC-SFT (報酬重み付き教師あり微調整): 標準的なSFTを修正し、各ターンの損失を再重み付けする。重み $w(r_t)$ はステップ報酬のシグモイド関数を介して計算され、高品質なステップがより強く勾配に寄与し、誤ったステップの影響を弱めるようにする。
2. ABC-GRPO (ステップレベル強化学習): ステップレベルのスコアは、Group Relative Policy Optimization (GRPO) アルゴリズムにおける報酬として機能する。単一の軌跡レベルのアドバンテージの代わりに、アルゴリズムは各トークンに対して割引ステップレベルのアドバンテージを計算し、きめ細かなポリシー更新を可能にする。

3. 主な貢献

• 回答バックトラック型クレジットアサインメント (ABC): 検証済みの回答を利用して中間証拠の手がかりを再構成し、最終的な軌跡の結果に関わらず個々の探索ステップの評価を可能にする、新しいフレームワーク。
• ABC-SFT および ABC-GRPO: ABCから派生した2つの学習アルゴリズムであり、密なステップレベルの報酬を用いて、それぞれSFTの損失を再重み付けし、RLポリシーを最適化する。
• ABSeeker: 4Bパラメータのバックボーン（Qwen3.5-4B）を用い、わずか8.5kの例のみで学習された探索エージェント。きめ細かなプロセス・スーパービジョンが、大規模なモデルスケールを必要とせずに高いパフォーマンスを実現できることを示している。

4. 実験結果

著者らは、BrowseComp、BrowseComp-ZH、xbench-2505、xbench-2510、GAIA-textの5つのベンチマークでABSeekerを評価した。

• パフォーマンス:
  • BrowseComp: コンテキスト管理なしで37.3%、コンテキスト管理により**55.3%**に向上。
  • BrowseComp-ZH: コンテキスト管理なしで39.1%、コンテキスト管理により**52.9%**に向上。
  • xbench-2505: 77.0%。
  • xbench-2510: 46.0%。
  • GAIA-text: 81.6%。
• 比較:
  • ABSeekerは、すべての4B規模の探索エージェントの中で最高のパフォーマンスを達成した（QUEST-4B、DR-Venus、AgentCPM-Exploreを上回る）。
  • 同規模のベースラインを大幅に上回り、いくつかのベンチマークではTongyi DeepResearchやOpenSeekerのような大幅に大きなエージェント（〜30B）と同等またはそれを凌駕する性能を示した。
• アブレーション研究:
  • 標準的なSFTをABC-SFTに置き換えることで、すべてのベンチマークで一貫した改善が見られた。
  • 標準的な軌跡レベルのGRPOをABC-GRPOに置き換えることで、さらに性能が向上し、ステップレベルのクレジットアサインメントが探索の正確性と探索的行動の両方を改善することが証明された。
  • 報酬分布の分析により、成功した軌跡の中でも約4%のステップが低品質であり、一方で失敗した軌跡の約10%のステップは高品質であることが明らかになった。ABCは後者を識別して報酬を与え、前者を抑制することに成功した。

5. 意義と主張

本論文は、回答バックトラック型クレジットアサインメントが、明示的かつきめ細かなプロセス・スーパービジョンを提供することで、長期間の探索におけるクレジットアサインメントの課題を効果的に解決することを主張している。

• 効率性: この手法は、コンパクトな4Bモデルがより大きなエージェントを凌駕することを可能にし、探索タスクにおいてはモデルの規模そのものよりも、学習の監督の質（有用なステップと誤ったステップの区別）が重要であることを示唆している。
• 汎用性: BrowseComp形式の質問のみで学習されているにもかかわらず、ABSeekerはxbenchやGAIAに対して効果的に汎化しており、堅牢なクロスベンチマーク能力を示している。
• プロセス・スーパービジョン: 失敗した軌跡における有用なアクションに報酬を与え、成功した軌跡におけるエラーを抑制することが、より効率的で意図的な探索行動につながることを結果は裏付けている。

著者らは、このアプローチが、スケーラブルな探索エージェント学習のための明示的なプロセス・スーパービジョンの重要性を強調しており、中間証拠へとバックトラック可能な他の長期間タスクへのフレームワークの拡張を提案して締めくくっている。