技術サマリー: Harness-1

問題提起

検索エージェントは、通常、検索ツールと相互作用する言語モデルとして実装されるが、これらは成長し続けるトランスクリプト（対話履歴）上で動作するように訓練されることが多い。この定式化において、ポリシーは意味的な検索決定（例：何をクエリするか、どのドキュメントを読むか）と、日常的な状態管理（例：見たドキュメントの記憶、制約の追跡、精選されたエビデンス集合の維持）を同時に管理しなければならない。著者らは、ポリシーに生の追加型の観測結果から有用な状態を再構築させることは非効率であり、強化学習（RL）のコンディショニングを悪化させると主張している。トランスクリプトが成長するにつれ、困難なクエリはほぼ同一の空集合報酬をもたらし、ツールの語彙は反復的な検索呼び出しへと崩壊し、検索の失敗と精選（キュレーション）の失敗の区別が不明瞭になる。

手法: Harness-1

本論文では、ステートフルな検索ハーネス内で強化学習によって訓練された20Bパラメータの検索エージェントであるHarness-1を紹介する。核心となる原理は**ステートフルな認知的オフローディング（状態保持による認知負荷の軽減）**である。環境（ハーネス）が復元可能な状態を維持し、ポリシーは意味的な決定のみを保持する。

ステートフル・ハーネス

ハーネスは、以下の2つの階層を持つWORKINGMEMORYを維持する：

1. インナー・ティア（プロンプト提示用）: 検索状態のコンパクトにレンダリングされた要約。以下を含む：
   • 候補プール ($P_t$): 圧縮および重複排除された検索結果。
   • 精選セット ($C_t$) および 重要度タグ ($I_t$): 選択されたドキュメントの限定されたセット（最大30件）と、タグ（very high, high, fair, low）。
   • エビデンス・グラフ ($G_t$): エンティティ、日付、およびブリッジ・ドキュメントに基づく、ドキュメント間の相互リンクの要約。
   • 検証記録 ($V_t$): ソーステキストに対してチェックされた主張のログ。
   • 検索履歴 ($H_t$) および バジェット・マーカー ($B_t$): 進捗とコンテキスト制限の要約。
2. アウター・ティア（全文）: 取得されたチャンクのフルテキスト・ストア ($D_t$)。新しいコーパスへの呼び出しなしに review_docs を通じてアクセス可能。

ポリシーの行動

ポリシーは、トランスクリプトを拡張するのではなく、この状態を編集する構造化されたアクションを出力することによって動作する：

• 検索 (Retrieval): fan_out_search, search_corpus, grep_corpus, read_document.
• 精選 (Curation): curate（ドキュメントの追加/削除および重要度タグの割り当て）。
• 検証 (Verification): verify（ポリシーが記述した主張を保存されたドキュメントと照合する）。
• 終了 (Termination): end_search.

トレーニング・パイプライン

1. 教師あり微調整 (SFT): 教師エージェント（GPT-5.4）がフル・ハーネス内で実行され、軌跡（トラジェクトリ）を生成する。ポリシーはインターフェースのメカニクス（ツール呼び出しのフォーマット、検索から精選へのリズム、重要度タグ付け、検証規範）を学習する。
2. 強化学習 (RL): ポリシーは、フル検索エピソード全体にわたってCISPOを用いてオンポリシーで訓練される。報酬関数は以下を組み合わせる：
   • セットの品質 (Set Quality): 最終的な精選セットの加重再現率。
   • 軌跡のカバレッジ (Trajectory Coverage): プール内のどこかでエビデンスを見つけたことに対するクレジット。
   • 回答のエビデンス (Answer Evidence): 回答に寄与するドキュメントを含めることへの報酬と、それらを欠落させることへのペナルティ。
   • ツールの多様性 (Tool Diversity): 反復的な検索への崩壊を防ぐための、多様なツール使用に対するボーナス。
   • ターン・ペナルティ (Turn Penalty): 効率性を促進するため。

主要な設計要件

著者らは、ステートフルな検索ハーネスが訓練可能であるための3つの要件を特定している：

1. ウォームスタートによる精選 (Warm-started Curation): 初回の成功した検索からのトップ結果で精選セットを自動的にシードし、初期の学習シグナルを提供する。
2. コンパクトな派生状態のレンダリング (Compact Derived-State Rendering): コンテキストの肥大化を避けるため、重要度タグ、エビデンス・グラフ、検証記録を通じて状態を要約する。
3. 多様性を維持するインセンティブ (Diversity-Preserving Incentives): 検索、精選、レビュー、検証のリズムを促す報酬構造。

主要な貢献

1. 定式化: 本論文は、ハーネス設計を検索エージェントRLにおける中心的な問題として位置づけ、「ステートフルな認知的オフローディング」を提案することで、意味的な決定と簿記（ブックキーピング）を分離する。
2. Harness-1 システム: 重要度タグ付きの精選セット、コンパクトなエビデンス・グラフ、検証記録、および予算を考慮したコンテキスト・レンダリングを備えた20B検索エージェント。
3. 訓練可能性の要件: 効果的なステートフル検索におけるRLの必要条件として、ウォームスタート、コンパクトなレンダリング、および多様性インセンティブを特定。
4. 実証的検証: ステートフルなハーネスニングが、検索の質およびダウンストリームの回答精度を、8つの多様なベンチマークにわたって向上させることを実証。

結果

Harness-1は、ウェブ、金融、特許、マルチホップQA（例：BrowseComp+, SEC, HotpotQA）にわたる8つのベンチマークで評価された。

• パフォーマンス: Harness-1は平均 0.730 の精選再現率 (curated recall) を達成し、次に強力なオープン検索サブエージェント（Tongyi DeepResearch 30B）を +11.4 ポイント 上回った。これは、より大規模なフロンティアモデル（例：GPT-5.4, Opus-4.6）に対しても競争力があり、平均精選再現率においていくつかのモデルを凌駕している。
• 転移汎化 (Transfer Generalization): モデルは、SFTやRLの訓練に使用されていない ホールドアウト転移ベンチマーク（LongSealQA, Seal0QA, FRAMES, HotpotQA）において特に強力な向上を示した。これらのホールドアウト・タスクにおける平均的な利得（Context-1に対して +17.0 ポイント）は、ソース・ファミリー・ベンチマークにおける利得（+7.9 ポイント）の 2.2倍 であり、明示的な状態に対する学習された操作が、ドメイン固有のパターンよりも優れた汎化性能を持つことを示唆している。
• アブレーション研究: 個別のハーネス・メカニズム（例：重要度タグ、エビデンス・グラフ、オートシーディング）を無効にすると、最終回答の再現率が大幅に低下した（最大 -7.9%）。これらすべてのメカニズムを同時に無効にすると、再現率が -12.2% 低下し、性能の向上はモデル固有の能力ではなく、ハーネス設計に起因することを裏付けた。
• 訓練ダイナミクス: ツール多様性報酬がない場合、ポリシーは精選の質が低い検索重視の戦略へと崩壊することが実験で示された。多様性ボーナスは、ツールの使用を安定させ、最終的な再現率を向上させるために不可食であった。

意義と主張

本論文は、ステートフルなハーネス設計が、検索エージェントRLにおける重要かつ未探索の軸であることを主張している。機械的な簿記を環境にオフロードすることで、ポリシーは高レベルの意味的な決定に集中でき、結果としてより安定した訓練と優れた汎化を実現できる。

著者らは、Harness-1が、適切に設計されたステートフルなインターフェースを持つ小さなモデル（20B）が、複雑な検索タスクにおいて、より大きなオープンモデルを凌駕し、フロンティアモデルとも競合できることを実証したと断言している。これらの結果は、「インターフェース自体」が単なるツールのラッパーではなく、ポリシーが学習すべき中心的な要素であることを示唆している。本研究は、検索エージェントが、訓練可能なポリシーとステートフルな認知的オフローディング・ハーネスとの相乗効果によって定義される未来を指し示している。