技術要約: HarnessForge

問題提起

大規模言語モデル（LLM）エージェントは、異なる実行パラダイムを必要とする異種混合なタスク・レジーム（例：マルチステップのツール利用、検索重視の推論、ウェブ操作）への展開が進んでいる。既存の適応戦略は、外部の実行構造（ハーネス）または内部の推論行動（ポリシー）のいずれか一方のみを孤立して最適化するため、典型的には「互換性のギャップ」に直面する。

• 探索型手法は、外部のワークフロー、ツール使用手順、メモリ管理を最適化するが、モデル側のエグゼキューターとの互換性を暗黙的なものとして残してしまうことが多い。
• 学習型手法は、教師あり学習や強化学習を通じてモデルのポリシーを適応させるが、通常、固定された外部仕様のインタラクション・ループを前提としている。

このようなコンポーネント単位の視点は、システムレベルのメタ適応には不十分である。より表現力豊かなハーネスであっても、推論器がそのプロトコルを実行できなければ失敗し、逆に強力なポリシーであっても、不適切な状態を露出するハーネスによって制約を受ける可能性がある。本論文は、効果的な適応には、エージェント・システムを結合されたハーネスとポリシーのペアとして扱い、その共同進化を最適化することで、実行可能な互換性を確保する必要があると主張している。

手法: HarnessForge

HarnessForgeは、LLMエージェント・システム $G$ を、編集可能な実行ハーネス $H$ と、適応された推論器 $R_\delta$（ベースモデル $R_{\theta_0}$ に軽量なアダプタ $\delta$ を付加したもの）のペアとして定式化するメタ適応フレームワークである。本フレームワークは、ハーネスとポリシーの共進化の反復ラウンドを通じて動作する。

1. システム定式化

ハーネス $H$ は、以下の3つの実行レイヤー・コンポーネントに分解される：

• プランニング ($P$): タスクの分解、再計画、および終了。
• アクション ($A$): ツール・インターフェース、ロール割り当て、およびオーケストレーション・ルール。
• メモリ ($M$): 何が書き込まれ、検索され、要約され、将来の決定に露出されるか。

推論器 $R_\delta$ は、$H$ の制約内で実行される。目標は、$H$ と $\delta$ の両方を共同で進化させ、タスク性能、トークンコスト、およびレイテンシに基づく適合度指標 $J$ を最大化することである。

2. 共進化ワークフロー

各進化ラウンド $r$ は、互いに補強し合う2つのプロセスを交互に実行する：

A. 故障ガイド付きハーネス・テーラリング（Fault-Guided Harness Tailoring）

ランダムな探索の代わりに、HarnessForgeはメタエージェントを用いてハーネス構造を診断し、洗練させる：

1. 故障属性の特定（Fault Attribution）: システムは、一連のタスクに対して現在のハーネス–ポリシーのペアを評価する。メタエージェントは、ロールアウトのトレースと実行統計を分析し、失敗がプランニング、アクション、またはメモリのどのコンポーネントに起因するかを特定する。
2. アーカイブによる改善（Archive-Guided Improvement）: ハーネス設計とその評価ベクトルの履歴アーカイブ $Z$ が保持される。メタエージェントは、現在の故障に関連するパレート最適のエグゼンプラーを検索し、改善レポートを生成する。
3. 洗練とフィルタリング（Refine-and-Filter）: レポートに基づき、メタエージェントは修正されたハーネス候補を生成する（$P, A, M$ のみを編集）。これらの候補は、次ステージに向けて最も有望な生存者を保持するための、段階的かつ予算制約のあるパレート・フィルタリング（半選択）プロセスを受ける。

B. ハーネス条件付きポリシー・アライメント（Harness-Conditioned Policy Alignment）

生存したハーネスのセットが選択されると、フレームワークは推論ポリシーをそれらに適合させる：

1. 親の初期化（Parent Initialization）: 各生存ハーネスに対し、ポリシーは（以前のアダプタを折り畳んだ）その親の系譜から初期化される。
2. 軌跡のキュレーション（Trajectory Curation）: フレームワークは、ハーネスのフィルタリング段階で生成された成功したロールアウト・トレースを再利用する。これには、別途のデータ収集フェーズは必要ない。
3. アダプタの学習（Adapter Training）: キュレートされた成功した軌跡を用いて、新しいハーネス固有のLoRAアダプタを教師あり微調整（SFT）により学習させる。入力には、タスク指示、アクティブなハーネス・インターフェース、蓄積された観測、およびメモリ状態が含まれ、これによりポリシーは進化したハーネスの下で特異的に実行することを学習する。

主な貢献

1. 適応の再定式化: 本論文は、最適化の単位を孤立したコンポーネントから、ハーネス–ポリシーのペアへと移行し、外部構造と内部推論の間の互換性のギャップを明示的に解決した。
2. HarnessForgeフレームワーク: 故障ガイド付きハーネス・テーラリングとハーネス条件付きポリシー・アライメントを調整するメタ適応共進化メカニズム。これにより、ハーネスの構造的改善がポリシーの対応する適応と一致することを保証する。
3. 実証的検証: 5つのベンチマーク（ToolHop, SearchQA, RestBench-TMDB, API-Bank）および2つのバックボーンモデル（Qwen3-4B, Qwen3-8B）にわたる広範な評価。

実験結果

• 性能向上: HarnessForgeは、探索型ベースライン（例：AFlow, AgentSquare, MaAS）および学習型ベースライン（例：SFT, GRPO, RLOO）の両方に対して一貫して優れた性能を示した。
  • すべての指標において、最強のベースラインに対して平均**3.56%**の改善を達成した。
  • 特定のベンチマーク（例：Qwen3-4Bを用いたTMDB）では、最大**12.0%**の向上に達した。
• アブレーション研究: ハーネスのテーラリングまたはポリシーのアライメントのいずれかを削除すると、一貫して性能が低下した。この差は進化ラウンドが進むにつれて拡大しており、性能向上が独立した最適化ではなく、ペアの共進化に由来することを裏付けている。
• 効率性: HarnessForgeは良好なロールアウト–性能のトレードオフを示す。固定されたインターフェース下での挙動を探索するために膨大なロールアウト予算を必要とするポリシー単独のRL手法とは異なり、HarnessForgeはロールアウトのエビデンスを再利用してハーネスを改善し、その後にポリシーを適合させるため、大幅に少ないロールアウト数で強力な結果を達成できる（例：ラウンド3において、RLベースのベースラインの45.6Kに対し、SFTでは12Kのロールアウト）。
• 互換性: 進化したハーネスとポリシーのクロス組み合わせの分析により、一致したペアは不一致のペアよりも有意に高い性能を示すことが分かり、本フレームワークが単に一般的な強力なコンポーネントを生成しているのではなく、ペア特有の互換性向上を誘発していることが検証された。

意義と主張

本論文は、推論ポリシーとハーネスの間の実行可能な互換性こそが、効果的なエージェント・システムの適応における決定的な要因であると主張している。エージェントを結合されたシステムとして扱い、インターフェースとエグゼキューターを共に進化させることで、HarnessForgeは、構造またはポリシーを個別に最適化する手法よりも、多様なタスク・レジームに対してより効果的にメタ適応することを可能にする。

著者らは、本フレームワークが現在、結合が最も顕著となるリソース制約のあるバックボーン（Qwen3-4B/8B）で評価されていることを注記しているが、フロンティア規模のモデルにおけるこれらの利得の大きさについては、今後の研究課題であるとしている。また、現在の実装では、監査可能性と実行可能性を確保するために、ハーネス進化に構造化された編集オペレータを使用しているが、将来的にはより広範なコードレベルの書き換えを探索することも可能である。