技術要約：Self-Harness

問題提起

大規模言語モデル（LLM）ベースのエージェントの性能は、そのベースモデルの重みだけでなく、システムプロンプト、ツール、メモリ、検証ルール、および実行ポリシーからなる周囲のシステムレイヤーである「ハーネス（harness）」によって決定される。現在、人間の専門家がこれらのハーネスを設計しているが、このパラダイムは、LLMがますます多様化し、急速に進化する中でスケーラビリティの問題に直面している。あるモデルに最適化されたハーネスは、異なる行動パターン、ツール使用の習慣、エラーモードを持つ別のモデルに対しては、しばしば最適ではない結果となる。既存の自動化手法の多くは、改善を導くために、より強力な外部エージェントに依存しているが、これはコストが高く、対象となるモデル固有の失敗モードと一致しない可能性がある。本論文は、LLMベースのエージェントが、人間のエンジニアリングや外部のガイダンスなしに、自らの運用ハーネスを自律的に改善できるようにするという課題に取り組むものである。

手法：Self-Harness ループ

著者らは、固定されたモデルが自身の非パラメトリックな足場（scaffolding）を洗練させていく反復的な自己改善フレームワークである Self-Harness を提案する。このプロセスは、以下の3つの明確なステージからなるクローズドループとして機能する。

1. 弱点のマイニング（Weakness Mining）

現在のハーネス（$h_t$）の下で動作するエージェントが、保持された分割データ（$D_{in}$）から一連のタスクを実行する。システムは実行トレースを収集し、**検証器に基づいた失敗シグネチャ（verifier-grounded failure signatures）**に基づいて失敗したトレースをクラスタリングする。

• 属性特定（Attribution）: 失敗を孤立したイベントとして扱うのではなく、システムはトレースを分析して、最終的な検証レベルの原因（$c_i$）、エージェントの行動の因果関係の状態（$q_i$）、および抽象的なエージェントメカニズム（$m_i$）を特定する。
• クラスタリング: 失敗は、同じシグネチャを共有する場合に決定論的にグループ化される。これにより、後続の提案が表面的な症状ではなく、再利用可能な失敗メカニズムを対象とすることを保証する。
• 出力: 主要な失敗パターンを、支持度と実行可能性に従って要約したエビデンス・バンドル（$B_t$）。

2. ハーネスの提案（Harness Proposal）

同じ固定モデル（$M$）が、「提案者」の役割として呼び出され、現在のハーネス（$h_t$）とエビデンス・バンドル（$B_t$）をコンテキストとして使用する。

• 制約: 提案者は、$K$ 個の多様でありながら最小限の候補となる編集（$\Delta_j$）を生成する。各編集は、特定の失敗メカニズムを対象とし、ハーネスの具体的かつ編集可能な表面（例：特定の指示、ツールポリシー、または検証ルール）に対応していなければならない。
• 多様性と最小性: システムは、提案を通じて異なる失敗メカニズムやハーネスの表面を探索することを推奨するが、個々の編集はターゲットを絞ったものに限定し、制御アーキテクチャの広範な書き換えを避けるように強制する。
• 出力: 各々に監査記録が付随した、候補となるハーネスのバリアントの集合 $h^{(j)}_t = \Delta_j(h_t)$。

3. 提案の検証（Proposal Validation）

候補となる編集は、受理される前に厳格な回帰テストを受ける。

• 評価: 現在のハーネス（$h_t$）と候補となるハーネス（$h^{(j)}_t$）の両方を、保持された分割データ（$D_{in}$）および保持された分割データ（$D_{ho}$）で評価する。
• 受理ルール: 候補は、少なくとも一方の分割において性能を向上させ、かつ他方の性能を低下させない場合にのみ昇格する（$\Delta_{in} \ge 0$、$\Delta_{ho} \ge 0$、および $\max(\Delta_{in}, \Delta_{ho}) > 0$）。
• マージ: 複数の候補が通過した場合、それらの編集は次回のイテレーションのハーネス（$h_{t+1}$）へとマージされる。拒否された候補はログに記録されるが、アクティブなハーネスには影響を与えない。

主な貢献

1. Self-Harness パラダイム: LLMが自身の運用ハーネスを設計・洗練させることを可能にする新しいフレームワークであり、人間のエンジニアやより強力な外部エージェントへの依存を排除する。
2. 運用化された反復ループ: 弱点のマイニング、最小限の提案生成、および厳格な回帰テストのサイクルを通じて、行動的エビデンスをモデル固有のハーネス更新へと変換する具体的な実装。
3. 実証的検証: Self-Harness が、最小限の初期ハーネスを、多様なモデルファミリーにわたってベースラインを大幅に上回るモデル固有の構成へと進化させられることを実証した。

実験結果

著者らは、MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5 の3つの異なるベースモデルを用いて、Terminal-Bench-2.0 上で Self-Harness を評価した。すべての実験は、最小限の DeepAgent ベースのハーネスから開始された。

性能向上（保持されたパス率）:

• MiniMax M2.5: 40.5% から 61.9% へ（+21.4 パーセントポイント）。
• Qwen3.5-35B-A3B: 23.8% から 38.1% へ（+14.3 パーセントポイント；相対的に138%の改善）。
• GLM-5: 42.9% から 57.1% へ（+14.2 パーセントポイント）。

定性的知見:

• モデル固有の適応: システムは単に一般的な指示を追加したのではない。代わりに、各モデルの弱点に合わせた、明確で具体的な変更を生み出した：
  • MiniMax M2.5: 必要な出力ファイルをより早く作成すること、構造化されたツール出力を慎重に扱うこと、および非生産的なツールの使用ループを停止することに焦点を当てた。
  • Qwen3.5: 依存関係の事前チェック、繰り返される失敗コマンドの回避、探索サイクルの打破、およびツールエラーからの回復に焦点を当てた。
  • GLM-5: シェルコマンド間の環境設定の保持、および探索から実装への移行の加速に焦点を当てた。
• 汎用性: 保持されたタスクにおいても改善が見られたことは、ハーネスの編集が特定の訓練失敗にオーバーフィットしたものではなく、再利用可能な実行メカニズムに対処したことを示している。

意義と主張

本論文は、Self-Harness がエージェントシステムにおける**自己生成（self-creation）**への道を示していると主張している。そこでは、エージェントが自身の行動を規定する制約そのものを再形成することに参加する。

• 経験的な状態遷移: 著者らは、ハーネスの改善は経験的な状態遷移として扱われるべきだと断じている。有用な編集は、行動的エビデンスに基づき、変更する行動を特定し、非回帰的な評価によって検証されなければならない。
• スケーラビリティ: 改善ループを内部化することで、Self-Harness は、現代の LLM の急速な進化と多様性に適応可能な、人間中心のエンジニアリングに代わるスケーラブルな選択肢を提供する。
• 限界: 著者らは、現在の研究が固定されたベンチマーク下での限定的な編集を扱っていることを謙虚に述べている。このプロトコルは、検証器の結果とトレース記録の品質に依存しており、より高いステークスを持つ変更には、パス率による非回帰性以上の、より堅牢な受理ゲートが必要となる。

結論として、エージェントは自身の重みを変えることはできないが、環境との相互作用を媒介するハーネスを反復的に洗練させることで、効果的に「自分自身を創り出す」ことができる。