💬 NLP

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

Co-Harnessは、ハーネスの洗練とモデルの微調整を交互に行うプロセスを通じて、LLMエージェントの実行時ハーネスとモデルパラメータを共同で最適化するフレームワークであり、固定されたハーネスによる事後学習の限界を超えて、自律的な回復、効率性の向上、および戦略の発見を可能にする。

原著者： Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑なパズルを解く方法を教えようとしている、優秀だが未経験の弟子を想像してみてください。人工知能の世界において、この弟子とは「大規模言語モデル（LLM）」、つまり読み、書き、推論ができるコンピュータプログラムのことです。しかし、LLMは真空状態で機能するわけではありません。彼らには「ワークショップ（作業場）」が必要です。このワークショップは「ハーネス（Harness）」と呼ばれます。ハーネスは、弟子が仕事をするために使う道具一式、取扱説明書、安全柵、そしてメモリバンクのようなものです。これには、コンピュータがどのように計算機と対話するか、どのように前のステップを記憶するか、そしていつ助けを求めるべきかを知る方法などが含まれます。

長い間、科学者たちは弟子とワークショップを別々のものとして扱ってきました。彼らは弟子をより賢くするために何年も訓練を費やしましたが、ワークショップは、手作業で設計したままの古い道具や指示書を使い、全く同じ状態に保ち続けてきました。問題は、もしワークショップのテーブルがぐらついていたり、地図が分かりにくかったりしたら、どんなに賢い弟子であってもつまずいてしまうということです。彼らが失敗するのは、能力が足りないからではなく、作業環境が壊れているからかもしれません。この論文は、シンプルですが強力な問いを投げかけています。「もし、単に弟子を訓練するだけでなく、同時にワークショップも修正するとしたらどうなるだろうか？もし、弟子が道具のどこが悪いのかを見つけ出し、その新しい、より優れた道具を使って、弟子を教えることができるとしたらどうだろうか？」

これこそが、Co-Harnessの開発者たちが発見したことです。彼らは、AIモデルとその「ワークショップ（ハーネス）」が、まるでダンスのパートナーが動きを合わせていくように、共に進化するシステムを作り上げました。単にAIを修正して最善を期待するのではなく、彼らのシステムは、AIがタスクに失敗するたびに、「これはAIが混乱したせいなのか、それとも手に持っていた道具が壊れていたせいなのか？」と問いかけます。もし道具に問題があった場合（例えば、紛らわしい指示や、欠けている安全フックなど）、システムはその道具を自動的に修正します。そして、その「新しい」道具を使った際のAIの成功を利用して、AIがいかにさらに優れたものになれるかを教え込むのです。

その結果は、まるで雪玉が巨大な岩へと成長していく様子を見ているかのようです。研究者たちはこれを難解な数学や論理パズルでテストしました。AIとその道具を共に進化させることで、システムが著しく賢くなったことが分かりました。わずか2回のこの「共進化」を経て、難しい数学テストにおけるAIの正解率は、平均して20パーセントポイント以上跳ね上がりました。ある特定のケースでは、システムは人間の助けなしに200時間以上稼働し続け、自らクラッシュを修正し、作業をスピードアップさせ、さらには正解を得るために複数の試行を組み合わせるという新しい戦略までも編み出しました。この論文は、環境を固定しておく従来の方法よりも、環境の修正と脳の訓練を同時に行うこの「デュアルループ」アプローチの方が、知的なエージェントを構築する上ではるかに強力な方法であることを示唆しています。天才を作るためには、時にはまず、より優れた遊び場を築かなければならないのです。

テクニカルサマリー：Co-Harness: LLMエージェントのためのハーネスとモデル重みの共進化

1. 問題提起

自動化されたAI研究のためのポストトレーニングにおけるエージェント開発は、従来、モデルのパラメータを最適化する一方で、実行時システム（すなわち「ハーネス」）を固定された静的な足場として扱うものでした。ハーネスには、プロンプト、ツール、スキル、ミドルウェア、メモリポリシー、およびリトライロジックが含まれます。現在のパイプラインには根本的なミスマッチが存在します。すなわち、モデルは静的なハーネスによって生成された軌跡に基づいて教師あり微調整（SFT）や強化学習を通じて更新されますが、ハーネス自体は、トレーニング中に観察された失敗に基づいて最適化されることがありません。

この非対称性は、不適切なスキャフォールディング（例：曖昧なプロンプト、誤ったツールスキーマ、欠落したリトライフック、またはメモリオーバーフロー）が、高品質なトレーニング軌跡の生成を妨げるというボトルネックを生み出します。その結果、モデルはこれらの環境的な制限を克服する方法を学習できず、固定されたハーネスがエージェントの性能の天井となってしまいます。これは、特に単一のスキーマエラーがマルチターンのセッション全体を中断させかねない、複雑なツール統合推論（TIR）の設定において顕著です。

2. メソドロジー：Co-Harnessフレームワーク

著者らは、エージェントのハーネス（ $\phi$ ）とモデルパラメータ（ $\theta$ ）を交互に最適化するデュアルループ・フレームワークであるCo-Harnessを提案しています。コアとなる仮説は、より優れたハーネスはよりクリーンで情報量の多い軌跡を生み出し、それがより強力なモデルを訓練するというものです。そして、この強力なモデルは、以前は見えていなかった高次のハーネスのボトルネックを露呈させ、さらなるスキャフォールディングの改善を可能にするというものです。

本フレームワークは、ラウンド $t$ において、以下の2つの交互ループで動作します。

A. Co-Harness ループ（ハーネスの最適化）

このフェーズでは、モデル $\theta_t$ を固定し、ハーネス $\phi_t$ を進化させます。

失敗の収集: エージェントは $(\theta_t, \phi_t)$ の下でタスクを実行し、失敗した軌跡の集合 $F^-_t$ を収集します。
HarnessCriticによる分析: LLMベースのコンポーネントである HarnessCritic ( $C$ ) が、これらの失敗を分析します。これは、各失敗をハーネス構成内の構造化された根本原因（例：プロンプトの曖昧さ、ツールスキーマのエラー、スキルの欠如、ミドルウェアの不一致、またはメモリオーバーフロー）に帰属させます。
差分生成と検証: HarnessCriticは、ハーネスに対する局所的なパッチ（差分）を提案します。これらのパッチは、ターゲットとする失敗モードを改善しつつ、保持された挙動に退行（リグレッション）を引き起こさないことを確認するために、「ロールアウト」テストによって検証されます。
レジストリの更新: 検証されたパッチはバージョン管理されたハーネスレジストリにコミットされ、有効な構成が $\phi^*_t$ に更新されます。

B. モデルアライメント・ループ（モデルの最適化）

このフェーズでは、進化したハーネス $\phi^*_t$ を固定し、モデルを更新します。

高品質な軌跡の収集: 現在のモデル $\theta_t$ を改良されたハーネス $\phi^*_t$ の下で実行し、高品質な軌跡のデータセット $D_t$ を生成します。
教師あり微調整 (SFT): モデルは $D_t$ に基づいて微調整され、改良されたスキャフォールディングによって可能になった挙動を内面化し、更新されたモデル $\theta_{t+1}$ を生成します。
イテレーション: 新しいモデル $\theta_{t+1}$ と進化したハーネス $\phi^*_t$ は、次のラウンドの開始点となります。そこでは、より強力なモデルが、より複雑なハーネスの限界を明らかにする可能性があります。

失敗帰属のタクソノミー（分類学）

HarnessCriticは、失敗を5つの実行可能なハーネス次元と1つの棄却ラベルに分類します。

プロンプトの曖昧さ ( $P$ ): 指示の未指定、または矛盾する目標。
ツールスキーマのエラー ( $T$ ): 不正なツール呼び出し、引数スキーマの不備、またはバックエンドとの不一致。
スキルの欠如 ( $S$ ): 再利用可能なルーチンや分解プリミティブの不在。
ミドルウェアの不一致 ($Mid$): ループプロトコル、フックの挙動、またはコンテキスト管理ロジックの欠陥。
メモリオーバーフロー ( $M$ ): 永続的な状態のオーバーフロー、古いメモリ、またはリトリーバルの失敗。
エージェントのエラー: 失敗がハーネスではなく、モデル自身の推論に起因する場合。

3. 主な貢献

結合最適化の定式化: 本論文は、エージェントのポストトレーニングを、プロンプトやツールを固定されたインフラとして扱うパラダイムを超え、モデルの重みと実行時ハーネスの結合最適化問題として定式化しました。
HarnessCritic: 失敗に基づいた手順を導入し、エラーを特定のハーネスコンポーネントに構造的に帰属させ、修復のための検証済み局所差分を提案することを実現しました。
累積的利得のメカニズム: ハーネスの進化とモデルのアライメントを交互に行うことで、スキャフォールディングの改善がより良いトレーニングデータをもたらし、それがさらに高度なスキャフォールディングを活用できる強力なモデルを生み出すという、正のフィードバックループが形成されることを実証しました。

4. 実験結果

本フレームワークは、数学的ベンチマーク（AIME 2024, AIME 2025, HMMT 2025）を用い、2つのモデルスケール（Qwen3-8BおよびQwen3-32B）を用いたツール統合推論（TIR）タスクで評価されました。

性能向上: Co-Harnessによる2ラウンドの共進化は、ベースライン（モデルのSFTなしでハーネスを一度だけ進化させたもの）と比較して、ベンチマークとモデルスケール全体で平均 +20.4 パーセントポイント (pp) の精度向上をもたらしました。
- 最大の利得は、最も困難なベンチマーク（HMMT 2025）におけるQwen3-32Bモデルで観察され、+27.2 pp の向上を記録しました。
- 本システムは、入念に設計された静的なハーネス構成を平均 +24.7 pp 上回りました。
自律的なケーススタディ: AIME 2024における200時間以上の自律実行において、システムは以下を実現しました。
- 初期システムクラッシュ（vllm KVキャッシュエラー）からの回復。
- グローバルバッチ推論を通じて、推論効率を 8.7倍 向上（実時間を3.78時間から1.11時間に短縮）。
- 人間の介入なしに、時間予算内で最高精度（63.3%）を達成するアンサンブル戦略（多様なシードの多数決）を発見。
堅牢性: システムは、バージョン管理されたレジストリを使用して、モデルの内部推論と競合するドメイン固有のプロンプトなどの退行を正常に検出し、ロールバックを行いました。

5. 重要性と主張

本論文は、Co-Harnessが現在のエージェント開発における重要な限界に対処していると主張しています。それは、モデルのトレーニングと、トレーニングデータを生成する環境との間のデカップリング（分離）です。ハーネスを静的な足場ではなく、学習可能な変数として扱うことで、Co-Harnessは累積的な自己改善を可能にします。

著者らは、以下の「正のフィードバックのスパイラル」を実現していると主張しています。

より良いハーネスは、よりクリーンなツール使用と、回避可能なクラッシュの減少をもたらす。
これらのクリーンな軌跡が、より強力なモデルを訓練する。
より強力なモデルは、以前は使用不可能であった、より豊かで複雑なハーネス構成を活用できる。

これは、固定されたハーネスに対してモデルを最適化する（標準的なSFT/RL）、あるいは固定されたモデルに対してハーネスを最適化する（推論時の探索）といった、先行研究とは対照的なアプローチです。Co-Harnessは、両者を共進化させる最初のフレームワークとして提示されており、スキャフォールディングとモデルの重みの相互依存性が、固定ハーネスのポストトレーニングを超えてエージェントの能力を向上させるための主要な軸であることを示唆しています。

著者らが指摘する限界: このアプローチには、有能なクリティックLLM、コールドスタートのための十分な量の失敗軌跡、およびマルチラウンドSFTのための多大な計算資源が必要です。また、複雑な反事実的推論を必要とする失敗モードについては、属性付けの精度が低下する可能性があり、ハーネスの構造的な再設計は依然として人間の責任となります。