💬 NLP

Evo-Bench: Can Language Models Improve Agent Harness?

本論文は、言語モデルが自律的に動作用ハーネスを進化させる固有の能力を分離して評価するために設計された初のベンチマークであるEvo-Benchを紹介し、それが大幅な性能向上と転移可能な推論構造を明らかにする一方で、高度に特定されたワークフローを必要とするタスクにおけるドメイン固有の課題を浮き彫りにしていることを示すものである。

原著者： Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットの脳を構築したばかりだと想像してください。それは読み、書き、パズルを解く能力において、ほとんどの人間よりも優れています。しかし、一つだけ問題があります。この脳は、天才的ながらも不器用なシェフのようなものなのです。材料（知識）はすべて持っていますが、実際に料理を作るためのレシピ（指示書）を持っていません。人工知能の世界では、この「レシピ」は**エージェント・ハーネス（agent harness）**と呼ばれます。それは、AIにどのように脳を使って仕事を遂行するか（ウェブ検索、スプレッドシートの編集、レポート作成など）を教えるための、ルール、ツール、およびワークフローのセットです。

長い間、これらのレシピを書いて、AIをより良く機能させるために細かく調整してきたのは人間でした。しかし、もしAIが自分自身のレシピを書けるとしたらどうでしょう？私たちがAIに間違いの直し方を教える代わりに、AIが自らの失敗を観察し、何が間違っていたのかを突き止め、自らの指示書を書き換えてより賢くなることができたら？これこそが、科学者たちが問い続けている大きな疑問です。「AIは真に、自分自身をより優れた労働者へと教え込むことができるのか、それとも単に人間に手を引いてもらう必要があるのか？」この論文は、まさにその謎に深く切り込み、AIが自らの「オペレーティングシステム」を進化させ、自らの運命の達人になれるかどうかを検証しています。

AI自己改善の偉大なる実験

Evo-Benchをご紹介しましょう。これは、AIが自身のソフトウェアをアップグレードできるかどうかをテストするために特別に設計された、世界初の「ジム（訓練場）」です。キャラクターが経験値を得てレベルアップするだけでなく、キャラクター自身がより強くなるために自らのコードを書き換えることを許されるビデオゲームのようなものだと考えてください。研究者たちは、3つの異なるタイプの「ミッション」を備えた制御された環境を構築しました：サーチ（Search）（ウェブ上の情報の探索）、オフィス（Office）（複雑な文書やスプレッドシートの管理）、そしてジェネラル（General）（難解でオープンエンドなタスクの混合処理）です。

この実験では、さまざまなAIモデルに対し、基本的でシンプルな指示セット（「シード・ハーネス」）と、時間および計算能力の厳格な予算を与えました。AIの役割は、自律的なエンジニアとして振る舞うことでした。つまり、どこで失敗したかを確認し、その原因を推測し、その後、自らのコードを書き換えてそれを修正することです。彼らは単にAIに推測させたわけではありません。最終的な秘密の「評価（evaluation）」セットに直面する前に、検証用のタスクセットで自らの改善を証明させました。これにより、AIが単に答えを暗記しているのではなく、より良いツールを構築する方法を実際に学んでいることを保証しました。

結果：天才と不具合の混在

結果は、高揚と落胆が入り混じった激しい展開となりました。GPT-5.6 SolやClaude Opus 4.8のようなトップクラスのAIモデルは、確かに自己改善を学習できることを示しました。彼らは開始時点から16.6ポイントという大幅なパフォーマンス向上を実現し、人間が長年かけて手作業で設計してきたシステムのレベルに非常に近いところまで到達しました。

しかし、物語は単純な「AIの勝利」ではありませんでした。論文によると、AIの自己改善能力は、それが「何を」しようとしているかに大きく依存することが分かりました。

サーチ・タスク： AIはここでスーパースターでした。ウェブをナビゲートし、乱雑なデータをクリーンアップする方法を見事に習得し、人間の専門家に肉薄しました。
ジェネラル・タスク： これらの広範でクリエイティブな挑戦において、AIは実際に人間が設計したシステムを凌駕しました。彼らは、人間が思いつかなかった新しい思考法を編み出したのです。
オフィス・タスク： ここがAIの弱点でした。非常に具体的で硬直したワークフロー（複雑なスプレッドシートの処理など）を必要とする場合、AIは苦戦しました。必要な正確な手順を理解できず、しばしば行き詰まったり、小さく繰り返されるエラーを起こしたりしました。

「早期飽和」の罠

著者たちが**「早期飽和（early saturation）」**と呼ぶ現象は、最も興味深い発見の一つです。テストを受けている学生を想像してみてください。彼らは一生懸命勉強し、初回で素晴らしいスコアを取り、その後も勉強を続けることに決めました。しかし、成績が上がるどころか、考えすぎてしまい、逆に回答を悪化させてしまうのです。論文は、多くのAIモデルが非常に早い段階で「スイートスポット（最適解）」に到達し、優れた解決策を見つけ出すものの、その後のラウンドでもあれこれと手を加え続け、結果として機能していた部分を誤って壊してしまう傾向があることを示唆しています。彼らは、真に完璧なシステムを見つけ出す前に、時間や忍耐力を使い果たしてしまったのです。

天才の代償

論文はまた、この自己改善にかかるコストについても調査しました。最高の成果を得るには、コストがかかることが判明しました。トップパフォーマンスを発揮したAIは、実験を通じて走らせるのに500ドル以上を要しましたが、他のモデルは40ドル未満でそこそこの結果を出していました。これは、「パレートの境界線（Pareto frontier）」、つまり、最後の数ポイントの完璧さを手に入れるためには多額の費用を投じなければならないというトレードオフの関係を示唆しています。

結論

では、言語モデルは自らのエージェント・ハーネスを改善できるのでしょうか？ 答えは「イエス、ただし限界はある」です。 論文は、AIがオープンエンドなタスクや検索主体のタスクにおいて、自らを再発明することに非常に長けており、時には人間のエンジニアを打ち負かすことさえあることを示しています。しかし、硬直した特定のプロセスを必要とするタスクにおいては、依然として導いてくれる人間の手が必要です。研究者たちは、私たちは真のAI自己進化の最初の火花を目撃しているものの、まだ完全な到達点には至っていないと結論付けています。AIは、新しい調理技法を編み出すことはできるが、玉ねぎの切り方については依然としてマスターシェフに教わる必要がある、優秀な見習いのようなものです。この新しいベンチマークであるEvo-Benchは、現在のAIがどこに立ち、明日どこへ向かうべきかを示す明確な地図を提供しています。

技術要約：Evo-Bench – 言語モデルはエージェントのハーネスを改善できるか？

問題提起

大規模言語モデル（LLM）によって自律型エージェントは進化を遂げてきたが、現在の評価は、推論、ツール利用、メモリをオーケストレートするコード構造である「ハーネス（harness）」内に固定された、静的なタスク解決に限定されている。極めて重要なフロンティアは、ハーネスの進化（harness evolution）、すなわちエージェントが自身の動作ハーネスを自律的に最適化する能力である。しかし、この能力を体系的にベンチマークすることは、以下の3つの具体的な課題によって阻まれている：

ハーネスへの感度（Harness Sensitivity）： 標準的なベンチマークは、ハーネスの改善と基礎モデルの強さを分離できていないことが多く、性能向上が優れたコードによるものなのか、より賢いモデルによるものなのかを判断することを困難にしている。
スプリット間の汎化（Cross-Split Generalization）： 既存の評価はタスク特有の過学習のリスクがあり、検証（validation）と評価（evaluation）のスプリット間で、ハーネスの変化に対する応答性が一致しない。
長期的進化（Long-Horizon Evolution）： 失敗を診断し、改善の仮説を立て、コードを更新するという、多ラウンドにわたる反復的な洗練を維持する能力を捉えることは依然として困難である。

現在の文献には、異種ドメインにわたって、長期的なハーネスエンジニアとして機能する基礎モデルの固有の能力を評価するための制御された環境が欠けている。

手法：Evo-Bench

これらの課題に対処するため、著者らは、モデルの固有のハーネス進化能力を評価するために設計された初のベンチマークである Evo-Bench を導入する。このフレームワークは、斬新な**ハーネス誘導型構築プロセス（harness-guided construction process）**と制御された評価プロトコルを採用している。

1. ベンチマーク構築フレームワーク

Evo-Benchの構築は、タスクが真にハーネスの改善に対して敏感であることを保証するために、2段階のプロセスに従う：

ステージ1：補助的ハーネス生成： 著者らは、最終的なベンチマークとは無関係な補助的タスクセット（320タスク）を収集する。彼らは、4つの最先端モデル（GLM-5.2, Claude-Opus-4.8, Claude-Sonnet-5, GPT-5.6-Sol）を用いて、これらのタスクに対して独立した進化実験を実行し、多様な12種類の代表的な進化済みハーネス（ $H_{aux}$ ）を生成する。
ステージ2：ハーネス誘導型タスク選択： 5つの確立されたベンチマーク（BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval）から候補タスクを抽出し、 $H_{aux}$ に対して評価を行う。タスクは、タスクのスコアとハーネスの全体的な品質との間のピアソン相関として定義されるハーネス感度（$Sens(x)$）に基づいてフィルタリングされる。正の感度と適切な難易度を持つタスクのみが選択される。
層化分割（Stratified Splitting）： 最終的なデータセットは、分布の一貫性を確保し、過学習を防ぐために、感度を考慮した層化分割を用いて、可視の検証スイート（ $D_{val}$ , 160タスク）と、互いに排斥された評価スイート（ $D_{eval}$ , 448タスク）に分割される。

2. 評価プロトコル

ドメイン： ベンチマークは、検索（ウェブナビゲーション）、オフィス（文書処理）、全般（多様なエージェントタスク）の3つのドメインをカバーしている。
プロセス： 固定されたポリシーモデル（ $\pi$ ）が、可変のポリシーハーネス（ $H_t$ ）を用いてタスクを実行する。**エボルバー（Evolver, $E$ ）**は、固定された「ハーネス進化」を通じて動作し、失敗パターンを検査し、仮説を策定し、 $H_t$ を編集する。
制約： プロセスはリソース予算（イテレーション、時間、ステップ数）によって制限される。エボルバーは、プロセス中に $D_{val}$ にのみアクセスできる。 $D_{eval}$ は、凍結されたハーネス（ $H_T$ ）の最終評価のために予約されている。
指標：
- 総合スコア（Overall Score）： ホールドアウトされた $D_{eval}$ におけるパフォーマンス。
- Anytime 検証スコア（Anytime Validation Score）： 進化予算における「これまでのベスト」の検証パフォーマンスの平均であり、進化プロセスの効率性を測定する。

主な貢献

Evo-Bench： 静的なタスク解決を超えて、検索、オフィス、および全般ドメインにわたって、実行可能なコードハーネスを自律的に洗練させるLLMの固有の能力を評価する新しいベンチマーク。
ハーネス誘導型構築フレームワーク： 補助タスクの進化を利用してハーネスに敏感なタスクを特定し、堅牢なクロススイートの汎化を確保するために感度を考慮した層化分割を採用する手法。
ハーネス進化の体系的分析： 9つの最先端およびオープンウェイトモデルに対する包括的な評価を行い、性能向上、時間的異常（例：早期飽和）、および進化構造の転移性を特徴付ける。

実験結果

著者らは、CodeActシードハーネスと、人間が設計した「人工ハーネス（Artificial Harness）」のベースラインに対して、9つのモデル（GPT-5.6-Sol, Claude Opus 4.8, GLM-5.2, Qwen3.7-Maxなどを含む）を評価した。

性能向上： トップレベルのモデルは、劇的な絶対的利得を達成した。GPT-5.6-Sol と Claude Opus 4.8 は、総合スコアをそれぞれ 16.6 および 16.1 ポイント向上させ、46.3 および 45.8 に達した。これらのスコアは、人間が設計したベースラインの 47.5 に極めて近い。
ドメイン固有の差異：
- 検索： 進化は非常に効果的であった。Claude Opus 4.8 は +34.8 ポイント向上し、人間のベースラインにほぼ匹敵した。モデルは、欠落していたウェブナビゲーションのロジックを正常に合成した。
- 全般： トップクラスのエボルバー（例：GPT-5.6-Sol, Qwen3.7-Max）は、人間が設計したベースラインを上回った。これは、自律的な推論構造がこのドメインにおいて手動設計を凌駕できることを示している。
- オフィス： モデルは著しく苦戦し、わずかな改善またはわずかな退行を示した。著者らは、これをオフィス業務に求められる非常に具体的な処理ワークフローを発見することの難しさによるものとしている。
時間的異常： 分析により、高品質な構造を迅速に発見するものの、後のラウンドで有害な変更を導入してしまうことが多く、それによって早期終了や性能低下を招くという**早期飽和（early saturation）**が明らかになった。
転移性： 進化したハーネスは、堅牢なクロスポリシーの汎化を示した。異なるポリシーモデル（Qwen, DeepSeek, GLM）に適用された際、合成されたハーネスは一貫してパフォーマンスを向上させた。これは、それらが単一のモデルの欠点に過学習しているのではなく、転移可能な推論構造として機能していることを示している。
コスト効率： パレート図の分析により、コストと性能の間に急激な対数的なトレードオフがあることが示された。トップレベルの結果を得るには多大なリソース（例：GPT-5.6-Sol で >$500）が必要であったが、GLM-5.2 や Qwen3.7-Max のようなモデルは、40ドル未満で強力な結果を達成した。

意義と主張

本論文は、Evo-Bench が、真のハーネス進化能力を、ベースモデルの強さや確率的なノイズから切り離して評価するための厳格かつ制御されたフレームワークを提供することを主張している。結果は、現在の最先端モデルが、特に検索や全般のドメインにおいて、自律的な研究エンジニアとして機能する能力を備えている一方で、複雑なオフィスワークフローにおける、人間のエンジニアのような深いシステムレベルの最適化や持続性においては、依然として不足していることを示唆している。

著者らは、Evo-Bench を、自己進化型エージェントアーキテクチャの研究を促進するための基礎的なテストベッドとして位置づけている。彼らは、因果的な失敗パターンを抽象化し、大規模なアーキテクチャのリファクタリングを実行する能力を強化することで、将来のモデルがハーネスエンジニアリングにおいて人間の専門家を一貫して上回る可能性を秘めていると論じている。本論文は、自己改善の問題を解決したと主張するのではなく、この特定の進化能力を測定しベンチマークするための、最初の体系的な指標を提供している。