技術要約: EnvHarness: エージェント学習のための静的な世界の覚醒

1. 問題提起

大規模言語モデル（LLM）が自律型エージェントとして展開されるにつれ、その学習パラダイムは、静的なテキストデータからインタラクティブな環境へと移行しています。しかし、現在の環境は主に手作業で構築された静的なものです。これらは以下の2つの決定的な限界を抱えています：

1. 硬直性: エージェントの能力や特定の弱点に関わらず同一の挙動を示すため、改善に向けた的を絞った学習シグナルを提供することができません。
2. 陳腐化: エージェントが既存のタスクを習得すると、環境はそれ以上の価値を提供できなくなり、学習の進展が停滞します。

最近の研究では、環境の自動生成によってこれに対処しようとする試みがありますが、以下のような大きな障壁に直面しています：

• ドメイン特異性: 生成パイプラインは特定のドメイン（例：ウェブナビゲーション対コーディング）にハードコードされていることが多く、転用が困難です。
• 検証コスト: 生成された環境とその検証器（verifier）は信頼性に欠けることが多く、正当性を確保するために高価な過剰生成と重いフィルタリングを必要とします。
• 静的な性質: 生成された環境であっても、多くの場合、静的なままです。エージェントの進化するスキルセットに対して動的に適応する能力を欠いています。

核心となる課題は、環境をゼロから再構築するというエンジニアリングの負担を負ったり、人間が構築した検証器の完全性を損なったりすることなく、エージェンドの特定の弱点を標的にするように環境をカスタマイズするメカニズムを作成することです。

2. メソドロジー

2.1. EnvHarness パラダイム

著者らは、既存の静的な環境をラップし、基礎となるロジックやシミュレータのバックエンドを変更することなく、その挙動を再形成するプログラマブルなレイヤーである EnvHarness を提案しています。「エージェント・ハーネス」（凍結されたLLMにツールやメモリを追加するもの）とのアナロジーと同様に、EnvHarnessは凍結された環境にモジュール式のプラグイン・コンポーネントを追加します。

これは標準的なインターフェース（reset, step, obs）を通じて厳密に動作するため、元の環境の信頼できる検証器を維持しながら、ドメインに依存しない動作を実現します。フレームワークは、環境の変換 $w$ を定義し、$E' = w(E)$ とします（ここで $E'$ はカスタマイズされた環境です）。

EnvHarnessは、以下の3つの具体的なプラグイン・コンポーネントを通じてインスタンス化されます：

1. Stage (ステージ): 初期状態 ($s_0$) を変更します。reset() によって返される状態に対して一連のアクションを適用することで、障害物の導入（例：オブジェクトを隠す）や、サブゴールの事前完了を行い、タスクの開始難易度やホライゾン（期間）を効果的に変更します。
2. Contract (コントラクト): インタラクション・インターフェースを書き換えます。アクション空間 ($A$)、観測空間 ($O$)、および遷移ダイナミクス ($T$) に対して変換マップを適用します。これにより、アクションの前提条件を強制したり、観測をマスクして部分観測性をテストしたり、意図したスキルを学習させるために特定のショートカットをブロックしたりすることが可能になります。
3. Chain (チェーン): 複数の環境を合成することで環境を拡張します。ベースとなる環境 $E$ を、合成ロジック $g$ を介して追加の環境 $E_{ext}$ と連結し、複合的なエピソードを作成します。これにより、拡張されたホライゾンにおける目標の持続性のテストが可能になります。

これらのコンポーネントは非可換であり、スタック（積み重ね）することで複雑でカスタマイズされた環境（例：$E' = w_{chain}(w_{contract}(w_{stage}(E)))$）を形成できます。

2.2. EnvRigger: 自動カスタマイズ

特定のターゲット・ポリシー $\pi$ に対して EnvHarness の構成を自動化するために、著者らは EnvRigger を導入しています。このシステムは、ポリシーをブラックボックスとして扱い、以下の4段階のループを通じて動作します：

1. Observe (観測): ベースとなるタスク上でポリシー $\pi$ を実行して実行軌跡（トラジェクタリ）を収集し、失敗（弱点の特定のため）と成功（能力の境界を定義するため）の両方を分析します。
2. Diagnose (診断): 軌跡を分析して、失敗の根本原因（例：反復的なループ、パースエラー）や、過度に容易すぎる理由を特定します。そして、カスタマイズの方向性（スキャフォールディング/足場架けか、難易度向上か）を決定するテキストによる診断を出力します。
3. Write (記述): 診断に基づいて、候補となる EnvHarness コンポーネント（Stages, Contracts, Chains）を合成します。例えば、エージェントが脆弱なショートカットに依存している場合、EnvRiggerはそのアクションをブロックする Contract を記述します。
4. Validate (検証): 候補となるコンポーネントで現在の環境をラップし、新たなロールアウトを実行します。新しい環境が、欠落している能力を効果的に育成しつつ、解決可能な状態を維持しているかどうかを評価します。候補が失敗した場合は修正され、成功した場合は EnvHarness に受け入れられます。

このループにより、カスタマイズされたすべての環境が、診断された現在のポリシーの欠陥に特化して調整されることが保証されます。

3. 主な貢献

1. EnvHarness フレームワーク: 下層の環境コードや検証器を変更することなく、3つのプラグイン・コンポーネント（Stage, Contract, Chain）を介して静的な環境を制御可能なものへと変換する、プログラマブルなレイヤー。
2. EnvRigger: 実行軌跡からポリシーの弱点を診断し、それらの特定の欠陥を標的にするために、EnvHross コンポーネントを反復的に合成・検証する自律システム。
3. 実証的検証: 4つのドメイン（Embodied, Web, Software Engineering, Office Automation）における5つのベンチマークを用いたデモンストレーションを通じて、EnvHarness が元の静的な環境やドメイン固有の生成パイプラインよりも優れていることを示した。

4. 実験結果

著者らは、ALFWorld、WebArena、SWE-bench Verified、OfficeQA、SpreadsheetBench において、2つの学習パラダイム（スキルベース学習 [SL] および 強化学習 [RL]）を用いて EnvHarness を評価しました。

• パフォーマンスの向上:

  • スキルベース学習 (SL) において、EnvHarness 環境で訓練されたエージェントは、元の環境で訓練されたものと比較して、保持されたタスク（例：ALFWorld）において最大 9.0ポイントの改善を達成しました。
  • SWE-bench Verified では、EnvHarness は元の環境のベースラインに対して 2.70ポイント、ドメイン固有の SWE-smith ジェネレーターに対して 2.46ポイントの成功率向上を実現しました。
  • 強化学習 (RL)（ALFWorld および WebShop で Qwen3-8B と GRPO を使用）において、EnvHarness 環境は、静的な環境での訓練と比較して、特定の指標（例：ALFWorld の成功率）で最大 6.5ポイントの向上という、大幅に強力なポリシーをもたらしました。

• 効率性:

  • EnvHarness は、SWE-bench Verified において平均実行ステップ数を 9.8% 削減しました（53.6 ステップから 49.6 ステップへ）。一方で、修正されていない環境のスキルは、ステップ数を増加させる傾向がありました。
  • Chain コンポーネントは、他のスキルと組み合わせた際、長期間のタスクを効率的に解決する能力を示し、平均ステップ数を 53.58 から 41.96 へと減少させました。

• スケーリングと汎用性:

  • スケーリング: 環境の数が増加するにつれて（最大300まで）、EnvHarness のパフォーマンスは上昇し続け（SWE-bench で約54.8%の解決率に到達）、一方で元の環境および生成された環境は横ばいとなりました（それぞれ約52.1% および 約50.4%）。
  • 汎用性: 本フレームワークは異なる LLM バックボーン（Gemini 3.1, Qwen3.6, Gemini 3.5, Claude Sonnet 4.6）にわたって汎用性を持ち、ベースモデルの強さに関わらず、一貫してベースラインを 2.7 ～ 3.7 ポイント上回りました。

5. 意義と主張

本論文は、環境構築を「作成の問題（ゼロから新しい世界を構築すること）」から「ラッピングの問題（既存のものを修正すること）」へと再定義することを主張しています。

• 標的を絞った学習: ポリシーの特定の弱点に基づいて環境のカスタマイズを条件付けることで、EnvHarness は、静的または盲目的に生成された環境よりも優れた最適化シグナルを提供します。
• 安全性と信頼性: 下層の環境ロジックと人間が構築した検証器がそのまま維持されるため、システム内のすべての学習シグナルが、有効で検証済みのタスクに基づいていることが保証されます。
• スケーラビリティ: ドメインに依存しないインターフェースにより、単一の実装で、ドメイン固有の生成パイプラインを必要とせずに、多様な分野（コーディング、ロボティクス、事務作業）にわたるエージェント学習をスケールさせることが可能です。
• 共進化: EnvRigger ループは、エージェントとその環境との間の継続的かつ的を絞った共進化を可能にし、静的な環境ではサポートできない累積的なパフォーマンス向上を実現します。

著者らは、このアプローチが、現在のベンチマークの硬直性を解消しつつ、人間が検証したタスクの信頼性を維持しながら、エージェント学習のためのスケーラブルな環境供給への実用的な経路を提供すると結論付けています。