HerAgent: 階層的テストピラミッドによる自動化された環境デプロイの再考

技術的サマリー（日本語）

本論文は、ソフトウェア開発における「自動環境構築」の課題を再定義し、大規模言語モデル（LLM）を活用した新しいアプローチ「HerAgent」を提案するものです。従来の手法が抱える限界を克服し、プロジェクトが実際に実行可能な状態（Runnability）に至るまでを達成する、包括的な環境構築フレームワークを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

ソフトウェアのテスト、デバッグ、失敗の再現には、依存関係のインストール、ビルド、テスト実行を含む「環境構築」が不可欠です。しかし、複雑な依存関係、多様なビルドシステム、不完全なドキュメントにより、このプロセスは依然として困難です。

近年の LLM を活用した自動化手法には、以下の 3 つの主要な限界がありました：

1. 成功基準の曖昧さと不完全さ: 既存の研究は、依存関係のインストール成功や部分的なテスト実行（例：pytest の起動）を「成功」とみなす傾向があります。しかし、これらはプロジェクトのメインエントリーポイントが実際に実行可能であることを保証しません。
2. プロジェクト全体像の欠如: 既存手法は、個々のコンパイルエラーやテストエラーに反応的に対応する「エラー駆動型」のアプローチに依存しており、リポジトリ全体の依存関係グラフや実行ワークフローを包括的に理解していません。これにより、複雑なプロジェクトでのスケーラビリティが制限されています。
3. 評価の外部妥当性の低さ: 既存の評価は、特定のプロジェクト構造（例：pytest 中心の Python プロジェクト）に限定された小規模なデータセットで行われることが多く、多様な言語や構造を持つ実世界のコードベースへの一般化能力が不明確です。

2. 提案手法：HerAgent

これらの課題に対処するため、著者らは**「環境成熟度階層（Environment Maturity Hierarchy）」**を導入し、これを基盤としたマルチエージェントシステム「HerAgent」を提案しました。

2.1 環境成熟度階層（Environment Maturity Hierarchy）

環境の成功を単一のバイナリ信号ではなく、実行証拠に基づく 3 つの段階で定義します（テストピラミッドの概念を応用）。

1. Installability（インストール可能）: 宣言された依存関係がプラットフォーム上で正常にインストール・ビルドできる状態（例：pip install, mvn install）。
2. Testability（テスト可能）: 単体テストやスモークテストが実行可能で、環境が機能的であることを示す状態（例：pytest, mvn test）。
3. Runnability（実行可能）: プロジェクトのメインエントリーポイントや統合テストが正常に実行され、システムがエンドツーエンドで動作する状態（例：python main.py, CLI の起動）。
   • 重要点: 従来の手法は主に「Testability」までを目標としていましたが、HerAgent は「Runnability」を最終目標とし、これを実現するための包括的なアプローチを取ります。

2.2 HerAgent のワークフロー

HerAgent は、以下の 3 つの段階で構成されるマルチエージェントシステムです。

1. 初期 Bash ファイル生成（Initial Bash File Generation）:

   • リポジトリのコードベースを知識グラフ（Tree-sitter と Neo4J を使用）で解析し、依存関係やビルド設定を包括的に理解します。
   • 単一の権威あるスクリプト（Bash File）を生成します。このスクリプトは、OS 抽象化、ベース環境の準備、ドメイン固有のビルドロジックなど、6 つの論理的レイヤーで構成され、実行可能かつ修正可能な状態に保たれます。

2. テストピラミッドの構築（Test Pyramid Construction）:

   • ドキュメントやソースコードからテスト関連の情報を抽出・分類し、上記の 3 つの成熟度レベル（Installability, Testability, Runnability）に対応するテストコマンドのリストを作成します。
   • 検索、抽出、分類、洗練、調整の 5 段階のプロセスを経て、ノイズを除去し、適切なレベルに分類されたテストコマンドを特定します。

3. インタラクティブな環境デプロイ（Interactive Environment Deployment）:

   • 実行ループ: 生成された Bash ファイルを実行し、成功するかを確認します。
   • フィードバックループ: 成功した場合、テストピラミッドに基づいてテストコマンドを実行し、成熟度を一段階ずつ上げていきます。
   • Bash ファイル修復（Bash File Repair）: 実行またはテストに失敗した場合、エラーを分析し、単一のコマンド修正とスクリプト全体の再生成を組み合わせる「ハイブリッド修復戦略」を用いて Bash ファイルを修正します。
   • 特徴: 一時的なコマンド実行ではなく、Bash ファイルという永続的な状態管理ファイルに対して修正を加えることで、コンテキストの喪失を防ぎ、複雑な依存関係の解決を可能にします。

3. 主要な貢献

1. 概念的革新: 自動化された環境デプロイの成功を定義する初の統一基準として、「階層的テストピラミッド（Installability, Testability, Runnability）」を提案しました。
2. 手法の革新: エラー駆動型の反応的アプローチではなく、コードベースからプロジェクト構造と依存関係を包括的に理解し、Bash ファイルを中核とした修復メカニズムを持つ HerAgent を提案しました。
3. 最先端のパフォーマンス: 4 つの主要ベンチマーク（EnvBench, Repo2Run, ExecutionAgent, Installamatic）において、既存の手法や最先端の LLM（GPT-5, Qwen など）を上回る性能を達成しました。
4. 複雑なプロジェクトへの対応: 特に C/C++ プロジェクトにおいて、従来の手法が到達できなかった「Runnability」を達成し、実用的な環境構築を実現しました。

4. 実験結果

• 全体的な性能: 4 つのベンチマーク全体で、HerAgent は既存の最良の手法を最大 79.6% 上回る改善を見せました。
• C/C++ プロジェクト: 複雑なビルドシステムを持つ C/C++ プロジェクトにおいて、先行研究（ExecutionAgent など）を 66.7% 上回る性能を発揮しました。特に、先行手法が失敗した 11〜30 の環境インスタンスを、HerAgent は独自に解決しました。
• ユニークな解決: 既存の手法が解決できなかったプロジェクト（例：mpv メディアプレイヤーなど）において、依存関係の連鎖的な欠落を段階的に解決し、完全に実行可能な状態に導くことができました。
• アブレーション研究: 「インタラクティブフィードバック」「単一コマンド修復」「全体スクリプト修復」の 3 つのコンポーネントが相乗効果を生み、特に「Runnability」の達成には全体スクリプトの維持が不可欠であることが示されました。

5. 意義と結論

本論文は、自動化された環境構築において「テストが通ること」と「実際に実行可能であること」の間には大きなギャップがあることを実証しました。従来の「テスト実行」を成功基準とするアプローチでは、実世界のユースケースを再現できない限界があることを示し、**「実行可能な証拠（Executable Evidence）」**に基づく評価の重要性を説きました。

HerAgent は、単なる依存関係のインストールを超え、プロジェクトの全体構造を理解し、段階的に環境を成熟させることで、自律的なソフトウェアエンジニアリングエージェントが実環境でコードを検証・実行するための基盤技術を提供します。これは、AI エージェントによる開発プロセスの信頼性と実用性を大幅に向上させる重要な一歩です。

リソース: 全てのコード、実行軌跡、実験結果は GitHub（https://github.com/EuniAI/EnvAgent）で公開されています。