Evaluating and Improving Automated Repository-Level Rust Issue Resolution with LLM-based Agents

この論文「Evaluating and Improving Automated Repository-Level Rust Issue Resolution with LLM-based Agents（LLM ベースのエージェントを用いたリポジトリレベルの Rust 問題解決の評価と改善）」は、Rust プログラミング言語におけるソフトウェアエンジニアリングタスクの自動化、特に GitHub のイシュー解決における大規模なベンチマークの構築と、それを克服するための新しいエージェントフレームワーク「RustForger」の提案を扱っています。

以下に、論文の技術的要点を日本語で詳細にまとめます。

---

1. 背景と課題 (Problem)

• Rust の特性と課題: Rust はメモリ安全性と並行性の保証において優れていますが、所有権（ownership）や借用（borrowing）、ライフタイムなどの厳格な型システムにより、学習曲線が急峻でコーディングが困難です。開発者の 83% が使用困難と感じており、自動化による問題解決が普及の鍵となります。
• 既存の限界:
  • 大規模言語モデル（LLM）を活用したコードエージェントは Python や Java などの SWE-bench などで成功を収めていますが、Rust 向けの大規模かつリポジトリレベルのベンチマークが存在しませんでした。
  • 既存の Rust ベンチマークは、関数レベルの合成や C-to-Rust 変換など、粒度が細かすぎるか、タスク数が少ない（SWE-bench Multilingual で 43 タスクなど）ものでした。
  • 現在のエージェントは、Rust 特有のリポジトリ全体のコード構造の理解や、厳密な型・トレイト（trait）セマンティクスへの準拠、そして**問題の再現（Issue Reproduction）**において大きな課題を抱えています。

2. 提案手法とベンチマーク (Methodology & Contributions)

2.1 Rust-SWE-bench の構築

Rust におけるリポジトリレベルのイシュー解決を評価するための、初の大規模ベンチマークを構築しました。

• 規模: 34 の人気 GitHub リポジトリから選定された500 の実世界タスク。
• データ収集プロセス:
  1. 87 の人気 Rust リポジトリ（スター数 1,000 超）からプルリクエスト（PR）を収集。
  2. 解決済みのイシューに関連し、テストファイルの変更を含むマージ済み PR をフィルタリング。
  3. Fail-to-Pass 検証: テストパッチ適用後にテストが失敗し、修正パッチ適用後にテストが成功することを確認（コンパイルエラーも失敗とみなす）。
  4. 手動検証により、問題記述の曖昧さや解決策の漏洩を排除し、500 の高品質タスクを確定。
• 特徴: バグ修正（52%）、機能実装（27%）など多様なカテゴリを含み、平均 139.9 行のコード変更を要する複雑なタスクが多いことが特徴です。

2.2 既存エージェントの評価研究

Rust-SWE-bench 上で、4 つの代表的なエージェント（SWE-agent, OpenHands, Agentless, AutoCodeRover）と 4 つの最先端 LLM（Claude-Sonnet-3.7, GPT-4o, o4-mini, Qwen3）を評価しました。

• 主要な発見:
  • ReAct 型アーキテクチャの優位性: 「思考 - 行動 - 観察」ループを採用するエージェント（OpenHands など）が最も高い解決率（21.2%）を示しました。
  • パッチの複雑さ: 上位エージェントは、大規模で複雑なパッチ（150 行超など）を生成する能力に優れていました。
  • 失敗要因:
    1. リポジトリ全体の構造理解不足: 未定義のモジュールやパス参照エラー（E0433, E0432 など）が多発。
    2. Rust 特有のセマンティクス違反: トレイト境界の不足や型不一致（E0599, E0308 など）。
    3. 問題再現の難易度: 上位エージェントでも 44.5% のタスクが「問題再現」段階で失敗し、その後の修正が不可能でした。依存関係設定（Cargo.toml）やテストの無効化が主な原因です。

2.3 RustForger の提案

上記の課題（特に問題再現と動的解析）を解決するために、新しいエージェントアプローチ RustForger を提案しました。

• 主要な機能:
  1. 自動テスト環境のセットアップ:
     • 元のプロジェクトをローカルパス依存として取り込み、隔離されたクリーンなワークスペースを構築します。これにより、依存関係の競合や複雑なビルドシステムの影響を排除し、安定した問題再現環境を提供します。
  2. Rust メタプログラミング駆動の動的追跡（Trace Command）:
     • AST 変形によるインスツルメント: Rust の手続的マクロ（Procedural Macros）機能を利用し、ターゲット関数に追跡コードを自動的に注入します。
     • クロスプロジェクト追跡: 元のプロジェクトのビルドシステムに依存せず、隔離されたワークスペースからテストを実行し、実行フローとデータ（入力/出力）を収集します。
     • 堅牢なランタイム: Rust の型システムにおけるシリアライズ不可能な型への対応として、シリアライズ可能な型は JSON 化し、それ以外はプレースホルダーで記録するハイブリッド戦略を採用しています。
  3. ハイブリッド解析: 問題が再現できた場合は動的追跡データを活用し、再現できない場合は静的解析のみを使用する柔軟なフローを備えています。

3. 評価結果 (Results)

Rust-SWE-bench における RustForger の性能は、既存のすべてのエージェントを凌駕しました。

• 解決率:
  • Claude-Sonnet-3.7 と組み合わせた場合: 500 タスク中 143 タスク（28.6%） を解決。
  • 改善度: 最強のベースライン（OpenHands + Claude-Sonnet-3.7 の 21.2%）に対して、34.9% の改善を達成。
  • ユニークな解決: どの LLM でも他のエージェントが解決できなかった 46 タスク を RustForger だけが解決しました。
• コスト効率:
  • 解決率が高いだけでなく、API 呼び出しコストも低減しました。Claude-Sonnet-3.7 使用時、OpenHands より 21.3% 低コスト、OpenAI o4-mini 使用時では OpenHands の半分以下のコストで同等以上の性能を発揮しました。
• 問題再現成功率:
  • RustForger は問題再現成功率を 67.3%（Claude-Sonnet-3.7 使用時）まで向上させ、ベースラインの 55.5% を上回りました。
• アブレーション研究:
  • 「隔離ワークスペース」の導入だけで解決数が 3.0 増加し、「動的追跡（Trace Command）」の導入でさらに 5.3 増加しました。これら両方が性能向上に不可欠であることを示しています。

4. 意義と結論 (Significance)

• ベンチマークの提供: Rust におけるリポジトリレベルの自動化研究を推進するための、標準的な大規模ベンチマーク「Rust-SWE-bench」を初めて提供しました。
• 課題の明確化: 現在の LLM エージェントが Rust において直面する「リポジトリ構造の理解」と「問題再現」の 2 つのボトルネックを定量的に明らかにしました。
• 技術的ブレイクスルー: Rust 固有のメタプログラミング機能（AST 変形マクロ）をエージェントの動的解析に統合する「RustForger」は、複雑な Rust プロジェクトのデバッグと修正において、静的解析の限界を突破する有効なアプローチであることを実証しました。
• 将来への示唆: 問題再現と動的実行情報の取得が、複雑なソフトウェアエンジニアリングタスクの解決において決定的に重要であるという知見は、他の言語やドメインにおけるエージェント設計にも応用可能です。

この研究は、Rust の開発効率化と、LLM エージェントによる高度なソフトウェア保守技術の進展に大きく貢献するものです。