RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring

本論文では、計画、実行、テスト、自己反省を担う専門エージェントを備えたマルチエージェント LLM フレームワーク「RefAgent」を提案し、8 つのオープンソース Java プロジェクトでの評価により、単一エージェントや既存ツールと比較してコード品質の向上、コードスメルの削減、そして開発者によるリファクタリングとの高い整合性を達成したことを示しています。

要約

RefAgent：AI による「自動リファクタリング」の革命

この論文は、**「RefAgent（リファージェント）」という新しいシステムを紹介しています。一言で言うと、これは「AI たちがチームを組んで、複雑なソフトウェアのコードを自動的に綺麗に整理・改善する仕組み」**です。

従来の AI は「指示された通りにコードを書く」のが得意でしたが、RefAgent は「問題を見つけ、計画を立て、実行し、失敗したら修正し、最終的にテストをパスするまで粘り強く改善する」ことができます。

この仕組みを、**「老朽化したビルの大規模リニューアル工事」**に例えて説明しましょう。

---

1. なぜ必要なの？（背景）

大きなソフトウェア（例えば、巨大なオフィスビル）は、時間が経つにつれて複雑になり、メンテナンスが難しくなります。壁にひびが入ったり（コードの匂い）、配線がごちゃごちゃになったり（設計の欠陥）します。

• 人間の手作業： 職人が一つずつ直すのは時間がかかり、ミスも起きやすい。
• 従来の AI： 「ここを直して」と言われれば直すけど、全体を見渡して「次に何をすべきか」を考えたり、失敗した時に自分で修正したりするのは苦手。
• 従来の自動ツール： 数学的な計算で「ここを直せば良い」と提案するが、実際のビル（コード）に適用すると、配管が破裂したり（バグ）、建物が倒壊したり（コンパイルエラー）するリスクがある。

そこで登場したのが、**「AI によるチームワーク」**です。

2. RefAgent の仕組み：4 人の専門家チーム

RefAgent は、1 人の万能な AI ではなく、4 人の異なる役割を持つ AI エージェントが連携して働きます。まるで、リノベーション工事の現場にいる専門家チームのようです。

① 計画担当エージェント（Context-Aware Planner）

• 役割： 「現場調査」と「設計図の作成」。
• アナロジー： 建築士や現場監督です。
  • ビルの構造（コードの依存関係）を調べ、どこが弱っているか（コードの匂い）を分析します。
  • 「この壁を壊して、新しい廊下を作る」といった具体的なリノベーション計画を立てます。
  • 単独で判断するのではなく、周囲の部屋（他のクラス）との関係も考慮します。

② 施工担当エージェント（Refactoring Generator）

• 役割： 「実際の工事実行」。
• アナロジー： 熟練の職人（大工や電気工事士）です。
  • 計画担当が作った設計図（リファクタリング計画）に従って、実際にコードを書き換えます。
  • 失敗したら、次の指示を待ってすぐに修正します。

③ 検査員エージェント（Compiler Agent）

• 役割： 「構造の安全性チェック」。
• アナロジー： 建築基準法の検査官です。
  • 工事後、ビルが倒壊しないか（コードがコンパイルできるか）を厳しくチェックします。
  • もし「壁が倒れた（エラーが出た）」と言われれば、その理由を施工担当に伝え、「直して！」とフィードバックします。これを最大 20 回繰り返して、完璧な状態になるまで粘ります。

④ 動作確認エージェント（Tester Agent）

• 役割： 「機能のテスト」。
• アナロジー： 電気や水道の点検員、そしてシミュレーターです。
  • 「壁を移したけど、電気がつくか？水道は出るか？」を確認します。
  • 既存のテストに加え、AI が自動で新しいテスト（EvoSuite）も作成して、リノベーション後もビルが正常に動くか徹底的に検証します。
  • テストに失敗すれば、再び施工担当に「ここを直して」と伝えます。

3. 何がすごいのか？（結果）

この「4 人のチーム」が協力して 8 つの実際のプロジェクト（JClouds, JMeter など）で実験したところ、驚異的な成果が出ました。

• 失敗率が激減： 従来の「1 人の AI」に任せる場合、テストにパスするのは半分以下でしたが、RefAgent では90% 以上が成功しました。
• コードの汚れが半減： 「コードの匂い（悪い癖）」が**約 52.5%**も減りました。
• 品質向上： コードの再利用性や拡張性といった品質指標が、**約 8.6%**向上しました。
• 人間に近い判断： 経験豊富な開発者が「ここを直すべきだ」と判断した場所と、RefAgent が選んだ場所は8 割近く一致していました。

4. 重要な発見：「チームワーク」と「反復」の力

この研究で最も重要だったのは、「1 人の天才 AI」よりも「役割分担したチーム AI」の方が圧倒的に上手いという点です。

• 役割分担： 計画、施工、検査、テストを別々の AI が担当することで、それぞれの専門性を活かせ、ミスを防げます。
• 反復学習（ループ）： 一度で完璧になんてありません。失敗したら原因を分析し、修正し、再テストする「20 回までのループ」が、品質を劇的に高めました。

まとめ

RefAgent は、AI が単なる「コード生成ツール」から、**「自律的に問題を解決し、品質を高めるエンジニア」**へと進化することを示しました。

まるで、**「経験豊富な建築チームが、AI によって自動化された無人の工場で、24 時間体制でビルのリノベーションを完璧に仕上げる」**ようなイメージです。これにより、開発者は面倒なコードの整理から解放され、より創造的な仕事に集中できるようになる未来が近づいています。

技術概要

論文「RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring」の技術的サマリー

本論文は、大規模言語モデル（LLM）を中核とした**マルチエージェントフレームワーク「RefAgent」**を提案し、ソフトウェアリファクタリングの自動化におけるその有効性を検証した研究です。従来の単一 LLM や静的な検索ベース手法の限界を克服し、コンテキストを考慮した自律的な計画、実行、検証、改善のループを実現することで、高品質なリファクタリングを可能にします。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

ソフトウェアシステムが複雑化・大規模化するにつれ、技術的負債の蓄積やコードの臭い（Code Smells）の増加がメンテナンスコストの増大を招いています。リファクタリングはこれを解決する重要な手法ですが、以下の課題が存在します。

• 手動リファクタリングの限界: 大規模な変更には時間がかかり、人的ミスが発生しやすい。
• 既存の自動化手法の課題:
  • IDE 組み込み機能: 限られたリファクタリング種類しかサポートせず、依然として手動介入が必要。
  • 検索ベース手法 (Search-based): 最適化問題として定式化するが、振る舞いの保証が乏しく、大規模プロジェクトでは計算コストが高く、設計を急激に変化させるリスクがある。
  • 単一 LLM アプローチ: 静的なプロンプトに依存するため、コンテキストの変化への適応性が低く、長い対話では幻覚（Hallucination）が発生しやすく、複雑な多段階ワークフローの調整が困難。

これらの課題に対し、**動的にコンテキストに適応し、ツールを操作して自律的に意思決定できる「LLM ベースのマルチエージェント」**の導入が求められています。

2. 手法 (Methodology)

RefAgent は、リファクタリングのワークフローを専門的な役割を持つ 4 つの LLM エージェントに分散させ、相互にフィードバックループを形成するマルチエージェントシステムです。

主要コンポーネント

1. Context-Aware Planner Agent (文脈認識プランナーエージェント):
   • 対象クラスと依存関係（jdeps ツール使用）を分析し、コードメトリクス（DesigniteJava 使用）に基づいてリファクタリングの機会を特定します。
   • 依存クラスを含むコンテキストを収集し、構造化されたリファクタリング計画（JSON 形式）を生成します。
2. Refactoring Generator Agent (リファクタリング生成エージェント):
   • プランナーの指示に従って、対象クラスのコードを生成・修正します。
   • コンパイラやテスターからのエラーフィードバックを受け取り、計画を維持しつつコードを反復的に修正します。
3. Compiler Agent (コンパイラエージェント):
   • Maven を使用して生成されたコードの構文チェックを行います。
   • コンパイルエラーが発生した場合、エラーログを解析し、生成エージェントに修正を依頼するフィードバックループ（最大 20 回）を回します。
4. Tester Agent (テスターエージェント):
   • 既存のテストと、EvoSuite によって自動生成された回帰テストを実行します。
   • テスト失敗の場合、エラーを分析し、生成エージェントに修正を依頼します。
   • 20 回の試行でテストが通らない場合は、そのクラスのリファクタリングを中止し、元のコードを維持します。

特徴

• 反復的改善: 各エージェントは最大 20 回の反復ループを通じてエラーを修正し、コード品質を向上させます。
• 役割の分散: 単一の LLM が全てのタスクを行うのではなく、分析、生成、検証を専門のエージェントが分担することで、複雑性を低減し、精度を向上させています。
• ツール連携: jdeps, DesigniteJava, Maven, EvoSuite, RefactoringMiner などの外部ツールをエージェントが自律的に呼び出します。

3. 主要な貢献 (Key Contributions)

1. RefAgent フレームワークの提案: ソフトウェアリファクタリングの全工程（計画、生成、コンパイル、テスト）を自律的に実行する初のマルチエージェント LLM フレームワーク。
2. 包括的な評価: 8 つのオープンソース Java プロジェクト（JClouds, Accumulo など）を用いた大規模評価。
3. 多角的なベンチマーク:
   • 単一エージェント手法との比較。
   • 検索ベースツール（RefGen）との比較。
   • 開発者が実際に行ったリファクタリング（ヒストリ）との比較。
   • 異なる LLM（GPT-4o, StarCoder2, DeepSeekCoder）での性能評価。
4. アブレーションスタディ: コンテキスト取得やフィードバックループなどの各コンポーネントが性能に与える影響を定量的に分析。

4. 結果 (Results)

実験結果は、RefAgent が既存手法を大幅に上回る性能を示すことを示しています。

• 品質指標の向上:
  • ユニットテスト通過率: 中央値 90%（GPT-4o/DeepSeekCoder）。単一エージェント（Pass@1）の 44.5% から大幅に改善。
  • コンパイル成功率: 中央値 87-88%。単一エージェント（48%）と比較して 40.1% 向上。
  • コードの臭い削減率: 中央値 52.5% 削減。
  • QMOOD 品質属性: 再利用性（Reusability）が中央値 8.6% 向上。
• リファクタリング機会の特定精度:
  • 開発者のリファクタリングとの一致度（F1 スコア）: 79.15%。
  • 検索ベースツール（RefGen）との一致度（F1 スコア）: 72.7%。
  • これらは、RefAgent が人間や高度な最適化アルゴリズムと同等の判断能力を持っていることを示唆。
• モデル非依存性: GPT-4o（クローズドソース）、StarCoder2、DeepSeekCoder（オープンソース）のいずれのモデルを使用しても、同様の高い性能を維持しました（統計的に有意な差なし）。
• アブレーション結果:
  • コンテキスト取得（依存関係分析など）を除去すると、テスト通過率とコンパイル成功率が著しく低下し、不安定化しました。
  • 反復ループ（20 回）により、テスト通過率は徐々に向上し、12 回目で安定しました。

5. 意義と結論 (Significance)

• 自動化の新たなパラダイム: 単なるコード生成ではなく、検証と修正を含む「自律的なワークフロー」を実現し、リファクタリングの完全自動化への道筋を示しました。
• 信頼性の確保: 単一 LLM の幻覚やエラーを、マルチエージェントによる相互検証とツールベースのフィードバックループで効果的に抑制しています。
• 実用性: 大規模なオープンソースプロジェクトにおいて、開発者の手作業を大幅に削減しつつ、コード品質を維持・向上させることが可能であることを実証しました。
• 将来展望: 本アプローチは、ソフトウェアメンテナンスにおける AI エージェントの役割を再定義し、将来的には「人間とエージェントの協調（Human-in-the-loop）」によるさらに高度なリファクタリング支援への基盤となります。

総じて、RefAgent は、LLM ベースのマルチエージェントアーキテクチャが、複雑なソフトウェアエンジニアリングタスクにおいて、単一モデルや従来の自動化手法を凌駕する可能性を強く示した画期的な研究です。