SAGE: A Self-Adaptive Agentic Framework for Execution-Guided Code Generation and Self-Repair
本論文では、コードの実行、実行時エラーの分析、および自己修復を反復的に行うMAPE-K制御サイクルを用いたクローズドループを採用することで、実行可能なマルチファイルプロジェクト生成の信頼性を大幅に向上させる自己適応型マルチエージェントフレームワークであるSAGEを紹介し、これによりシングルパス生成と比較して成功率の統計的に有意な向上を実現している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、少しおっちょこちょいなロボットに、複雑なレゴのお城を作る方法を教えようとしていると想像してください。あなたはロボットに、「堀と跳ね橋のあるお城を作って」という単純な指示を与えます。何百万枚もの城の写真で訓練されたロボットは、一瞬にして完璧に見える構造物を組み立てるかもしれません。しかし、もしあなたが跳ね橋を引こうとすると、ロボットが何年も前に廃止されたパーツを使用していたり、土台を地面に接着し忘れていたりしたために、跳ね橋が外れてしまうかもしれません。コンピュータサイエンスの世界では、これが「大規模言語モデル（LLM）」の課題です。これらは、単一の関数の作成といった小さなコードの断片を書くことには非常に長けていますが、ゼロから機能するソフトウェアプロジェクト全体を構築するように求められると、しばしば苦戦します。必要なツールをインストールし忘れたり、古い指示を使用したり、あるいは、見た目は正しくても実行しようとした瞬間にクラッシュしてしまうプログラムを作成したりすることがあります。
長い間、解決策は、ただロボットにもう一度やり直させることで、一度で成功することを期待することでした。しかし、この論文はよりスマートなアプローチを紹介しています。それは、単に推測させるのではなく、実際にロボットにお城を「作らせ」、跳ね橋を開けてみて、もし壊れたらすぐに直させるという方法です。これが「実行ガイド付き自己修復（execution-guided self-repair）」の核心となるアイデアです。これは、設計図を見るだけでなく、実際に製品を使ってみる品質管理検査官がいるようなものです。もし製品が失敗した場合、検査官はビルダーに何が間違っていたのかを正確に伝え、ビルダーはそれを修正します。この「構築、テスト、修正」のサイクルが、プロジェクトが完璧に動作するまで続きます。研究者たちが問い続けてきた大きな疑問は、「この『試行、失敗、修正』のループは、AIが複雑なソフトウェアを構築する能力を実際に大幅に向上させるのか、それとも単にロボットが空回りして混乱するだけなのか？」ということです。
この研究の背後にいる研究者、Harshil Lodhiya氏は、この疑問に答えるために、SAGE（Self-Adaptive Agentic Framework for Execution-Guided Code Generation and Self-Repair）と呼ばれる新しいシステムを作成しました。SAGEを、ループの中で働く4つの明確な役割を持つ、小さな自動建設チームだと考えてください。まず、**プランナー（Planner）**が、あなたの大きな目標を詳細なチェックリストへと分解します。次に、**コーダー（Coder）**が、そのリストに基づいてファイルを構築します。第三に、**バリデーター（Validator）が厳格な検査官として機能します。バリデーターは、清潔で隔離されたワークショップをセットアップし、必要なツールをインストールし、プログラムを実行しようと試みます。もしプログラムがクラッシュしたり、意図した通りに動作しなかったりした場合、バリデーターは諦めるのではなく、エラーメッセージを第四のメンバーであるフィードバック・エージェント（Feedback Agent）**に送ります。このエージェントは探偵のように振る舞い、エラーレポートを読み解き、どのファイルをどのように修正すべきかをコーダーに正確に伝えます。その後、コーダーは修復を行い、チーム全体で再び試行します。このサイクルは、プロジェクトが正常に実行されるか、あるいは試行回数の上限に達するまで繰り返されます。
チームは、AIを陥れるために特別に設計された15のトリッキーなタスク（例えば、もはや存在しない古いライブラリのコマンドを使用したり、必須の出力ファイルが欠落していたりするもの）を用いてSAGEをテストしました。彼らは、SAGEの「修正ループ」を、一度だけプロジェクトを構築して成功を祈るだけの標準的なAIと比較しました。結果は明白でした。自己修復ループは大きな違いをもたらしました。強力なAIモデル（gpt-4.1-mini）を使用した場合、標準的な「ワンショット」のアプローチの成功率は約69.3%でした。しかし、SAGEの修復ループを追加すると、成功率は92.0%へと跳ね上がりました。これは22.7パーセントポイントの改善であり、研究者はこれを極めて重要かつ意味のある進歩であると述べています。本質的に、このループは、人気のデータライブラリから削除された「month」頻度エイリアスを使用しようとしたコードの修正など、AIが本来であれば完全に失敗していたであろうタスクを救い出したのです。
しかし、論文ではより積極的なバージョンのアイデアもテストされました。彼らは次のように考えました。「もしAIがクラッシュを直すだけでなく、プログラムがクラッシュしていなくても、それが『完璧に』完了しているかどうかまでチェックしたらどうなるだろうか？」例えば、あるプログラムがレポートファイルを作成するはずだったのに、エラーは出ないものの、ファイルが作成されずに終了した場合、AIはそれを検知できるでしょうか？彼らは、これを行うための「正当性認識型（correctness-aware）」システムを構築しました。驚いたことに、この追加の厳格さはあまり効果がありませんでした。成功率はわずか2.7ポイント（94.7%へ）上昇しただけで、研究者はこの差は統計的に有意ではないことを見出しました。実際、過剰なチェックは、時としてAIに「過剰修正（over-fix）」を引き起こし、すでに正常に動作していたプログラムを壊してしまうこともありました。ここからの教訓は、AIに何が成功であるかを正確に伝えることは役立つものの、常に再チェックと再修正を強制することは、かえって状況を悪化させかねないということです。
要約すると、この論文は、AIに「試行、失敗、修正」のループを与えることが、動作するソフトウェアを構築するための強力な方法であり、成功率を約**69.3%から92.0%**へと高めることを示しています。これは、AIに実際の隔離された環境で自らの間違いを見せることが、複雑なプロジェクトに向けた潜在能力を引き出す鍵であることを証明しています。しかし同時に、完璧主義になりすぎることは逆効果になる可能性があるとも警告しています。時には、AIに大きなエラーを修正させ、それ以外は放っておく方が良いこともあるのです。研究者は、他の人々が自己修復可能なソフトウェアを構築できるよう、自身のコードとテストスイートを誰でも利用できるように公開しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。