MigrationBench: Repository-Level Code Migration Benchmark from Java 8
本論文は、Java 8 のコードを最新の LTS バージョン（17 および 21）へ移行させるための包括的なリポジトリレベルのベンチマークおよび評価フレームワークである MigrationBench を紹介し、エージェント型 LLM フレームワークがこの困難なタスクにおいて高い成功率を達成しうることを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で古い図書館を想像してください。そこには、特定のやや時代遅れの英語スタイル（これを「英語 8」と呼びましょう）で書かれた本が満ちています。この図書館は壮大で、何千冊もの本を収めており、それらすべてが現在、完璧な状態にあります。
次に、図書館の運営委員会が建物全体を新しい現代的な基準（「英語 17」）にアップグレードすることを決定したと想像してください。これは単にフォントを変更するだけではありません。文法規則、語彙、そして本の整理方法を更新し、新しい建物のセキュリティシステムやエレベーターと連携できるようにするのです。
MigrationBench は、AWS AI の研究者たちが、人工知能（特に大規模言語モデル、LLM）がこの大規模な改修プロジェクトをどの程度うまく処理できるかをテストするために作成した壮大な課題です。
以下に、彼らの仕事をシンプルな比喩を用いて解説します。
1. 問題：家一軒ではなく、都市全体を移転する
これまでのほとんどの AI テストは、ロボットに漏れのある蛇口を一つ修理させたり、単一の段落を書かせたりするよう求めるようなものでした。しかし、現実世界のソフトウェアは単一のファイルではなく、相互に接続された建物群（「リポジトリ」）という都市全体なのです。
- 課題: 「英語 8」から「英語 17」への移行には、数千ものファイルを一度に変更する必要があります。一つの道路標識を変更すれば、3 つ先のブロックにある信号機が壊れてしまうかもしれません。
- ギャップ: これまで、AI がシステム全体をクラッシュさせることなく、コードという都市全体を改修できるかどうかを確認するための標準化された「試験」は存在しませんでした。
2. 解決策：「MigrationBench」データセット
研究者たちは、MigrationBench という大規模なテストスイートを構築しました。
- 完全なデータセット: 彼らはインターネット（GitHub など）から5,102件の実際のオープンソース Java プロジェクトを収集しました。これらをフィルタリングし、高品質で適切なライセンスを持ち、現在も完全に機能していることを確認しました。
- 「選択された」サブセット: 5,000 件以上のすべてのプロジェクトをテストするには時間がかかりすぎます。そこで、彼らは最も複雑で厄介かつ興味深いプロジェクトを300件手作業で選びました。これはデータセットの「最終試験」バージョンと考えることができ、AI を本当に追い詰めるように設計されています。
3. ゲームのルール（評価）
改修が成功したかどうかをどうやって知るのでしょうか。研究者たちは 2 つの難易度レベルを設定しました。
レベル 1: 最小限の移行（「動作する」テスト）
- 目標: AI は、コードがコンパイル（ビルド）され、新しいバージョンですべての既存のテストが合格することを確認するだけでよいとします。
- 比喩: 建物は安全で、電気がつき、エレベーターが動作します。本は読めます。
- 成功率: 彼らの最良の AI 設定では、ここで**71.67%**の成功率を達成しました。
レベル 2: 最大限の移行（「近代化」テスト）
- 目標: AI は、動作させるだけでなく、コード内のすべてのツールとライブラリを、絶対的に最新かつ最も安全なバージョンにアップグレードしなければなりません。
- 比喩: 建物が安全であるだけでなく、AI は古い配管をすべて新しい銅管に交換し、セキュリティカメラを 4K に更新し、最新のスマートホーム機能を設置します。これははるかに困難です。なぜなら、新しいツールはしばしば異なるルールを持つからです。
- 成功率: これははるかに困難です。最良の AI 設定でも**53.33%**の成功率にとどまりました。
4. 作業者：AI エージェント
研究者たちは AI に単に「コードを書け」と指示しただけではありませんでした。ツールを備えたデジタル作業者であるAI エージェントを構築しました。
- 基本的な作業者: コードを見てエラーを修正しようとする単純な AI です。これは「最大限」のアップグレードには苦労しました。
- 賢い作業者（プロンプトエンジニアリング）: 基本的な作業者に、すべてをアップグレードするように具体的に指示する、より良いセットの指示を与えました。これは非常に役立ちました。
- 研究者作業者（RAG）: 作業者に最新のソフトウェアバージョンの「電話帳」（知識ベース）を与え、推測する必要がないようにしました。これにより結果はさらに向上しました。
- ハイブリッドチーム（優勝者）: これが最も賢明なアプローチでした。彼らはコンピュータプログラムを使用して、古いツールを新しいものに自動的に交換し（高速でロボット的なステップ）、その後、AI エージェントが入って、新しいツールが完全に適合しない厄介な部分を修正させました。
- 結果: このチームは、最も高価な AI 作業者と同じ成果を上げながら、11% 少ない計算資源で済ませました。
5. 結果
この論文は、AI が小さなコードの問題を修正することに非常に優れてきている一方で、古いバージョンから新しいバージョンへソフトウェアという都市全体を改修することは依然として巨大な課題であることを示しています。
- ハイブリッドアプローチ（自動化ツールと AI の組み合わせ）が、これを行う最も効率的な方法であることが証明されました。
- このデータセットと、これらの AI エージェントのコードは公開されており、他の研究者がさらに優れた改修チームを構築しようとする試みを可能にします。
要約すると: MigrationBench は、古いバージョンから新しいバージョンへソフトウェアライブラリ全体を移転させる練習を行う、新しく厳格な AI のジムです。これは、AI が有能である一方で、最も複雑な「改修」を正しく完了させるには、自動化ツールと人間のような推論の賢い組み合わせが必要であることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。