ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java
本論文は、Spring、Jakarta EE、Quarkus 間のエンタープライズ Java アプリケーションの振る舞いを維持したままのフレームワーク間移行における AI コーディングエージェントの能力を評価するための包括的なベンチマーク「ScarfBench」を導入し、最先端のモデルがこの複雑なリファクタリングタスクにおいて著しく困難を抱えていることを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に古く、よく建てられた家があると想像してください。何十年もの間、家族が住み、家の中の家族にとって完璧に機能しています。しかし、近隣は変化しています。古い道路（古いソフトウェアフレームワーク）は舗装され、より速い新しい高速道路（現代的なフレームワーク）が建設されつつあります。家族は家具を移動させ、日々の習慣を全く同じに保ちたいと考えていますが、全く異なる基礎の上に建てられ、配管、電気配線、ドアノブも異なる家へ引っ越さなければなりません。
これが、SCARFBENCHが解決しようとしている問題です。
問題：家を塗り替えるのではなく、家を動かすこと
コンピュータソフトウェアの世界において、多くの大企業は「Java」という人気のあるプログラミング言語上でシステムを運用しています。これらのシステムは、通常、3 つの特定の「フレームワーク」（これらを異なる建築様式や設計図と考えるとよいでしょう）のいずれかの上に構築されています。Spring、Jakarta EE、Quarkusです。
時間とともに、企業はコスト削減や高速化のために、ある様式から別の様式へ切り替えたいと考えます。しかし、単に塗料を塗り替えるだけでは済みません。家全体を移動させなければならないのです。
- 課題: 単にいくつかの言葉を変えることではありません。家の中の家族が日々の生活で全く変化を感じないようにしつつ、家の配線方法、ドアの開閉方法、水の流し方をすべて書き換えなければなりません。
- 現状: 専門家は、これが極めて困難であると述べています。これまで、人工知能（AI）がこの仕事を果たせるかどうかをテストする良い方法はありませんでした。
解決策：SCARFBENCH（「引っ越しテスト」）
著者たちは、SCARFBENCHと呼ばれる大規模なテストを作成しました。これはソフトウェアのための「引っ越しシミュレーター」と考えてください。
- 設定: 彼らは、ある様式（例：Spring）で構築された 34 の異なる「家」（ソフトウェアアプリケーション）を取りました。
- 目標: 彼らは AI エージェント（賢いコンピュータプログラム）に、これらの全く同じ家を別の様式（例：Quarkus または Jakarta）で再構築し、家族の日常（ソフトウェアの動作）を全く同じに保つよう求めました。
- 証明: 彼らは単に AI に「完了しましたか？」と尋ねただけではありませんでした。彼らは厳格な「口頭試問」（テストスイート）を構築しました。新しい家は以下の条件を満たさなければなりませんでした。
- 建築検査官に合格する（コンパイルする）。
- 電気と水を点ける（デプロイする）。
- 家族が玄関から入り、居間に座り、以前と全く同じようにテレビをつけることができる（動作テストに合格する）。
結果：AI はまだ引っ越しを学んでいる
研究者たちは、現在利用可能な最も賢い AI コーディングエージェント 5 つをテストしました。彼らが発見したことは以下の通りです。
- スコアは低い: 最良の AI でさえ、家々を完全に移動させることに成功したのは、わずか**12% から 15%**でした。
- 「偽の成功」の罠: 多くの AI は、紙の上では良く見え、電気を点けることさえできる家（コンパイルされデプロイされた）を構築できましたが、家族がそれを使おうとしたとき、ドアが開かなかったり、水が流れなかったりしました。AI は設計図の「言葉」を翻訳できましたが、家の「論理」を理解できませんでした。
- 難易度の異なる移動: ある様式から別の様式への移動は、他のものよりも容易でした。Jakarta様式への移動が最も困難でした。AI は、半数以上の試行で、家を建てることさえ（コンパイルすることさえ）できませんでした。
- 一つの成功: 204 の異なる移動タスクのうち、AI によって完全に完了したのは1 つだけでした。新しい家が古い家と全く同じように機能したケースです。
なぜこれが重要なのか
この論文は、AI が無用だとは述べていません。AI はコードの作成には熟練しつつありますが、複雑なシステムの再構築においては依然として酷いものであると述べています。まるで、詩を書くことはできるロボットがいるが、台所全体を新しい家へ移動させ、冷蔵庫を機能させたままにするよう頼むと、冷蔵庫を寝室に置いてしまうようなものです。
著者たちは、他の研究者が将来、AI にこれらの複雑な移動をより良く行うよう教えるために使用できるよう、この「引っ越しシミュレーター」（ベンチマーク）を公開しました。彼らが本質的に言っているのは、「ここに物差しがある。あなたの新しい AI が壁を塗るだけでなく、実際に家を移動できるかどうかを確認するためにそれを使え」ということです。
要約すると: SCARFBENCH は現実的なチェックです。それは、AI が小さなタスクには優れているものの、壊すことなく一つの現代的なフレームワークから別の現代的なフレームワークへソフトウェアシステム全体を移動させることは、依然として人間レベルの理解を必要とする仕事であり、現在の AI はまだそこには達していないことを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。