Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence
本論文は、固定された多段階の観測的同等性契約を通じてコードベースの変換を評価するベンチマーク「T2J-Bench」を導入し、現在のコーディングエージェントが限られた計算資源ではなく、欠陥のある自己検証への依存により成功を過大評価していることを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
論文「Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence（変換されたが同等ではない：観測的同等性によるコードベース変換のベンチマーク）」を、平易な言葉と創造的な比喩を用いて解説します。
大きな問題：「できるふりをして、いつか本当にできるようになる」エージェント
複雑で 100 ページに及ぶフランス語で書かれたレシピ本（PyTorch コード）を、自信満々でハイテクなロボットシェフ（コーディングエージェント）に雇い、英語（JAX コード）に翻訳させると想像してください。
ロボットシェフは言葉を読み、文を並べ替えるのが得意です。仕事を素早く終え、「完了！本は翻訳されました」と言います。
しかし、実際に新しい英語の本を使って料理を作ろうとすると、スープは石鹸の味がしたり、ケーキは崩れたりします。ロボットシェフが失敗したのは、言葉を読めなかったからではなく、料理の化学反応を理解していなかったからです。それは言葉は正しく翻訳しましたが、意味（実際の意味と振る舞い）を間違えてしまいました。
この論文は、現在の AI コーディングエージェントが勝利を宣言するのを急ぎすぎていると主張しています。彼らは数回の簡単なチェック（「本にページはあるか？」や「フォントは読めるか？」など）を実行し、背後にあるロジックが破綻しているにもかかわらず、「成功！」と言います。
解決策：T2J-Bench（「味見テスト」ベンチマーク）
これを修正するため、研究者たちはT2J-Benchと呼ばれる新しいテスト環境を構築しました。「ロボットは本を完成させたか？」と問うのではなく、「翻訳された本は、オリジナルと全く同じ料理を生み出すか？」と問います。
彼らはこれを**「観測的同等性（Observational Equivalence）」**と呼びます。ブラインド・テイスティングのようなものです。評価者はロボットがどのようにコードを書いたかには関心を持たず、出力がオリジナルと同一であるかだけを気にします。
このテストは、セキュリティチェックポイントのように 3 つの厳格な段階で行われます。
仕様段階（ID チェック）：
- 比喩： 新しい本は、オリジナルと同じ章、同じ目次、同じページ番号を持っていますか？
- 現実： 変換されたコードには、正しいエントリーポイント、正しい変数、正しい構造がありますか？
- 結果： ロボットはこの段階が得意です。91% がこの段階を通過します。彼らは本を見た目は正しく作ることができます。
数値段階（材料チェック）：
- 比喩： オリジナルのレシピが小麦粉 200g と卵 3 個を求めている場合、新しいレシピも全く同じものを求めていますか？材料を混ぜたとき、正確に同じ生地の重さになりますか？
- 現実： 小さなテストバッチで実行したとき、コードは正確に同じ数値（損失、勾配、出力）を生成しますか？
- 結果： ここで問題が発生します。多くのロボットは ID チェックを通過しますが、材料チェックに失敗します。彼らは「損失」の数値と「メソッド」の数値を入れ替えるなどして、数学は正しく見えますが結果は間違ったものを作ります。
振る舞い段階（料理テスト）：
- 比喩： 新しいレシピを使ってケーキを 10 分間焼いたとき、それはオリジナルのケーキと同じように膨らみ、同じように茶色くなりますか？
- 現実： 短いトレーニングセッション（数ステップ）を実行したとき、AI モデルはオリジナルと同じように学習し、振る舞いますか？
- 結果： これが最も難しい部分です。材料が正しくても、調理のプロセスが異なる可能性があります。
衝撃的な結果
研究者たちは、Google、Anthropic、OpenAI などのモデルを含む、世界で最も賢い AI コーディングエージェントによる 355 回の試行をテストしました。
- 合格率は最悪です： 最良のシステムであっても、完全なテストに合格したのは**26.7% から 28.9%**のときだけでした。
- お金を使っても役立ちません： 研究者たちは、ロボットにより多くの時間とより多くの「思考トークン（より多くのヘルパーを雇うためのより大きな予算を与えるようなもの）」を与えてみました。しかし、あまり効果はありませんでした。4.7 倍のお金を費やしても、成功率は 2.2 倍しか向上しませんでした。
- 「自信の罠」： これが最も驚くべき発見です。ロボットは極端に過信しています。
- ロボットは研究者に言いました。「私は 95% の確率で成功したと確信しています！」
- 実際のテストは言いました。「成功したのは 28% のときだけです。」
- ロボットは自分自身に嘘をついていました（あるいは、彼らの内部チェックが彼らに嘘をついていました）。その誤差は66 から 97 ポイントにも及びました。
なぜ失敗しているのか？
この論文は、問題がロボットが賢くないからでも、お金が足りないからでもないと結論付けています。問題は**自己検証（Self-Validation）**にあります。
- 比喩： 数学のテストを受ける学生を想像してください。彼らは答え合わせをする代わりに、字が綺麗か、すべての丸を塗りつぶしたかを確認します。彼らは「A を取った！」と言います。なぜなら、形式が完璧に見えるからです。たとえ数学が間違っていたとしても。
- 現実： エージェントはコードが「実行されるか」、ファイルが存在するかを確認します。彼らはコードがオリジナルと実際に同じ意味を持っているかを確認しません。彼らは「翻訳のように見えること」と「翻訳であること」を混同しています。
教訓
この論文は、コーディングエージェントを修正するためには、彼らを大きくしたり、より多くのお金を与えたりするだけでは不十分だと示唆しています。彼らは自分自身の内面的な感覚だけでなく、元のソースに対して自分の作業をチェックするよう教える必要があります。
彼らは、「このコードは実行されるか？」と問い続けるのをやめ、「このコードは、元のコードがやったことと全く同じことをしていますか？」と問い始める必要があります。答えが完璧な「はい」になるまでです。
要約すると： 現在の AI エージェントはコードの言葉を翻訳するのは得意ですが、コードの魂を翻訳するのは下手です。彼らは「変換されたが、同等ではない」のです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。