Beyond BLEU: A Semantic Evaluation Method for Code Translation

技術サマリー：BLEU を超えて：コード翻訳のための意味評価手法

問題定義
コード翻訳、特に低レベルバイナリを高レベル表現に変換する逆コンパイルは、大規模言語モデル（LLM）の中核的な能力です。しかし、これらの翻訳の正しさを評価することは依然として重大な課題です。現在の評価基準は、BLEU、CodeBLEU、RUBY などの構文類似性指標に大きく依存しています。これらの指標は、表面レベルの文字列の類似性や抽象構文木（AST）の構造を測定しますが、プログラムの意味を捉えることができません。

本論文は、意味保存タスクにおける文字列類似性の使用に 2 つの決定的な欠陥があることを特定しています：

1. 偽陰性：機能的に同一のプログラムでも、構文の差異、識別子の選択、またはコンパイラ最適化（命令の並べ替えや定数畳み込みなど）により、低い類似性スコアを受ける可能性があります。
2. 偽陽性：テキスト的な類似度が高いプログラムでも、振る舞いが異なる場合があります。例えば、逆コンパイラがソースと構文的に似ていても、命令を誤って解釈する（例：lea 命令をメモリ読み込みと誤解する）ことで、高い BLEU スコアにもかかわらず意味的なエラーが生じることがあります。
   さらに、既存のテストベースのアプローチは手動でのテストケース作成を必要とし、労働集約的であり、ほとんど網羅的ではありません。

手法
これらの限界に対処するため、著者はコンパイラテスト技術、特にCsmith（Yang ら、2011b）の利用に触発されたスケーラブルな評価手法を提案します。このアプローチは、文字列比較から実行による意味的同等性の検証へと焦点を移します。

プロセスは以下のステップを含みます：

1. プログラム生成：Csmith を使用して、任意の計算と関数呼び出しを行うランダムでコンパイル可能な C プログラムを自動生成します。これにより手作業が排除され、任意に大きな評価セットの作成が可能になります。
2. 参照実行：生成された C プログラムを、最適化レベル -O0 と -O3 でバイナリにコンパイルします。実行中、これらのバイナリは中間値に対してCRC チェックサムを計算し記録します。
3. 翻訳と再実行：生成されたバイナリを評価対象の逆コンパイラ（例：LLM またはヒューリスティックツール）で処理し、ソースコードを生成します。その後、この逆コンパイルされたコードを再コンパイルして実行します。
4. 意味的検証：再実行されたプログラムのチェックサムを参照チェックサムと比較します。不一致は、翻訳における意味的エラーを示します。
5. 指標の定義：著者は、実行時に一致するチェックサムを生成する翻訳プログラムの割合として定義される意味正しスコアを導入します：
   $$\text{意味スコア} = \frac{\text{正しいチェックサムを持つプログラムの数}}{\text{テストされたプログラムの数}}$$

主要な貢献
本論文は、3 つの主要な貢献を提示します：

1. 新しい評価手法：自動プログラム生成と意味的チェックサム検証に基づくフレームワーク。あらゆる言語に適用可能ですが、ここでは C に対して実装されています。
2. 直接的な指標：構文的な類似性ではなく、機能的な正確さを直接測定する「意味正しスコア」。
3. 実証的証拠：コード翻訳タスクにおいて、構文的指標（BLEU）が機能的な正確さの予測因子として不適切であることを示す実証。

実験結果
この手法は、x86 アセンブリから LLVM バイトコードへのバイナリリフティング用に微調整された 13B パラメータモデルであるメタのLLMCompilerを、最先端のヒューリスティック逆コンパイラであるRetDecおよびMcTollと比較評価するために適用されました。

• 性能比較：LLMCompiler はヒューリスティックなアプローチを大幅に上回りました。-O0 バイナリで0.33、-O3 バイナリで0.63の意味正しスコアを達成しました。対照的に、McToll も RetDec も、正常に実行されたバイナリを 1 つも生成できませんでした。McToll はバイナリをリフティングできず、RetDec はコンパイルに失敗するか、実行時にクラッシュするバイナリを生成しました。
• 相関分析：本研究は、LLMCompiler の出力に対するラウンドトリップ BLEU スコアを計算し、実行結果と比較しました。その結果、BLEU スコアと意味的正確さの間には無視できる相関しか見られませんでした。
  • -O0 バイナリの場合、BLEU-1 の点二系列相関係数（$r$）は**-0.13**でした。
  • -O3 バイナリの場合、最も強力な予測因子である CodeBLEU でさえ、相関はわずか0.35でした。
  • 合格したテストケースと不合格のテストケースの平均類似度スコアはほぼ同一であり、構文的類似性の分布は機能的な正しさに応じても大きく重複していることを示しています。

意義と主張
本論文は、BLEU などの構文的指標が、意味保存型のコード翻訳を評価するには根本的に不適切であると主張しています。発見事項は、高い文字列類似性が機能的な正確さを保証するものではなく、逆に機能的な正確さが高い文字列類似性を必要としないことを示しています。

著者は、この研究を実行ベースの評価への必要な転換として位置付けています。フレームワークが現在 C 生成プログラムに限定されており、生成されたコードが評価対象モデルの訓練分布の外にある可能性があるという限界を認めつつも、このフレームワークが価値のある厳密な性能測定を提供すると主張しています。高い意味スコアは、強力な適用性と意味的同等性を示しており、頑健なモデルは特定の訓練データを超えて一般化できることを示唆しています。