False Proximity: Frozen Code Embeddings Invert Similarity on Behaviourally Divergent Mutant Pairs

技術要約：凍結されたコード埋め込みにおける偽の近接性

問題提起
コード検索、クローン検出、および欠陥予測のパイプラインは、CodeBERTのような学習済みモデルから得られる凍結された埋め込み（frozen embeddings）に対するコサイン類似度を、振る舞いの等価性の軽量なプロキシとして頻繁に利用している。そこには、意味的に近いコード断片は高いコサイン類似度を示すはずであるという一般的な直感がある。しかし、この直感は、「極性（polarity）」に敏感なシナリオ（例：2つの数値の最大値を返す関数と、最小値を返す関数のように、2つのコード断片が正反対の結果を計算する場合）において、厳密に検証されているわけではない。

本論文は、凍結されたコード埋め込みが、振る舞いが等価なペア（同じ問題に対する独立して書かれた解法）と、振る舞いが分岐したミュータント・ペア（プログラムの出力を反転させる単一箇所での変異）を区別できるかどうかを調査している。著者らは、ミュータント・ペアはオリジナルに対して語彙的・構造的に極めて近似している一方で、等価なペアはスタイルが多様であるため、マスク付き言語モデル（極性を区別する信号を持たない）で学習された埋め込みモデルは、これらのクラスを分離できない可能性があると仮定している。具体的には、彼らは、類似性のシグナルが単に失敗している（ランダムなノイズ）のか、あるいは反転しているのか（分岐したミュータントを等価なペアよりも類似しているとランク付けするのか）をテストしている。

手法
本研究は、ドメインシフトによる混同を排除するために、Project CodeNet Python800から完全に派生した制御されたベンチマークを構築している。

1. データセットの構築:

   • ソース: 800個の問題。各問題につき、300個の判定合格済みPython提出物。
   • 等価ペア: 独立して書かれ、実行によって検証された解法の800組のペア（732組はオラクル検証済み、67組は合意検証済み）。
   • ミュータント・ペア: 単一箇所の抽象構文木（AST）変換を通じて生成された1,833組のペア。ミュータントは、利用可能なすべてのオラクル入力に対して出力がオリジナルから逸脱する（「殺される」）場合のみ保持される。
   • 変異カテゴリ:
     • COD (条件演算子の削除/挿入): 条件の反転（例：if x から if not x へ）。
     • ROR (関係演算子の置換): 演算子を論理的な補数に置き換える（例：< から >= へ）。
     • AI (アルゴリズムの反転): 主要な操作の逆転（例：min/maxの入れ替え、ソート方向の反転）。
   • 分析セット: 等価ペアとミュータント・ペアの両方が存在する784個の問題にわたる2,617組のペア。
   • 妥当性確認: 2名の外部博士号保持者による評価者間信頼性（IRR）により、Cohen's $\kappa = 0.925$ を得た。

2. 実験設計:

   • モデル: 3つの凍結エンコーダ：CodeBERT、GraphCodeBERT、および UniXcoder。
   • 構成: CodeBERTのレイヤー6、9、12と、[CLS] および平均プーリングの両方を含む、計8つの構成。
   • 指標:
     • AUC-ROC: 等価ペアがミュータント・ペアよりも高いスコアを得る確率。チャンスレベルは0.5であり、0.5を下回る場合は系統的な反転を示す。
     • 偽高類似率 (FHSR): 等価ペアの分布の第75パーセンタイルを超えるミュータント・ペアの割合。
     • イェンセン・シャノン・ダイバージェンス (JSD): 分布間の分離の大きさを測定する。
   • 学習フリーの補正: 等方性補正（ホワイトニング、all-but-the-top）や、凍結された対照学習済みエンコーダ（CodeSage）が、この失敗を修復できるかどうかを評価する。
   • ハイブリッドモデル (RQ3): コサイン類似度と正規化されたAST編集距離（APTEDを使用）を組み合わせた学習フリーのハイブリッドモデルを用い、構造的シグナルが極性のエラーを修正できるかをテストする。

主な結果

• 系統的な反転 (RQ1): すべての8つの埋め込み構成において、モデルは判別に失敗している。AUCはチャンスレベルの0.5を大きく下回り、0.017 (UniXcoder) から 0.090 (CodeBERT CLS, Layer 12) の範囲にある。これは、およそ10回の比較のうち9回において、振る舞いが分岐したミュータントが、2つの独立して書かれた正しい解法同士よりも、オリジナルに対してより類似しているとスコア付けされていることを示している。

  • FHSR は一貫して高く（0.870 から 0.978）、ほぼすべてのミュータント・ペアが「十分に類似している」とされる閾値を超えている。
  • この失敗は、トークンのオーバーラップを制御した場合でも（一致したサブセットでもAUC < 0.5を示しており）、また共有アンカー比較内においても持続しており、トークンのオーバーラップが寄与しているものの、それが完全に説明しているわけではなく、埋め込みの幾何学自体が近接性を駆動している。

• カテゴリ間の一様性 (RQ2): 反転は変異タイプに関わらず一様である。COD、ROR、AIは、統計的に区別できない混乱率（FHSR $\approx$ 0.87）を示している。トークンのオーバーラップが混乱に寄与しているものの、それだけで完全に説明することはできず、埋め込みの幾何学そのものが近接性を引き起こしている。

• 学習フリーの補正の失敗 (RQ1 & RQ3):

  • 等方性補正: ホワイトニングまたは "all-but-the-top" 変形を適用すると、埋め込みの判別能が悪化し（AUCが0.004–0.024付近に低下）、表面的な近接性が露呈した。
  • 対照学習エンコーダ: 凍結された対照学習済みエンコーダ（CodeSage）も、類似性を反転させた（AUC = 0.016）。これは、特定の極性ネガティブ・ペアを持たない標準的な対照学習目的関数では不十分であることを示唆している。
  • ハイブリッドモデル: コサイン類似度とAST編集距離を組み合わせると（RQ3）、失敗が深刻化した。単一箇所のミュータントは構造的にオリジナルと極めて近似しているため（AST距離 $\approx$ 0）、構造的項はそれらに高い類似性を割り当て、誤ったランキングを強化してしまう。最高のハイブリッドモデルでもAUCは 0.002 に達し、FHSRは 1.000 に達した。

意義と主張
本論文は、この失敗がCodeBERTの本来のタスク（コード検索、タイプ1/2クローンの検出など）における能力の固有の欠陥ではなく、凍結された埋め込みの類似性を、極性に敏感な等価性の決定に適用することの結果であると主張している。

• 表面的な近接性と振る舞いの等価性: この文脈における高いコサイン類似度は、振る舞いの合致ではなく、表面的な近接性（語彙的および構造的な近接性）を反映している。
• ヒューリスティックの限界: 学習フリーの修正（幾何学的な等方性補正や構造的なAST距離など）は、この特定の反転を修復できないことを本研究は示している。むしろ、構造的類似性は、ミュータントがオリジナルと構造的な双子であるため、エラーを強化する混同要因として機能する。
• 実務上の示唆: 逆のロジックを持つ近接した重複コードを含むコード検索、クローン・スクリーニング、または欠陥予測において、凍結されたCodeBERT埋め込みに依存している実務家は、高い類似度スコアを機能的な等価性の証拠として信頼すべきではない。論文は、現在の利用可能な学習フリーのシグナルではこの曖昧さを解決できないため、対照学習によるファインチューニング（特定の極性ネガティブ・ペアを用いるもの）または実行ベースの検証が、この問題を解決するための必要な経路であると結論づけている。

これらの知見は、Pythonおよびテストされた特定の凍結エンコーダモデルの範囲内に限定される。著者らは、制御されたベンチマークにおいて反転が確立されているものの、プロダクションコードや他の言語への適用可能性については、未解決の経験的な問題であると述べている。