A Comprehensive Evaluation of Code Language Models for Security Patch Detection

技術要約：コード言語モデルによるセキュリティパッチ検出に関する包括的評価

問題提起
脆弱性を修正するコミット（VFC）の自動検出は、アドバイザリ・データベースがパッチリリースから中央値で25日遅れていることや、多くの修正が公開アドバイザリを受け取らないことを考慮すると、タイムリーなセキュリティパッチの展開において極めて重要である。コード言語モデル（Code LM）はセキュリティパッチ検出（SPD）において採用が進んでいるが、コードの変更のみに基づいてセキュリティ修正を認識する能力については不明なままである。既存の性能報告は、以下の3つの決定的な要因によって混乱していることが多い。(1) モデルがコードのセマンティクス（意味論）よりもコミットメッセージに過度に依存していること、(2) 学習セットとテストセットの両方に存在するプロジェクトを用いて評価を行うことによるデータ漏洩、(3) 特にCVEとの関連付けがないコミットにおけるラベル品質の不確実性である。これらの要因が、報告されているSPDの性能に与える結合効果は、厳密に定量化されていない。

手法
これらの課題に対処するため、著者らは20の断片的なVFCデータセット（18万件以上のコミットに及ぶ）を、一貫した評価スイートへと統合する統一フレームワークを構築した。このフレームワークには、体系的なパース、正規化、重複排除、およびコンテキストの強化のためのツールが含まれている。

評価プロトコルでは、4つのデータセット構成（D1–D4：言語サポートの範囲とラベルソース（CVEマッピング、アドバイザリベース、および自動ツール）のバリエーションを含む）にわたり、125Mから80Bパラメータに及ぶ270の異なるモデル（エンコーダ、エンコーダ・デコーダ、およびデコーダ・アーキテクチャを含む）の学習を行った。本研究では、以下の3つの具体的な研究戦略を採用した：

1. 厳格な評価プロトコル： プロジェクトレベルのデータ漏洩を防ぐためのグループ層化分割を利用し、真のコード推論能力を測定するためにコードのみの入力を分離した。
2. コンテキストの強化： Tree-sitterとGumTreeを用いた制御フローおよびデータフロー解析による軽量な手続き内（intra-procedural）コンテキストの強化を実装し、さらにリポジトリ間のプロシージャル・コンテキスト（RepoSPD）を評価することで、追加のセマンティック・コンテキストが検出を改善するかどうかを判定した。
3. ラベル監査： 200件のコミットに対して専門家による手動監査を行い、ラベルの正確性を定量化するとともに、エラー分布を分析して、モデルの失敗とラベルのノイズを区別した。

評価指標には、F1スコアおよび、ベースレートの誤謬（base rate fallacy）を軽減するための、厳格な偽陽性率（FPR = 0.5% [0.005]）におけるパッチ検出スコア（PD-S）を用いた。

主な貢献

1. 統一フレームワーク： 20のVFCデータセットを、正規化、重複排除、およびコンテキスト強化のための自動パイプラインと共に統合したフレーム構想を公開し、ラベル戦略とプログラミング言語を横断した体系的な比較評価を可能にした。
2. 厳格な再評価： 学習プロトコル、モデル容量、およびコンテキスト信号の影響を分離した、コードLMベースのSPDに関する包括的な研究を行い、集約されたコーパスにおける将来の評価に対する具体的な推奨事項を提供した。
3. ラベル品質の定量化： 専門家による監査を通じてコミットレベルのラベル精度を直接定量化し、ラベルエラーがCVEに関連付けられていないコミットに集中しており、評価指標を著しく歪めていることを明らかにした。

主な結果

• 自然言語への依存： モデルは主にコミットメッセージに基づいてコミットを分類している。メッセージのみでの学習はフルコミットの性能にほぼ匹近付くが、コードのみの学習では性能が大幅に低下する。
• 分割戦略の影響： グループ層化分割（プロジェクトを学習とテストの間で分離）は、ランダム分割と比較してF1スコアを16〜28%減少させ、これまでの高い性能がプロジェクト固有の記憶（memorization）によって駆動されていたことを明らかにした。時系列分割（temporal split）ではさらに低下するが、スライディングウィンドウ分析によれば、これは脆弱性のパターンにおける真の時系列的変化ではなく、プロジェクト組成の変化によるものであることが示唆されている。
• モデル容量とコンテキスト： 大規模なデコーダベースのモデル（例：Qwen3-Coder-Next）は、特にCVEマッピングされたデータにおいて、小型のエンコーダやベースラインに対して明確な利点を示す。しかし、これらの利点は厳格な偽陽性予算の下では不十分である。手続き内のコンテキスト強化（制御フロー/データフロー）も、リポジトリ間のプロシージャル・コンテキストも、信頼できる改善をもたらさなかった。FPRが0.5%（0.005）において、評価されたすべてのファインチューニング済みコード専用モデルは、少なくとも80%の脆弱性修正を見逃した。
• ラベルノイズ： 手動監査の結果、CVEに関連付けられたコミットのラベル精度は高い（〜91%）が、CVEに関連付けられていないVFCの精度は、厳格な定義では〜29%、緩い定義では〜67%に低下することが判明した。このノイズは評価に不当な影響を与え、誤ったラベルが付与されたサンプルを正しく拒絶したモデルに対してペナルティを与える結果となっている。
• コンテキストの限界： エラー分析によれば、修正の決定的な証拠はしばしばディフ（diff）の外側（例：システムとの相互作用や攻撃者の能力）に存在しており、モデルは追加されたセマンティック・コンテキストが提供されても、それを効果的に活用できていない。

意義と主張
本論文は、現在の報告されているSPDの性能は、真のコード理解ではなく、主にデータセットの相関関係（具体的にはコミットメッセージやプロジェクト固有のパターン）を反映していると主張している。著者らは、厳格な評価条件（コードのみの入力およびグループ層化分割）の下では、大規模なモデルがベースラインに対して明確かつ不十分な利点を示しているものの、コードの変更のみから高信頼度でVFCを検出できる設定は存在しないと主張している。

本研究の意義は、以下を確立した点にある：

• 評価プロトコル： コードの推論を忠実に推定するには、コードのみの入力とグループ層化分割が必要である。集約されたコーパスにおける時系列分割は、組成の変化により信頼できない。
• データ品質： 評価はCVEによって確認されたポジティブ（正例）を優先すべきである。モデルはノイズの多いデータよりも、これらよりクリーンなデータセットにおいて高い性能を示すためであり、また、作成者は自らのラベルがどのような「セキュリティ修正」の定義を捉えているかを明示しなければならない。
• システム設計： SPDの主要なボトルネックは、モデルの容量やコンテキストの量ではなく、専門家が依存する特定のコンテキスト（多くの場合ディフの外側にあるもの）を選択し、効果的に活用する能力である。将来のシステムは、静的なディフに対するファインチューニングされた分類器に頼るのではなく、リトリーバル拡張型（RAG）のアプローチ、コードベースに特化したモデル、あるいはエージェント的システムを用いて必要なコンテキストを収集する必要がある可能性がある。

著者らは、特化した分類器はスクリーニングにおいて依然として関連性があるものの、この分野は現在のベンチマークの限界を超え、より広いリポジトリ・コンテキストの中にコード変更を接地（grounding）させることができるシステムの開発へと進む必要があると結論付けている。