SemanticVul: Evidence-Grounded Structured LLM Explanations for Vulnerability Detection

技術要約: SemanticVul

問題提起
大規模言語モデル（LLM）は脆弱性検出において有望な意味情報を提供するが、その適用は、プロプライエタリなAPI推論に伴う高コストと再現性の欠如、生成される主張の未サポートまたは「ハルシネーション（幻覚）」、および説明文への正解ラベルの漏洩（例：推論内で「脆弱である」といった判定語を使用すること）という3つの主要な問題によって阻害されている。さらに、既存の融合手法の多くは単一の固定されたメカニズムに依存しており、性能向上が説明内容そのものによるものか、あるいは融合ブロックの追加パラメータによるものかを区別することが困難である。FuSEVulなどの先行研究では、監査されていない自由形式の散文による説明が商業用APIを用いて利用されており、これらの失敗モードに対して脆弱である。

手法
SemanticVulは、以下の2つの核心的なイノベーションを通じてこれらのギャップを埋める、C/C++コードのための関数レベルの二値脆弱性検出フレームットワークである：根拠に基づいた構造化説明パイプラインと、制御された融合ラダー（Fusion Ladder）。

1. 根拠に基づいた構造化説明パイプライン:

   • ローカル生成: 商用APIに依存する代わりに、SemanticVulはローカルで提供されるオープンウェイトのコードLLM（Qwen2.5-Coder 14B）を使用して、オフラインで説明を生成する。
   • スキーマ制約: モデルは、purpose（目的）、data flow（データフロー）、risky operations（危険な操作）、missing checks（不足しているチェック）、evidence tokens（根拠となるトークン）、safety indicators（安全性指標）、risk summary（リスク要約）、risk level（リスクレベル）という特定のフィールドを含む、スキーマ制約付きのJSONオブジェクトを出力するように強制される。
   • 決定論的バリデーション: バリデータは「グラウンディング契約（grounding contract）」を強制する。これは、危険な操作や不足しているチェックに関する主張が、解析対象の関数内の実際のサブストリングに紐付けられていることを保証するために、空白を無視したコードマッチングを行う。支持されない主張は破棄され、必要に応じて説明が再生成される。
   • リーク安全性: パイプラインは、エンコーディングの前にテキストから判定に関連する語彙（例：「vulnerable（脆弱）」、「exploit（エクスプロイト）」）をすべて除去（スクラブ）する。
   • 信頼度測定: 自己申告の信頼度ではなく、システムは生成されたリスクレベルのトークンのデコード時の対数確率に基づくスカラー信頼度値（$\kappa$）を測定する。この値は補助的な特徴量として検出器に供給される。
   • エンコーディング: 検証・除去されたJSONテキストはRoBERTaを用いてエンコードされ、ソースコードはCodeT5+を用いてエンコードされる。

2. 制御された融合ラダー (L1–L3):
   融合メカニズムから説明チャネルの寄与を分離するため、著者らは一致した条件下で3つの構成を訓練する：

   • L1 (Code-Only): コードエンコーダの出力のみを使用するベースライン。
   • L2 (Static Attention Fusion): コードと説明のトークン状態を融合させる、固定されたクロスアテンションメカニズム（FuSEVulと同様）。
   • L3 (Adaptive Gating): プールされたコードベクトルと説明ベクトルの混合比率（凸結合の重み $w$）を学習する、サンプルごとの適応型ゲート。このゲートは、説明ベクトルと測定された信頼度 $\kappa$ を入力として受け取る。

主な貢献

1. ローカルで根拠に基づいた説明パイプライン: 商業用の自由形式の散文を、ローカルでスキーマ制約があり、根拠に基づいた生成物に置き換えた。一致したReveal関数において、このアプローチはAPI言及のグラウンディングを（26.2%から55.4%へ）倍増させ、ハルシネーションによる呼び出しの言及を半減させ、87%の関数に対して明示的な根拠アンカーを提供した。
2. 制御された融合ラダー (L1–L3): 説明チャネルの有用性を融合メカニズムから分離するL1–L3訓練フレームワークを導入した。結果は、説明チャネルが最も持続的な利点（コードのみの場合と比較して最大+17.5 F1）を提供することを示しており、一方で適応型ゲートの静的融合に対する優位性は統計的に解決されていない。
3. 性能向上: ベース比較可能なプロトコル下で、SemanticVulは報告されているFuSEVulの参照結果に対して大幅な向上を達成した：Devignにおいて精度（Accuracy）+8.60、F1 +7.31、Revealにおいて精度 +1.23、F1 +15.09。特筆すべきは、Revealにおけるマイノリティクラスの再現率（Recall）が39.52%から63.00%に増加したことである。
4. データ品質監査: 分布されたDevignおよびRevealのスプリットに対する公開監査により、ラベル矛盾のある重複やクロススプリット・リークを含む重大なデータ品質の問題が明らかになり、これらは条件付き記憶境界がDevignで約99.0%、Revealで約96.96%であることを示唆している。

実験結果

• 全体的な性能: SemanticVulは、両方のデータセットにおいて公開されているFuSEVulの参照値を上回る。L2（静的融合）構成が、その改善がベース比較可能およびホールドアウト評価プロトコルの両方で維持されることから、主要な構成として特定された。
• 説明の有用性: L1（コードのみ）からL2（説明あり）への移行により、F1の大幅な向上（Devignで+9.56、Revealで+17.16）が見られ、根拠に基づいた意味的信号の価値が確認された。
• グラウンディングの質: バリデーションパイプラインはハルシネーションを効果的に減少させた。API言及のグラウンディングは26.2%から55.4%に改善し、不在の呼び出しに関する主張の割合は76.0%から46.7%に低下した。
• 適応型ゲーティング: L3適応型ゲートはベース比較可能プロトコル下で最高のF1を達成したが、5つのシードを用いたペア検定（t-test）の結果、L3とL2の間に統計的に有意な差は見られなかった。ゲートの優位性はホールドアウト評価の下では一貫しておらず、静的融合に対する決定的な寄与として解釈すべきではないことが示唆された。
• 閾値調整とアンサンブル: 閾値のチューニングとマルチシード・アンサンブルは、特に不均衡なRevealデータセットにおいてさらなる利得をもたらしたが、これらは展開時の推定値ではなく、楽観的な上限値として報告されている。

意義と主張
本論文は、ローカルで生成された根拠に基づいた説明が、脆弱性検出のための再現可能な意味的信号を提供できることを主張しており、高コストで監査不可能な商用APIを効果的に代替できるとしている。また、説明による改善を評価する際には、データ漏洩やラベルの矛盾がスコアを膨張させる可能性があるため、厳格なスプリット監査とホールドアウト評価が極めて重要であることを強調している。

著者らは、適応型ゲーティングに関して、特定の条件下では良好に機能するものの、その静的融合に対する優位性は統計的に堅牢ではないとして、控えめな立場をとっている。主要な貢献は、根拠に基づいた説明チャネルそのものであると検証されており、これが、独自のインフラストラクチャや未検証の推論に依存することなく、特に不均衡なデータセットにおけるマイノリティクラスの検出有用性を大幅に向上させている。本研究は、説明の影響を正確に測定するために、説明の内容と融合メカニズムを分離する必要性を強調している。