技術要約: MulVul

問題定義

本論文は、大規模言語モデル（LLM）を用いたコード脆弱性検出の自動化における2つの決定的な限界に対処している：

1. 脆弱性パターンの異質性: 脆弱性の種類（例：バッファオーバーフロー対インジェクション攻撃）は、それぞれ異なる推論能力を必要とする。単一の統合モデルでは、共有された潜在空間内でこれらの多様で型特有のパターンを捉えることが困難であり、その結果、脆弱性の見落としや高い誤検知率を招く。
2. プロンプトエンジニアリングのスケーラビリティ: 現実世界のシステムには、数百ものCommon Weakness Enumeration（CWE）のエントリが含まれる。これほど膨大な数のカテゴリに対して、専門化されたエージェント用の独自のプロンプトを手動で設計することは不可能である。さらに、プロンプトの生成と評価の両方を単一のモデルに依存すると自己修正バイアスが生じ、マルチエージェントシステムは適切にグラウンディング（根拠付け）されていない場合、ハルシネーションを増幅させるリスクがある。

既存の手法は、外部のグラウンディングなしに固定されたプロンプトに依存するか、あるいは単一のモデルで全ての脆弱性タイプを同時に検出しようとするため、計算効率と広範なカバレッジのバランスを取ることに失敗している。

手法: MulVulフレームワーク

MulVulは、精密かつ広範なカバレッジを持つ脆弱性検出のために設計された、検索拡張型マルチエージェントフレームワークである。これは**粗から密への戦略（coarse-to-fine strategy）**を通じて動作し、**クロスモデル・プロンプト進化（Cross-Model Prompt Evolution）**を採用している。

1. アーキテクチャ: ルーター・ディテクター

本システムは、CWEタクソノミーに沿った階層型アーキテクチャを利用する：

• ルーターエージェント（Router Agent）: ディスパッチャーとして機能する。まず、粗粒度な脆弱性カテゴリ（例：「メモリバッファエラー」）のトップ-$k$を予測する。これは、正しいカテゴリが早期にフィルタリングされないように、知識ベースに対してクロスカテゴリの証拠を照会するための**グローバル検索ツール（Global Retrieval Tool）**を使用する。
• ディテクターエージェント（Detector Agents）: ルーターによって選択されたカテゴリに対してのみ、専門化されたエージェントが呼び出される。各ディテクターは、特定の脆弱性タイプ（例：「CWE-119 バッファオーバーフロー」）の細粒度な識別を行う。
  • 隔離（Isolation）: ディテクターは、エラーの連鎖を防ぐために、エージェント間の通信なしに独立して動作する。
  • 対照的検索（Contrastive Retrieval）: 各ディテクターは、3つのプール（カテゴリ内のポジティブ例、クリーンな例、カテゴリ外の「ハードネガティブ」）から証拠を検索するための特化したツールを使用する。この対照的なアプローチにより、微妙なセキュリティ上の欠陥を区別することが可能になる。

2. 知識ベース (SCALE)

本フレームワークは、SCALE（Structured Code Representation）を用いて構築された脆弱性知識ベースに依存している。SCALEは、コードスニペットを構造化コメントツリー（制御フローをエンコードしたASTノードに付随する自然言語コメント）に変換する。これらの表現は（UniXcoderを用いて）埋め込みされ、効率的な最近傍探索のためにインデックス化される。

3. クロスモデル・プロンプト進化

プロンプトエンジニアリングのスケール性のボトルネックを解決するため、MulVulはプロンプトの生成と評価を分離する新しい最適化メカニズムを導入している：

• 生成LLM ($M_{evo}$): （例：Claude）候補となるプロンプトを反復的に提案および変異させる。
• 実行LLM ($M_{exec}$): （例：GPT-4o）これらのプロンプトを用いてエージェントを実行し、パフォーマンスのフィードバック（ルーターについてはRecall@k、ディテクターについてはF1スコア）を返す。
• プロセス: この分離により、単一モデルの最適化に固有の自己修正バイアスが軽減される。ルーターのプロンプトは、正しいカテゴリがトップ-$k$に含まれることを保証するためにリコール（再現率）に対して最適化され、ディテクターのプロンプトは、適合率と再現率のバランス（F1スコア）に対して最適化される。

主な貢献

1. MulVulフレームワーク: 入力を必要な時だけ専門家へルーティングすることで、計算効率と検出カバレッジのバランスを取る、新しい検索拡張型マルチエージェントシステム。
2. クロスモデル・プロンプト進化: 生成と実行を異なるLLM間で分離することにより、専門エージェントのためのプロンプトを自動的に最適化し、手動エンジニアリングのスケール性の課題を効果的に解決し、バイアスを低減するメカニズム。
3. 最先端の性能: マルチクラスの脆弱性検出において、既存のベースラインを大幅に上回ることを示す包括的な実験結果。

実験結果

フレームワークは、130種類のCWEタイプにわたる6,968個の脆弱な関数と229,764個の無害なC/C++関数をカバーするPrimeVulベンチマークを用いて評価された。

• 全体的な性能: MulVulは、タイプレベルでMacro-F1 34.79%を達成し、最高のベースライン（LLM×CPG）を10.21パーセントポイント（相対的に41.5%の向上）上回った。
• 適合率と再現率のトレードオフ: 本システムはMacro-Precision 27.90%、Macro-Recall 46.19%を達成し、一方を犠牲にしてもう一方を損なうことが多いベースラインと比較して、優れたバランスを示した。
• アブレーション研究:
  • 検索（Retrieval）: 検索を除去すると最大の性能低下が発生し（F1が34.56%から21.80%に低下）、証拠による推論のグラウンディングの必要性が確認された。
  • プロンプト進化（Prompt Evolution）: 進化したプロンプトをマニュアルテンプレートに置き換えると、性能が11.76%低下し、クロスモデル進化戦略の有効性が検証された。
  • マルチエージェント（Multi-Agent）: エージェントアーキテクチャを除去（単一モデルを使用）すると、5.95%の低下が見られた。
• Few-Shot性能: MulVulは、希少なCWEタイプ（サンプル数100未満）においても堅牢な性能を示し、最高のベースラインの約25%に対し、約48%のF1を達成した。これは、関連する脆弱性パターン間で知識を転移するシステムの能力を浮き彫りにしている。
• ルーティングパラメータ ($k$): 最適なルーティングパラメータは $k=3$ であり、そこでMacro-F1は34.79%でピークに達した。

意義と主張

本論文は、MulVulがマルチクラスの脆弱性検出における新しい最先端（SOTA）であることを主張している。その意義は以下の点にある：

• 異質性への対処: タスクを粗いルーティングと細粒度の検出に分解することで、多様な脆弱性パターンを扱う際の統合モデルの限界を克服している。
• スケーラビリティ: クロスモデル・プロンプト進化メカニズムにより、数百のカテゴリに対する専門的な指示の作成を自動化し、手動エンジニアリングなしでの広範なカバレッジの検出を可能にしている。
• 堅牢性: 検索拡張生成と隔離されたエージェント操作の組み合わせにより、マルチエージェントLLMシステムで一般的な問題であるハルシネーションとエラーの増幅を効果的に軽減している。

著者らは、評価がC/C++コードに限定されていること、複数のLLM API呼び出しに伴う計算コスト、および他のLLMバックボーンへのプロンプト転送可能性に関するさらなる評価の必要性などの限界を認めている。また、自動化された脆弱性検出ツールのデュアルユース（軍民両用）のリスクについても言及している。