RealVuln: 実世界のコードにおけるルールベース、汎用 LLM、セキュリティ特化型スキャナのベンチマーク評価

本論文は、実世界のコードに対する静的アプリケーションセキュリティテスト（SAST）ツールの性能を比較評価するための、初のオープンソースベンチマーク「RealVuln」を提案し、その評価結果を報告したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

SAST ツールは安全なソフトウェア開発の核心ですが、実務におけるその価値は「ノイズ（誤検知）」によって大きく損なわれています。

• 現状の課題: 既存のツールは誤検知率が高く、NIST の評価では警告の 8〜30% しかセキュリティに関連しないことが示されています。また、Fluid Attacks のベンチマークでは、完全自動化されたツールの脆弱性検出率は 22.7% に留まり、平均 F2 スコアは 1.9% でした。
• 既存ベンチマークの限界:
  • 合成コード: OWASP ベンチマークなどは人工的な Java スニペットを使用しており、実世界の複雑さや構造を反映していません。
  • データ非公開: SastBench などはデータが公開されておらず、再現性が保証されていません。
  • ベンダー自己評価: 既存のベンチマークの多くはベンダーが自社のツールを評価するものであり、公平性が疑われます。
  • 誤検知の無視: 多くのベンチマークは検出率のみを重視し、実務者を悩ませる「誤検知（False Positive）」の負担を測定していません。
• LLM 導入の疑問: 大規模言語モデル（LLM）を用いた新しいセキュリティスキャナは、パターンマッチングではなく意味論的なコード理解により性能向上を謳っていますが、それが実証されたオープンなベンチマークは存在しませんでした。

2. 手法とベンチマーク設計 (RealVuln)

RealVuln は、以下の要素を含む完全オープンソースの評価フレームワークです。

データセット

• 対象: 意図的に脆弱性を含んだ 26 の Python リポジトリ（教育用や CTF アプリケーション、PyGoat, DVPWA, VAmPI など）。
• ラベル: 手動でラベル付けされた 796 のエントリ（676 の真の脆弱性、120 の誤検知トラップ）。
• 特徴: 単一のファイルではなく、多ファイルの Web アプリケーション（Flask, Django, FastAPI など）を対象とし、実世界のコード構造を反映しています。また、LLM によるコード生成以前に作成された人間によるコードであるため、データ汚染のリスクを低減しています。

評価対象スキャナ (15 種類)

3 つのカテゴリに分類された 15 のスキャナを評価しました。

1. ルールベース SAST (3 種類): Semgrep, Snyk Code, SonarQube（パターンマッチング中心）。
2. 汎用 LLM スキャナ (10 種類): Claude (Haiku, Sonnet, Opus), Gemini, Grok, Kimi, GLM, Minimax, Qwen などのモデル。これらはセキュリティ特化ではなく、汎用的な推論能力をセキュリティタスクに応用する構成です。
3. セキュリティ特化型スキャナ (2 種類):
   • Kolega.Dev: 脆弱性検出のために設計されたアーキテクチャと LLM 推論を組み合わせた、目的特化型ツール（論文著者開発）。
   • GitHub SecLab Taskflow Agent: GitHub Security Lab 開発の多段階エージェント型オードタ（GPT-5.4 ベース）。

評価指標

セキュリティリスクの非対称性（見逃しのコストが誤検知のコストより遥かに高い）を反映するため、**F3 スコア（β=3）**を主要指標として採用しました。

• F3: 再現率（Recall）を精度（Precision）の 9 倍の重みで評価。
• 補足指標: F1（均等重み）、F2（再現率 4 倍重み）も併記。
• マッチングアルゴリズム: ファイルパス、CWE 分類、行番号（±10 行以内）に基づき、スキャナの出力とグラウンドトゥルスを照合します。

3. 主要な結果

評価結果は、明確な3 つの階層構造を示しました。

階層別パフォーマンス (F3 スコア順)

1. 最上位: セキュリティ特化型 (Kolega.Dev)
   • F3: 73.0 (再現率 0.809, 精度 0.388)
   • 全スキャナ中で最も高い脆弱性検出率を達成。見逃しを最小化する設計が功を奏しました。
2. 中位: 汎用 LLM スキャナ
   • 最高: Claude Sonnet 4.6 (F3: 51.7)
   • ルールベースツールに比べて約 3 倍の性能を発揮しましたが、特化型には及びませんでした。
   • 一部のモデル（Opus 4.6 など）は、実行時間の制約により全リポジトリを処理できず、スコアが低下しました。
3. 最下位: ルールベース SAST
   • 最高: Semgrep (F3: 17.7)
   • 全体的に検出率が低く、実世界の複雑な脆弱性（データフローや文脈依存のもの）の検出に苦戦しました。
   • 特記事項: 2 番目の特化型ツールである SecLab Taskflow Agent は F3 8.4 と低スコアでした。これは、1 リポジトリあたり 3〜5 つの脅威カテゴリしか調査しない「深さ重視」の設計が、網羅的な検出を必要とするベンチマークでは不利に働いたためです。

精度と再現率のトレードオフ

• Kolega.Dev: 高い再現率（80% 以上）を達成しましたが、精度は中程度（38.8%）でした。これは「見逃しを許容しない」セキュリティ要件に合致する設計です。
• Grok 4.20 Reasoning: 非常に高い精度（92.7%）を持ちましたが、脆弱性の 3/4 を見逃しており（再現率 26.3%）、実用性には欠けます。
• コスト効率: Kolega.Dev は 10 万行あたり 25 ドルで最高スコアを達成し、高価な汎用 LLM（Claude Sonnet は 83 ドル、Gemini は 136 ドル）よりもコストパフォーマンスに優れていました。

4. 主要な貢献

1. 包括的な比較評価: 同一の実世界コード基盤上で、ルールベース、汎用 LLM、セキュリティ特化型の 3 つのアーキテクチャを初めて体系的に比較しました。
2. RealVuln ベンチマークの公開: 26 のリポジトリ、796 の手動ラベル、120 の誤検知トラップを含む完全オープンなデータセットと、再現可能なスコアリングスクリプトを提供しました。
3. ライブベンチマークの確立: コミュニティが新しいスキャナやリポジトリを追加できる「生きているベンチマーク」として設計されており、バージョン管理と透明性を担保しています。

5. 意義と結論

• LLM 単体では不十分: 汎用 LLM はルールベース SAST よりも優れていますが、実生産レベルの脆弱性検出には「セキュリティ特化型のアーキテクチャ（ドメイン固有の分析パイプライン、文脈の組み立て、網羅的な検出戦略）」との組み合わせが不可欠であることが示されました。
• 設計思想の転換: 単に汎用 AI にセキュリティプロンプトを与えるだけでは限界があり、脆弱性検出に特化したシステムを構築する必要性が浮き彫りになりました。
• 実務への示唆: 見逃しのリスクが誤検知のコストを遥かに上回るセキュリティ分野において、F3 スコアのような「再現率重視」の指標が重要であることを再確認させました。

本論文は、セキュリティスキャナ開発の方向性を「汎用 AI の適用」から「ドメイン特化型 AI システムの構築」へとシフトさせる重要な示唆を与えています。すべてのコード、データ、結果は GitHub およびインタラクティブダッシュボードで公開されており、コミュニティによる検証と拡張が期待されています。