SecLens: 大規模言語モデル（LLM）のセキュリティ脆弱性検出における役割別評価フレームワーク

技術的サマリー（日本語）

本論文は、LLM ベースのセキュリティ脆弱性検出における既存のベンチマークが抱える「単一スコアへの集約」という限界を指摘し、組織内の異なるステークホルダー（意思決定者）の多様なニーズに応えるための新しい評価フレームワーク**「SecLens-R」**を提案したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：単一スコアの限界

現在の LLM 脆弱性検出ベンチマーク（CyberSecEval, SecVulEval など）は、モデルの性能を単一の集約スコア（例：F1 スコアやリーダーボード順位）に集約する傾向があります。しかし、組織内の異なる役割を持つステークホルダーは、モデルに異なる要件を求めています。

• CISO（最高情報セキュリティ責任者）: 重大な脆弱性の見逃し（False Negative）を最小化し、重大度に応じたリコールを重視する。
• Head of Engineering（エンジニアリング責任者）: 開発者の生産性を低下させないよう、誤検知（False Positive）を最小化し、精度とコスト効率を重視する。
• Chief AI Officer (CAIO): 機能とコストのバランス、自律的なタスク完了率を重視する。
• セキュリティ研究者: 脆弱性のメカニズム理解の深さ、CWE 分類の精度、証拠の完全性を重視する。
• AI as Actor（自律エージェント）: パースの信頼性、フォーマット準拠、エラー処理能力を重視する。

単一のスコアでは、CISO にとって「最悪のモデル」がエンジニアリングにとって「最高のモデル」であるといった、役割による評価の乖離を捉えきれません。

2. 手法：SecLens-R フレームワーク

SecLens-R は、35 の共通評価次元（Dimension）を 7 つのカテゴリに分類し、5 つの役割別重み付けプロファイルを通じて評価を行う多角的なフレームワークです。

2.1 評価次元とカテゴリ

全 35 次元は以下の 7 カテゴリに分類されます。

1. Detection (検出): MCC, 再現率 (Recall), 精度 (Precision), CWE 精度など。
2. Coverage & Consistency (カバレッジと一貫性): CWE 網羅性、言語間の一貫性など。
3. Reasoning & Evidence (推論と証拠): 証拠の完全性、推論の存在など。
4. Operational Efficiency (運用効率): 1 タスクあたりのコスト、処理時間、スループットなど。
5. Tool-Use & Navigation (ツール使用とナビゲーション): ツール呼び出し数、ナビゲーション効率など。
6. Risk & Severity (リスクと重大度): 重大度重み付きリコール、重要脆弱性の見逃し率など。
7. Robustness (堅牢性): パース成功率、フォーマット準拠、エラー率など。

2.2 役割別重み付けプロファイル

5 つの役割（CISO, CAIO, 研究者, エンジニアリング責任者, AI as Actor）それぞれが、35 次元から 12〜16 次元を選択し、合計 80 点になるよう重みを割り当てます。

• CISO: 「検出」と「リスク/重大度」に重きを置く（例：重大度重み付きリコールに 10 点）。
• エンジニアリング責任者: 「検出（特に精度）」と「効率」に重きを置く（例：精度に 12 点）。
• AI as Actor: 「堅牢性」に最も重きを置く（36 点）。

2.3 評価レイヤーとスコアリング

評価は SecLens ベンチマークの 2 つのレイヤーで行われます。

• CIP (Code-in-Prompt): コードスニペットのみを提示し、推論能力を評価。
• TU (Tool-Use): リポジトリへのアクセス権とツール（ファイル読み取り等）を与え、実世界の監査能力を評価。

Decision Score (意思決定スコア) は、以下の式で算出されます。
$$D^{(r)}(m) = \frac{\sum_{i \in A^{(r)}} w_i^{(r)} \cdot s_i^{(m)}}{\sum_{i \in A^{(r)}} w_i^{(r)}} \times 100$$

• $w_i^{(r)}$: 役割 $r$ における次元 $i$ の重み。
• $s_i^{(m)}$: モデル $m$ の次元 $i$ における正規化スコア（0〜1）。
• $A^{(r)}$: 利用可能な次元の集合（例：CIP レイヤーではツール使用関連の次元は除外され、分母が自動調整される）。

3. 主要な貢献

1. 35 次元・7 カテゴリの共通評価体系: 全役割で共通の測定基準を用いながら、重み付けのみで役割ごとの視点を切り替える設計。
2. 動的次元除外を備えた重み付けスコアリング: 評価レイヤー（CIP/TU）やデータセットの制約により一部の次元が利用できない場合、分母を自動調整して公平なスコアを算出する手法。
3. 4 つの正規化戦略: コホート相対スコアリングのアーティファクトを排除し、固定された基準値（Cap）を用いた絶対評価を実現。
4. 実証的検証: 12 の最先端モデル（Anthropic, Google, OpenAI, Qwen など）を、93 のオープンソースプロジェクトから抽出した 406 タスク（10 言語、8 OWASP カテゴリ）で評価。

4. 結果と分析

12 モデルの評価結果から、以下の重要な知見が得られました。

4.1 役割によるスコアの大幅な乖離

同じモデルでも、評価する役割によってスコアが最大31 ポイントも異なることが確認されました。

• Qwen3-Coder: エンジニアリング責任者には「A (76.3)」だが、CISO には「D (45.2)」。
  • 理由：高い精度（誤検知が少ない）を持つが、リコールが低く（見逃しが多い）、CISO の要件である「重大な脆弱性の検出」を満たさないため。
• GPT-5.4: エンジニアリング責任者には「A (76.7)」だが、CISO には「D (48.4)」。
  • 理由：同様に保守的な予測戦略（高精度・低リコール）を採用しているため。
• Claude Haiku 4.5: リーダーボードでは 8 位だが、CISO 評価では 2 位（71.2）。
  • 理由：メモリ安全性や入力検証などの特定カテゴリで高いリコールを示し、CISO の「重大度重み付きリコール」要件に合致するため。

4.2 リーダーボード順位と役割別順位の不一致

総合リーダーボードの上位モデルが、特定の役割にとって最適とは限りません。

• CISO 向け: Gemini 3 Flash Preview や Haiku 4.5 が優秀（リコール重視）。
• エンジニアリング向け: GPT-5.4 や Qwen3-Coder が優秀（精度・コスト重視）。
• AI as Actor 向け: ほぼ全てのモデルが「A」を獲得（堅牢性・パース能力は既に解決済み）。

4.3 カテゴリ別性能の多様性

単一のモデルが全 OWASP カテゴリで優れているわけではありません。

• SSRF: Claude 系モデル（Sonnet 4.6, Opus 4.6）が突出。
• 認証失敗 (Auth Failures): 全体的に性能が低く、Opus 4.6 は 0.000 の F1 スコア（完全な検出失敗）。
• メモリ安全性: Haiku 4.5 が最高性能。

4.4 評価レイヤー（CIP vs TU）の違い

• CIP: 低コストで評価可能。多くの意思決定には十分。
• TU: コストが CIP の 10〜100 倍かかるが、ツール使用能力や位置特定精度を評価可能。TU レイヤーでは、コストと時間がかかるため、エンジニアリング視点のスコアが CIP に比べて著しく低下する傾向が見られました。

5. 意義と結論

SecLens-R は、セキュリティ分野における LLM 導入の意思決定を根本から変える可能性があります。

• 「万能のベストモデル」の否定: 組織の優先順位（リスク回避 vs 開発速度 vs コスト）に応じて最適なモデルは異なります。
• ステークホルダー意識の評価の必要性: 集約スコアだけでは隠れてしまう「カテゴリごとの弱点」や「役割ごとの適性」を可視化します。
• 実用的なカスタマイズ: YAML ファイルベースのプロファイルにより、組織固有のリスク許容度や要件に合わせて評価基準を容易にカスタマイズ可能です。
• オープンソース化: 実装はオープンソースとして公開され、既存のベンチマーク結果を SecLens-R のスコアリングレイヤーで再評価することも可能です。

結論として、セキュリティ脆弱性検出におけるモデル選定は「単一目的最適化問題」ではなく、多様なステークホルダーの視点を統合した「多目的意思決定問題」であることが実証されました。SecLens-R は、この複雑な意思決定を支援する重要なツールとなります。