技術サマリー：最先端の LLM はサイバーセキュリティに備えているか？

1. 問題定義

本論文は、最先端の大規模言語モデル（LLM）が専門的なサイバーセキュリティタスクに対して十分に信頼できるかどうかを調査する。汎用モデルがコーディングや推論において成功を収めているにもかかわらず、著者らは、現在の最先端モデルに内在する 3 つの構造的障壁により、サイバーセキュリティには「垂直分野特化型の基盤モデル」が必要であると主張する。

1. アライメント税（Alignment Tax）: 消費者向け安全ガードレールにより、モデル（特に GPT-5.4）は、ゼロデイハンティングや脆弱性テストなどの正当な攻撃的セキュリティ操作を、5 回の試行のうち 2〜3 回で拒否する。
2. 方法論のギャップ: 最先端モデルは、ツールを体系的に使用するために必要な構造化されたペネトレーションテスト方法論を欠いている。外部ツールを呼び出すことはできても、状態の維持、ベースラインの比較、多段階攻撃チェーンの実行ができず、結果として真の脆弱性の網羅性が低くなる。
3. 偽陽性危機: ホワイトボックス検出において、最先端モデルは高い偽陽性率（10〜50%）を示し、各誤報が高コストな手動レビューを必要とする本番環境でのトリアージには実用的ではない。

著者らは、規模の拡大だけでは不十分であり、一般推論とセキュリティ運用の間のギャップを埋めるには、ドメイン固有のトレーニング、専門的なアライメント、構造化された方法論が必要であると提唱する。

2. 手法

評価は、既知の真実（ground truth）を伴う許可された条件下で、静的コード分析と動的 Web アプリケーションセキュリティテストの両方をテストするように設計された「デュアルモードベンチマーク」を採用する。

2.1 ベンチマーク

• ホワイトボックス検出: 二値脆弱性分類（脆弱か良性か）と CWE 識別をテストするために、VulnLLM-Rデータセット（C、Java、Python）を使用する。
• ブラックボックス Web テスト: 20 以上の CWE ファミリにまたがる118 個の真の脆弱性を含む、5 つの本番スタイル Web アプリケーション（Mercury、TeamLedger、GraphQL、ProductWeb、BankWeb）の新しいスイートを導入する。意図的に脆弱なトレーニングターゲット（DVWA など）とは異なり、これらのアプリケーションは現実的なビジネスロジック、多段階ワークフロー、認証システムを備えている。

2.2 評価対象モデル

本研究は、4 つのパラダイムにまたがる 8 つのモデルを比較する。

• 最先端モデル: GPT-5.4、Codex 5.3、Claude Opus 4.6、Sonnet 4.6、Gemini 3.1 Pro、および Gemini 3 Flash。
• ドメイン特化モデル:
  • SuperIntel Defense-LLM: 高精度な脆弱性検出に最適化（保守的、偽陽性が低い）。
  • SuperIntel Attack-LLM: 専門的なペネトレーションテストとエクスプロイト開発に最適化（攻撃的、攻撃的ワークフロー向けにアライメント）。
  • 注: 両方の特化モデルは、Qwen3-Next-80B-A3B-Instruct の LoRA 適応バリアントである。

2.3 テストパラダイム

ブラックボックス評価は、図 1 に示す 4 つの明確なパラダイムを経て進行する。

• P1（直接プロンプティング）: ファイル I/O、bash、HTTP などのネイティブ機能のみを使用する最先端モデル。
• P2（ツール拡張）: 構造化された方法論なしに、Playwright MCP や Burp Suite MCP などの外部セキュリティツールで拡張された最先端モデル。
• P3（方法論ガイド）: 専門的なペネトレーションテストワークフロー（複数セッション管理、ベースライン比較、マルチシグナル確認）をエンコードするドメイン特化エージェント。
• P4（決定論的ハイブリッド / ARG）: 探索やペイロード生成などの LLM 駆動の創造的タスクを、決定論的分類ノードから分離するエージェント推論グラフ（Agentic Reasoning Graph）。このアーキテクチャは、最終的な脆弱性確認ステップから LLM の判断を排除し、幻覚を除去する。

3. 主要な貢献

1. デュアルモードベンチマーク: 118 個の真の脆弱性に対するホワイトボックス機能レベル検出とブラックボックス Web テストを組み合わせた包括的な評価フレームワーク。CVE-Bench や ZeroDayBench などの先行ベンチマークよりもはるかに大規模である。
2. 体系的な限界分析: 高い拒否率、低い真実網羅性（4〜8%）、過剰な偽陽性によって特徴づけられ、最先端モデルが構造的にサイバーセキュリティに備えていないことを示す実証的証拠。
3. 垂直モデルアーキテクチャ: 方法論をエンコードするドメイン特化エージェントが、ファミリーごとの検出率 50% 超（最先端エージェントの 4 倍の改善）を達成することを示す実証。エージェント推論グラフ（ARG）の導入により、推論と決定論的確認を分離することで偽陽性が大幅に減少することを示す。
4. データボトルネックの特定: 主な障壁は、エンドツーエンドの要求/レスポンスシーケンス、失敗に富むデータ、多段階攻撃チェーンといった構造化されたセキュリティテスト痕跡の欠如であることを分析で明らかにする。著者らは、この欠落したデータを生成するための自己対戦セキュリティテスト戦略を提案する。

4. 主要な結果

4.1 ホワイトボックス検出

• 偽陽性: すべての最先端モデルは、**15% から 46%**の偽陽性率を生み出した。例えば、Sonnet 4.6 と Gemini 3 Flash は、ほぼ 70% のサンプルを脆弱としてフラグ付けした。
• 特化モデルの性能: SuperIntel Defense-LLMは、最高精度（0.904）と最低偽陽性率（9.7%）を達成し、Codex 5.3 を含むすべての最先端モデルを上回った。また、Sonnet 4.6 よりも18.2 倍少ないトークンを使用する優れた推論効率を示した。
• 言語固有の課題: 最先端モデルは C コードで大きく苦戦し、良性のポインタ演算やメモリ管理パターンを頻繁に脆弱性としてフラグ付けした。Defense モデルは Java において完全な検出（F1=1.000）を達成した。

4.2 ブラックボックス Web テスト

• 方法論のギャップ:
  • P1（直接プロンプティング）: 真実網羅性はわずか**4〜8%**であった。
  • P2（ツール拡張）: 網羅性はわずかに**10〜19%**に改善したが、ツールアクセスだけでは方法論の欠如は解決されないことを示している。
  • P3（方法論ガイド）: 網羅性は脆弱性ファミリーごとに50% 超に跳ね上がった。例えば、P3 スケフォールド内の Claude Opus 4.6 は 118 個の脆弱性のうち 95 個を検出（80.5% のリコール）した。
• 精度のレバー（P4）: エージェント推論グラフ（ARG）は、外部ツールを使用せずネイティブ機能のみで**30.2%**の全体的な真実網羅性を達成し、ドメインアライメントされたモデルによる構造化された方法論が、ツール拡張型の最先端モデルを上回ることを実証した。重要なのは、ARG が決定論的ロジックへの確認の委譲により、偽陽性率を 20% 未満に維持したことである。

4.3 運用効率

ARG パイプライン（P4）は、ターゲットあたり15〜17 分、コスト3〜5 ドルでテストを完了した。これに対し、最先端 LLM アプローチでは30〜60 分、15〜30 ドルを要した。

5. 意義と主張

本論文は、最先端 LLM は本番環境のサイバーセキュリティシステムに対してまだ信頼できないと結論づける。制限要因は能力だけでなく、信頼性と方法論である。

• 垂直特化は不可欠: 結果は、サイバーセキュリティには、構造化されたセキュリティ痕跡でトレーニングされ、専門的な使用向けにアライメントされ、リコールだけでなく精度でも評価された垂直分野特化型基盤モデルが必要であることを示唆する。
• 規模よりも方法論: 改善の主要なレバーはモデルの規模ではなく、エージェントへの専門的なペネトレーションテスト方法論のエンコードである。
• 決定論的確認: 本番環境で実用可能となるには、脆弱性の確認を LLM の判断から切り離す必要がある。ARG アーキテクチャは、創造的計画と決定論的検証を分離することが、偽陽性を制御するために必要であることを示している。
• データ生成: 著者らは、エンドツーエンドのセキュリティテスト痕跡の欠如が根本的なトレーニングボトルネックであると特定し、将来の垂直モデルのトレーニングに必要なデータを生成するための戦略として、自己対戦テストを提案する。

著者らは、評価が許可されたローカルホストのアプリケーションに限定され、マルウェア分析、ソーシャルエンジニアリング、ネットワーク侵入検知は対象外であることを示し、範囲を控えめに保っている。しかし、複数のモデルとパラダイムで観察された比較誤りパターンは、AI 駆動型セキュリティにおけるドメイン固有のアーキテクチャ転換の必要性を強く示す証拠となっている。