テクニカルサマリー：GARAGE – LLMベースの攻撃グラフ生成における自動化境界の特性評価

問題提起

現代の車両セキュリティは効果的なサイバー脅威インテリジェンス（CTI）の合成に依存しているが、既存の自動化ツールは非構造化データの処理や、自動車特有のアーキテクチャ上の細かな差異をナビゲートすることに苦慮している。従来の脅威分析およびリスクアセスメント（TARA）は、個々の電子制御ユニット（ECU）に限定されることが多く、複数のコンポーネント、オペレーティングシステム、および車内ネットワーク（例：CAN/Ethernet）にまたがる脆弱性を悪用した、安全に関わる連鎖的な攻撃を捉えることができない。エンドツーエンドの攻撃パスを構築するには、クロスドメインの専門知識が必要であり、人間が体系的に習得することは困難である。大規模言語モデル（LLM）は、分散した技術的知識を集約する可能性を秘めているが、自動車分野への適用においては、プライベートで断片化されたデータや、非構造化レポートにおける因果関係に基づいたステップ・バイ・ステップの連鎖を維持する必要性といった課題に直面している。さらに、既存のグラフベースのアプローチはセマンティックな文脈に欠けることが多く、ベクトルベースの検索は構造的な接続性を維持できていない。

メソドロジー

著者らは、断片的なCTIをドメイン固有の知識ベース（KB）へと変換し、車両レベルの攻撃グラフを自動生成するように設計されたエンドツーエンドのフレームワークであるGARAGE（Generative AI with RAG-based Attack Graph Engine）を提案する。

1. 知識ベースの構築

GARAGEは、12,786件のCVEと140件のセキュリティインシデントレポート（AutoSec-Timeline、テクニカルブログ、およびレポートから取得）を含むデータセットを合成する。構築パイプラインは以下の通りである：

• エンティティ抽出： 4つのLLM（Gemini 3.0 Flash、GPT-5.2、Claude 4.5 Sonnet、DeepSeek-V3.2）を使用し、非構造化テキストから12種類の定義済みエンティティタイプ（例：component、target_ecu、vulnerability、network_domain）を抽出する。
• 正規化： 埋め込みベースのクラスタリングを適用して意味的な冗長性を解決し（例：「CAN」と「Controller Area Network」の統合）、Neo4jグラフ内にカノニカルなノードを作成する。
• 関係抽出： 9種類の定義済み関係タイプ（例：HAS_VULNERABILITY、CONNECTED_TO）に基づき、主語・述語・目的語（SPO）の三つ組（triplet）を生成し、約8,824個のノードと9,265個のエッジを持つ知識グラフ（KG）を作成する。
• イベントおよびテクニックのマッピング： 構造化されたセキュリティイベントを抽出し、ファインチューニングされた分類器を用いて**Auto-ISAC Automotive Threat Matrix (ATM)**のテクニックにマッピングする。
• 書き換え： ベクターストアにおける検索品質を向上させるため、構造化された三つ組を自然言語の要約へと変換する。

2. ハイブリッド検索拡張生成（Hybrid RAG）

推論パイプラインは、ハルシネーションを軽減し構造的な妥当性を確保するために、デュアル検索戦略を採用している：

• コンテキスト認識型ベクトル検索： 車両仕様に基づく動的なクエリ生成と、ATMに基づいたクエリ定式化を行い、その後、クロスエンコーダーによるリランキングを実行して、関連する非構造的なCTIエビデンスを検索する。
• 構造化KGトラバーサル： シードノード（ECU、プロトコル）から開始してNeo4jグラフを探索し、高信頼度の構造的エビデンス（例：ECU → Component → Vulnerability）を最大2ホップの深さまで抽出する。
• ハイブリッド合成： LLMは、ベクトルストアとKGの両方からエビデンスを合成し、多段階の攻撃パスを推論する。システムは保守的なアプローチを強制する。すなわち、特定の車両のメーカー/モデルに言及したベクトルエビデンスによって明示的に否定されない限り、KGに記録された脆弱性は存在するものと仮定する。

3. 評価フレームワーク

著者らは、LLMの能力を個別に評価するために、二重指標評価フレームワークを提案する：

• 実用的な実現可能性 (Practical Feasibility: PF)： 「カスケード失敗」の原則を用いて、レッドチームの観点から攻撃パスの生存可能性を評価する。あるステップが無効である場合、それ以降のすべてのステップは失敗としてスコア化される。これは、チェーンの完全性、論理的な遷移の妥当性を測定し、物理的または論理的な不可能性に対してペナルティを課す。
• 知識再構成 (Knowledge Reconstruction: KR)： チェーンの完全性とは独立してセキュリティ知識の深さを測定し、エンティティの特定、構造的知識、および知識の精度（ハルシネーションに対してペナルティを課す）をスコア化する。

主な貢献

1. ドメイン固有の知識ベース： 12,786件のCVEと140件のインシデントレポートから派生し、STIX 2.1およびAuto-ISAC ATMに準拠した自動車サイバーセキュリティ知識ベースの構築と公開。
2. 二重指標評価： 攻撃パスの生存可能性（PF）とセキュリティ知識の深さ（KR）を分離した新しいフレームワークにより、LLMの性能を詳細に分析することを可能にした。
3. 経験的な自動化境界： 4つの実世界の攻撃ケース（Jeep Cherokee、Mercedes-Benz W177、Nissan Leaf、BMW i3）および8つのLLMを用いた320回のLeave-One-Out (LOO) 実験を通じて、LLMは高レベルの戦術的脅威シナリオを効果的に生成できるが、低レベルの実装詳細には人間の介入が必要であることを確立した。
4. コスト・パフォーマンス分析： プロプライエタリなモデルとオープンウェイトモデルの各ティアにおけるGARAGEの展開に関する定量的なガイダンスを提供し、コストと分析の深さのトレードオフを分析した。

結果

• 推論能力： プロプライエタリなモデルは、LOO条件下で平均59.0/100の実用的実現可能性（PF）スコアを達成した一方、オープンウェイトモデルの平均は39.2/100であった。性能はKB一致率（グラウンドトゥルースの抽象化とKBのオーバーラップ）と高い相関があった。例えば、BMWのケース（一致率88.8%）ではモデル間で高いスコアが得られたが、Jeepのケース（一致率38.8%）では顕著な性能の乖離が見られた。
• 自動化境界： 本研究は明確な境界を特定している：
  • 高いカバレッジ： 初期アクセス（95%）、権限昇格（82.5%）、車両機能への影響（98.8%）といった戦術は、車両横断的な知識転移によって十分にサポートされている。
  • 低いカバレッジ： 実行（15%）やコマンド＆コントロール（32.5%）のように、ターゲット固有の実装詳細を必要とする戦術では、性能が急激に低下しており、自動化された転移がこれらの段階には不十分であることを示している。
• 一貫性： プロプライエタリなモデルは、オープンウェイトモデル（変動係数 約50%）と比較して、高い一貫性（変動係数 ~33%）を示したが、この分散は主にPF指標の性質であるカスケード失敗によって引き起こされた。
• コスト・パフォーマンス： Gemini 3.0 Flashは、プロプライエタリなモデルの中で最適なコスト効率を提供した（Claudeの性能の87%を、わずか10分の1のコストで達成）。オープンウェイトモデルの中では、Qwen3-coderが性能とコストの最良のバランスを提供した。

意義と主張

本論文は、GARAGEを人間のアナリストの完全な代替品としてではなく、ヒューマン・イン・ザ・ループのワークフロー内におけるスケーラブルなTARA支援ツールとして位置づけている。著者らは以下のことを主張している：

• 戦術的パターンについては自動化が可能： GARAGEは、アーキテクチャ仕様に基づいて脅威シナリオを列挙し、初期攻撃パスを生成することができ、アナリストが見落としがちなエントリーポイントや影響シナリオをカバーできる。
• 実装詳細には人間の介入が必要： ターゲット固有のファームウェアやソフトウェアの内部（例：特定のバッファオーバーフローやプロトコルの癖）を信頼性高く推論できないという事実は、専門家による検証が不可欠な構造的境界を確立している。
• 知識の質が極めて重要： アブレーション研究により、基礎となるKBの品質とカバレッジが、検索モダリティ（グラフ vs ベクトル）よりも推論性能を決定付ける支配的な要因であることが明らかになった。
• 規制遵守： 生成された攻撃パスを検索されたソースアーティファクト（CVE、CTIレポート）に根ざすことで、GARAGEは純粋なパラメトリックメモリのアプローチでは保証できない、UN R155やISO/SAE 21434のような規制基準に求められる証拠のトレーサビリティを提供する。

本研究は、GARAGEが脅威モデリングの初期フェーズを大幅に加速させる一方で、その展開は、コスト、精度、および規制遵守のバランスを取るために、脅威の種類（戦術レベルか実装レベルか）および選択されたモデルのティアに基づいた指針が必要であると結論付けている。