あなたは、巨大で詳細な都市の地図を作ろうとしていると想像してください。しかし、設計図はなく、あるのはさまざまな人々による、乱雑で手書きの何千もの日記の記録だけです。明瞭な記述もあれば、殴り書きのようなものも、矛盾しているものも、あるいは作り話のようなものもあります。これが、サイバーセキュリティの専門家が「サイバー脅威インテリジェンス（CTI）」レポートを「知識グラフ（Knowledge Graph）」へと変換しようとする際に直面している現実です。これらのレポートは、ハッカーやそのツール、そして彼らの攻撃について記述していますが、それらは非構造的で乱雑なテキストとして存在しています。
この論文では、この問題を解決するための新しいシステムである「TACTIC-KG」を紹介しています。以下に、簡単な比喩を用いてその仕組みを説明します。
旧来の手法：「超天才」のソロアーティスト
以前の研究者は、一つの巨大で強力なAI（「モノリシック」モデル）を使って、乱雑な日記を読み、物語を理解し、ハッカーやツールの名前を見つけ出し、それらがどのように繋がっているかを把握し、一気に地図を描こうとしていました。
これは、一人の**「超天才アーティスト」**を雇って、すべての仕事を一人でこなさせようとするようなものです。
- 問題点： 天才であっても疲れます。物語があまりに長すぎたり複雑すぎたりすると、超天才は「幻覚（ハルシネーション）」を起こし始めます。存在しない二人の関係を勝手に捏造したり、多くのことを一度にこなそうとするあまり、重要な詳細を忘れてしまったりするのです。
- コスト： この超天才を雇うには、莫大な費用がかかり、作業スピードも遅くなります。
新しい手法：「専門家チーム」（TACTIC-KG）
著者たちはこう言います。「なぜ一人の働きすぎの天才に頼る必要があるのでしょうか？ 小さな専門家チームを雇えばいいのです。」
TACTIC-KGは、この仕事を4つの明確な役割に分解し、それぞれをより小さく、安価で、より集中力の高いAIエージェントに担当させます。彼らはライン（工程）の中で作業を行い、成果物を次の工程へと渡していきます。
抽出者（スカベンジャー／スカベンジャー）：
- 仕事： このエージェントはテキストだけを見つめ、生の情報を抜き出します（例：「Pegasus」、「iOS」、「NSO Group」など）。まだそれが何を「意味する」のかについては気にせず、ただ事実を掴み取ります。
- 比喩： 地面に落ちている光る物体を拾い集めるスカベンジャー・バード（掃除屋の鳥）のようなものです。それがダイヤモンドなのかただのガラス片なのかを判断することなく、面白そうなものをすべて掴み取ります。
タイパー（ラベル付け役／タイパー）：
- 仕事： このエージェントは、スカベンジャーが見つけてきた「光る物体」を取り上げ、適切な箱に入れます。「Pegasus」は「マルウェア」なのか？ 「NSO Group」は「組織」なのか？
- 比喩： スカベンジャーが持ってきた本を受け取り、正しい棚（フィクション、歴史、科学など）に並べる司書のようなものです。
ベリファイアー（検証者／ベリファイアー）：
- 仕事： これが最も重要な新しいステップです。このエージェントは、ラベル付けされた項目を見て、「元の日記に本当にそう書いてあったか？」と問いかけます。もしスカベンジャーやタイパーが、テキストによって裏付けられていない推測を行った場合、ベリファイアーはその項目を破棄します。
- 比喩： ニュース記事をチェックする厳格な編集者のようなものです。もし記者が「容疑者はパリにいた」と主張しても、ソースとなるテキストに「容疑者はヨーロッパにいた」としか書かれていなければ、編集者はその具体的な主張をカットします。これにより、システムが作り話をするのを防ぎます。
キュレーター（地図作成者／キュレーター）：
- 仕事： このエージェントは、検証済みの事実を受け取り、それらを最終的なクリーンな地図へと繋ぎ合わせます。小さなエラーを修正し、重複する名前（「TrickBot」と「Trick Bot」など）を統合し、偽の橋を架けることなく、論理的に整合性が取れた地図であることを保証します。
- 比喩： 最終的な地図を描く地図製作者のようなものです。道路が論理的に繋がっていることを確認し、どこにも辿り着かない橋を取り除きます。
なぜこのチームの方が優れているのか
論文では、このチームによるアプローチが「超天才」よりも優れている理由として、主に3つの点を挙げています。
- 幻覚の減少： ベリファイアーが厳格な門番として機能するため、チームが誤って偽の繋がりを捏造することがありません。「超天才」は親切心から空白を埋めようとしてしまいますが、このチームはテキストが明示的に支持している場合にのみ、空白を埋めます。
- 再現率（発見能力）の向上： 「スカベンジャー」は、確信が持てなくても、見えるものはすべて掴むことが許されています。その後、「ファクトチェッカー」が良質なものと悪いものを仕分けます。これにより、単一のモデルが圧倒されて詳細を見落としてしまうケースよりも、多くの真の脅威を見逃すことが少なくなります。
- 安価で高速： 一つの巨大で高価なコンピュータ・ブレインを使う代わりに、このチームはいくつかの小さく軽量なブレイン（30億から80億パラメータ）を使用します。これは、一人の高給取りで動きの遅いエグゼクティブよりも、効率的なインターン・チームを使うようなものです。
結果
著者たちが実世界のサイバーセキュリティ・レポートを用いてこのシステムをテストしたところ、以下のことが判明しました。
- 小さなエージェントのチームは、巨大な単一モデルよりも、脅威を見つけ出しラベル付けすることにおいてより正確でした。
- 彼らが構築した地図（知識グラフ）は、より一貫性があり、偽の繋がりも少なくなりました。
- 彼らは、これらを実現するために、より小さく、より安価なコンピュータ・モデルを使用できました。
要約すると、TACTIC-KGは、複雑なタスク（サイバー脅威のマッピングなど）においては、よく組織された専門家のチームは、働きすぎのスーパースターよりも優れているということを証明しています。
技術要約: TACTIC-KG
問題定義
サイバー脅威インテリジェンス（CTI）レポートからのサイバーセキュリティ知識グラフ（CSKG）の構築は、ソーステキストの非構造的、不均一、かつノイズの多い性質に起因する重大な課題に直面している。大規模言語モデル（LLM）は抽出の自動化に応用されているが、単一の巨大なモデルに依存するモノリシックなアプローチは、展開コストが高く、制御性が限定的であり、性能が不安定になることが多い。具体的には、以下の問題に苦慮している：
- ハルシネーションと忠実性： 妥当ではあるが根拠のないトリプル（例：明示的に述べられていない攻撃者の役割や時間的リンクの推論）を生成してしまう。
- 過剰完了（Over-Completion）： エビデンスが部分的または断片的である場合でも、完全な攻撃チェーンを作成するために人工的にグラフの接続性を強制してしまう。
- コンテキストサイズのトレードオフ： 軽量モデルでは大きなコンテキストウィンドウが注意力の希釈を招き、一方で小さなウィンドウは脱落エラーを招く。
既存の最先端システム（例：CTINEXUS）は、巨大なモデル（例：671Bパラメータ）を用いたインコンテキスト学習（ICL）や複雑な検索拡張生成（RAG）パイプラインに依存することが多く、これらは脆弱で、コストがかかり、検索品質に敏感である。
手法: TACTIC-KG フレームワーク
本論文では、CSKG構築を制御された多段階の推論プロセスとして再定式化したエージェント型フレームワークである TACTIC-KG を提案する。単一のモノリシックな推論タスクではなく、このフレームワークは、低ランク適応（LoRA）を用いた専門化された軽量LLMエージェント（3B–8Bパラメータ）を使用してワークフローを分解する。コアとなる設計原則は 「接続性の前に忠実性を」 である。
ワークフロー・アーキテクチャ
パイプラインは、以下のステージを通じて生のCTIレポートを処理する：
- セマンティック・チャンキング（Semantic Chunking）： 長いレポートを、局所的な意味的コヒーレンスを保持しコンテキストの希釈を防ぐために、制御されたオーバーラップを伴う文または談話境界で分割する。
- 抽出エージェント（Extractor Agent）： テキストチャンクに厳密に基づいた候補トリプル (h,r,t) を生成する。これはタイピングやグローバルな推論を行わず、早期の抽象化を防ぐ。
- タイピング・エージェント（Typer Agent）： ローカルなコンテキストと関係のセマンティクスに基づき、エンティティに対してオントロジーに準拠した意味的タイプ（例：MALOnt、STIX 2.1）を割り当てる。オントロジーのドリフトを防ぐため、閉じたラベル空間内で動作する。
- 検証エージェント（Verifier Agent）： フィルタリングステージとして機能し、型付けされたトリプルが明示的または暗示的なテキストのエビデンスによって SUPPORTED（支持されている）か NOT_SUPPORTED（支持されていない）かを判断する二値分類を行う。これは、妥当ではあるが述べられていない関係を拒絶する閉世界仮定を強制する。
- キュレーター・エージェント（Curator Agent）： 重複排除、エンティティの正規化（エイリアス解決）、および最小限の構造修復を含む最終的なサニタイズを行う。エビデンスによって論理的に必要とされる場合にのみ新しいエッジを導入し、ハルシネーションに対する構造的なファイアウォールとして機能する。
技術的実装
- モデルの専門化： 本フレームワークは、LoRAで微調整された軽量モデル（例：Ministral-3B, Ministral-8B, Qwen3-8B）を利用する。これにより、モジュール化されたエージェント固有のアダプターが可能になり、GPUメモリ使用量を削減し、独立したアップグレードを可能にする。
- 学習戦略：
- 抽出器（Extractors） は、厳格なJSON出力形式を持つチャンク化されたレポートで学習される。
- タイパー（Typers） は、プロンプト内に埋め込まれた閉じたラベル空間の下で学習される。
- 検証器（Verifiers） は、支持された関係と支持されない関係を区別するために、アノテーション付きコーパスを用いたトリプルレベルの二値分類器として学習される。
- キュレーター（Curators） は、支持されていないエッジをハルシネーションさせることなく、グラフのコンポーネントを接続するための最小限のブリッジング・トリプルの集合を予測するように学習される。
主な貢献
- エージェントによる分解： 抽出、タイピング、検証、キュレーションが専門化されたエージェントによって処理されるマルチエージェント・システムへと、モノリシックな生成から移行することを提案する。これにより、タスクのエントロピーを減少させ、ハルシネーションのリスクを局所化する。
- 忠実性の強制： 生成と検証を明示的に分離し、トリプルレベルでの閉世界仮定を強制することにより、ハルシネーションによる関係の生成と過剰完了を大幅に減少させる。
- コスト効率の高い性能： 本フレームワークは、軽量モデル（3B–8B）が、LoRAを介して専門化され、マルチエージェント・パイプライン内でオーケストレートされた場合、抽出の質とグラフの一貫性において、はるかに大規模なモノリシックモデル（例：DeepSeek-V3.1 671B）と同等またはそれを上回る性能を発揮できることを実証している。
- オントロジーへの接地： システムは、タイピングおよび検証のステージに直接オントロジー制約（MALOnt）を統合しており、結果として得られるグラフが構造的に一貫し、実行可能であることを保証する。
実験結果
本フレームワークは、様々な大規模モデル（DeepSeek-V3.1, Kimi-K2, Devstral-2）を用いたCTINEXUSを含む、人間がアノテーションしたCTIレポート（CTI-HALおよびCTINEXUSベンチマーク）を用いて、最先端のベースラインと比較評価された。
- 抽出の質： TACTIC-KGは、モノリシックなベースラインと比較して高いF1スコアを達成し、リコールを大幅に向上させた。例えば、TEST2において、Ministral-3-8BバリアントはF1 78、グラフ類似度 63 を達成し、DeepSeek-V3.1（F1: 66、グラフ: 52）を上回った。
- リコール対適合率： エージェントの専門化により、適合率とリコールのトレードオフを明示的に制御することが可能になった。抽出器は高いリコール（最大90%）を実現したが、検証器とキュレーターは、カバー率を犠牲にすることなくハルシネーションをフィルタリングし、安定した適合率を維持した。
- タイピングと接地： TACTIC-KGは、個々のエージェントへの認知負荷の軽減とオントロジーを意識した検証により、優れたタイピング精度（部分タイピング精度は最大72%に対し、DeepSeekは69%）と、より優れたセマンティックな接地を示した。
- データの効率性： 本フレームワークは、強力な性能に達するために、中程度の学習データ（約200チャンク）のみを必要とし、データの量よりも多様性が重要であることが証明された。
- ハイブリッド設計： 検証とキュレーションには共有されたより強力な推論モデルを使用し（抽出は専門化されたままにする）、これにより安定性と一貫性がさらに向上することが実験で示された。
意義と主張
本論文は、TACTIC-KGが、CSKG構築においてモノリシックなLLMアプローチに代わる、堅牢でコスト効率の高い選択肢を提供すると主張している。問題を制御されたマルチエージェント推論プロセスとして扱うことで、本フレームワークは以下を実現する：
- ハルシネーションの最小化： 明示的な検証とキュレーションのステージが、支持されていない事実の伝播を防ぐ。
- 安定性の向上： モジュール化されたエージェントは、大規模なシングルパスモデルで見られる性能の分散を軽減する。
- 展開の実現可能性： 軽量モデルの使用により、データプライバシーのためにローカル展開が必要となるエンタープライズ・アプリケーションを含む、計算リソースが限られた組織でも本システムを利用することが可能になる。
著者らは、完全なタイピング精度はすべてのシステムにおいて依然として課題であるが、タスクを専門化されたエージェントに分解することは、実行可能なサイバー脅威インテリジェンス知識グラフを構築するための、精度、安定性、およびコスト効率の優れたバランスを提供すると結論付けている。
毎週最高の machine learning 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録