From Threat Intelligence to Firewall Rules: Semantic Relations in Hybrid AI Agent and Expert System Architectures

この論文は、サイバー脅威インテリジェンス報告書からハイパーニム・ヒポニム関係を用いて情報を抽出し、神経記号アプローチに基づくマルチエージェントシステムが CLIPS コードを生成して専門システムを構築し、ファイアウォールルールを自動作成することで、脅威への迅速かつ信頼性の高い対応を実現することを提案し、その有効性を実験的に示しています。

要約

🛡️ 全体のストーリー：「翻訳屋」と「職人」のチームワーク

この研究では、2 つの異なるタイプの AI を組み合わせた「ハイブリッド（混合）システム」を作りました。
イメージとしては、**「優秀な翻訳屋（AI エージェント）」と、「厳格な職人（エキスパートシステム）」**のチームです。

1. 翻訳屋（AI エージェント）： 専門用語だらけの攻撃報告書を読み、「これはどんな種類の攻撃か？」を意味深く理解し、下書きを作ります。
2. 職人（エキスパートシステム）： 翻訳屋の下書きを厳しくチェックし、実際にファイアウォールで使える「完璧な防御ルール（CLIPS コード）」を完成させます。

---

🔍 1. 翻訳屋のすごい技：「意味のつながり」を見つける

通常、AI は文章を単語ごとにバラバラに分析しがちです。しかし、この研究では**「ハイパーニム（上位概念）」と「ハイポニム（下位概念）」**という関係性を使うことで、AI の理解力を劇的に上げました。

🍎 アナロジー：リンゴと果物

• ハイポニム（下位）： 「リンゴ」
• ハイパーニム（上位）： 「果物」

攻撃報告書に「悪意のある IP アドレス」や「怪しい URL」といった具体的な言葉（リンゴ）が出てきたとき、普通の AI は「リンゴ」だけを見て終わってしまいます。
でも、このシステムは**「これは『果物』の一種だ！」**と理解します。

• なぜこれが重要？
  攻撃者は「リンゴ」だけでなく、「オレンジ」や「バナナ」も攻撃に使います。AI が「果物（上位概念）」という大きな枠組みで理解できれば、「リンゴ」の攻撃報告から「オレンジ」の攻撃も防ぐルールを作れるようになります。
  これを**「意味的な検索」**と呼び、従来の方法よりもはるかに正確に、攻撃の本質を捉えることができました。

🏗️ 2. 職人の役割：「夢見がちな AI」を現実に戻す

最新の AI（大規模言語モデル）は非常に頭が良く、創造的ですが、時折**「もっともらしい嘘（ハルシネーション）」**をつくことがあります。セキュリティの世界では、嘘のルールを作ると致命的な穴が開いてしまいます。

そこで、**「職人（エキスパートシステム）」**が登場します。

• 役割： 翻訳屋が作った下書きを、厳格なルールブック（CLIPS という言語）に従ってチェックします。
• 効果： 「これは文法的に正しいか？」「本当に防御できるルールか？」を機械的に確認し、嘘や間違いをすべて取り除きます。

🔨 アナロジー：建築現場

• AI エージェントは「設計図を描く建築士」です。アイデアは素晴らしいですが、計算ミスや現実離れした設計をするかもしれません。
• エキスパートシステムは「現場の監督」です。「ここは壁が薄すぎる」「この梁は耐えられない」と厳しくチェックし、安全な建物が完成するまで修正を繰り返します。

📊 3. 結果：なぜこれがすごいのか？

実験の結果、このシステムは従来の方法よりも約 7% 高い精度で攻撃を特定し、防御ルールを作成できることがわかりました。

• バランスの取れた判断： サイバー攻撃のデータは、「よくある攻撃」ばかりで、「レアな攻撃」が少ないという偏りがあります。従来の AI は「よくある攻撃」ばかり覚えて、レアな攻撃を見逃しがちでした。しかし、この「意味のつながり」を使う方法は、レアな攻撃（少数派）も見逃さず、全体的にバランスの取れた防御を作れました。
• 人間との合意： 最終的に作られたルールをセキュリティの専門家たちがチェックしたところ、「これは正しい」という評価が一致しました。つまり、AI が作ったルールは人間が納得できるレベルだったのです。

🚀 まとめ：未来のセキュリティはどうなる？

この論文が示しているのは、**「AI に任せるだけでなく、人間の論理（ルール）と組み合わせる」**ことが、セキュリティのような重要な分野では不可欠だということです。

• AIは、膨大な報告書から「意味」を汲み取り、アイデアを出します。
• ルールベースのシステムは、そのアイデアを「安全で確実なもの」に仕上げます。

このように、**「AI の柔軟性」と「伝統的なシステムの確実性」**を掛け合わせることで、次世代のサイバーセキュリティが実現できるという、非常に有望な研究成果です。

---

一言で言うと：
「AI が攻撃報告書を読んで『これはリンゴの攻撃だ！』と気づき、それを『果物全般をブロックするルール』に昇華させ、最後に職人が『本当に完璧な壁』を建ててくれる仕組みを作ったよ！」というお話です。

技術概要

論文要約：ハイブリッド AI エージェントとエキスパートシステムアーキテクチャにおけるセマンティック関係の活用

（脅威インテリジェンスからファイアウォールルールへ）

本論文は、サイバーセキュリティ分野における「脅威インテリジェンス（CTI）レポート」から「ファイアウォールルール」への自動変換プロセスにおいて、セマンティック（意味的）関係、特に**ハイパーニム（上位概念）とハイポニム（下位概念）**の活用がどのように効果的かを検証した研究です。神経記号 AI（Neuro-Symbolic AI）のアプローチを用い、LLM（大規模言語モデル）の柔軟性と、CLIPS（エキスパートシステム）の決定論的推論能力を融合させたアーキテクチャを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

• 非対称性の課題: 攻撃者はシステムの脆弱性の一部を突くだけでよく、防御側はシステム全体を保護しなければならないため、防御には遅延が生じがちです。
• 既存 AI の限界: 従来の AI ベースのアプローチは、CTI レポートから機密性の高いデータを自動的に分類・抽出する際に困難に直面しています。特に、脅威データの不均衡（特定の脅威のデータが極端に少ない）により、性能が低下する傾向があります。
• 信頼性の必要性: セキュリティ制御の設定のような重要な運用タスクにおいて、単なる確率的な生成ではなく、信頼性の高い、検証可能な応答が求められています。

2. 提案手法：ハイブリッド AI エージェントとエキスパートシステム

提案されたパイプラインは、ニューラル（LLM）とシンボリック（ルールベース）の両方の AI 要素を統合した「意味情報フロー（SIF）」を採用しています。

アーキテクチャの主要構成要素

1. 拡張 CoALA エージェント（神経部分）:
   • 入力された CTI レポートから、セキュリティ概念の**ハイポニム（下位概念）を抽出し、次にハイパーニム（上位概念）**を抽出する反復的なプロンプト戦略を採用しています。
   • これにより、生テキストから意味的に豊かで構造化された情報を抽出します。
   • 抽出されたハイパーニムに基づき、CLIPS 用のテンプレート（形式表現）を自動的に生成します。
2. エキスパートシステム（記号部分）:
   • 構文検証レイヤー: LLM のハルシネーション（誤った生成）を検知・排除する役割を果たします。
   • 精製エンジン（Refinement Engine）: 抽出された意味情報と CLIPS ルールを用いて、具体的な脅威に対抗するセキュリティ制御（ファイアウォールルール）を生成します。
   • 決定論的推論: CLIPS を使用することで、確率的な誤りを避け、一貫性のあるルール生成を可能にします。

技術的工夫

• 決定論的 LLM 推論: ランダムシードの固定、CuDNN ベンチマークの無効化、Greedy デコーディングの強制などにより、LLM の出力変動を最小化し、再現性を確保しています。
• 認知心理学の応用: Ebbinghaus の忘却曲線や Collins & Quillian の意味ネットワーク理論をエージェントの設計に取り入れ、知識の保持と検索を最適化しています。

3. 主要な貢献

1. 新しい抽出手法の提案:
   • CTI レポートから、テキスト蕴含認識や検索クエリ拡張などで既存の NLP タスクで用いられている「ハイパーニム - ハイポニム」の関係性を活用し、セキュリティイベントの意味理解を深める新しい手法を提案しました。
2. 自律的エージェントシステムの構築:
   • 抽出された情報を既存の防御策にマッピングし、ファイアウォールルールを生成する CLIPS コードを自動生成するエージェントシステムを実装しました。
3. 不均衡データにおける高性能な評価:
   • 情報抽出とコード生成の両段階で詳細な実証評価を行い、不均衡データに対するロバスト性の向上（F1 スコアで約 7% の改善）を実証しました。

4. 実験結果

実験は、MITRE ATT&CK 技術にマッピングされた人間注釈付きデータセット（Dataset A）と、セキュリティ機能ラベル付きマルウェアデータセット（Dataset B）を用いて行われました。

• タスク A（情報抽出・分類）:
  • 提案手法（ハイパーニムベースのプロンプト）は、Word2Vec、SecureBERT、Chain-of-Thought（CoT）ベースの既存手法と比較して、重み付き F1 スコア（0.329）とTop-k 精度において優位性を示しました。
  • 特に、少数クラス（不均衡データ）の性能が CoT 単体よりも高く、不均衡データに対する適応性が確認されました。
  • 抽出精度の検証では、BERTScore や ROUGE-L においても高い類似性を示しました。
• タスク B（ルール生成・評価）:
  • サイバーセキュリティ専門家による評価において、生成されたファイアウォールルールの**技術的正確性（Technical Correctness）とCTI への忠実度（Fidelity to CTI）**が確認されました。
  • 専門家間の一致度（Krippendorff's alpha など）が高く、システム出力の信頼性が示唆されました。

5. 意義と結論

• セキュリティ運用の自動化: 本アプローチは、CTI レポートからファイアウォールルールへの自動生成を可能にし、脅威への対応時間を短縮します。
• 信頼性の向上: 確率的な LLM 生成のみに依存せず、シンボリック AI（CLIPS）による検証レイヤーを設けることで、セキュリティという敏感な領域での信頼性を高めています。
• 不均衡データへの対応: セキュリティ分野特有のデータ不均衡問題に対し、セマンティックな構造知識（ハイパーニム/ハイポニム）を活用することで、従来の分類手法よりも優れた性能を発揮しました。

結論:
本研究は、LLM の意味理解能力とエキスパートシステムの決定論的厳密さを融合させることで、サイバーセキュリティのインシデント対応を強化する有効な道筋を示しました。今後は、LLM の推論における真の決定論性のさらなる探求や、実環境への展開に向けた研究が期待されます。