CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts

本論文は、既存のログ分析手法の限界を克服し、大規模言語モデルによる自動解釈を可能にするため、多様な攻撃シナリオと技術を含む新規データセット「CAM-LDS」を構築し、その有効性を示すケーススタディを提示するものである。

要約

🕵️‍♂️ 物語の舞台：「デジタルの犯罪現場」

まず、この研究の舞台を想像してください。
コンピュータのシステムは、まるで**「巨大なオフィスビル」**のようです。
このビルには、毎日何百万もの「業務日報（ログデータ）」が書かれています。

• 「誰がいつ、どの部屋に入ったか」
• 「誰がいつ、コピー機を使ったか」
• 「いつ、電気をつけたか」

通常、これらの日報は**「泥棒（ハッカー）」がビルに忍び込んだとき、彼らの「足跡」**として残ります。

🚨 従来の問題点：「人間の目」の限界

昔から、この足跡を見つけるのは**「警備員（セキュリティ専門家）」**の仕事でした。
しかし、問題が 2 つあります。

1. データが多すぎる： 日報の量が膨大すぎて、人間が全部読むのは不可能です。
2. 言葉が難しすぎる： 日報の書き方が複雑で、専門用語ばかり。例えば、「システムが起動した」という普通の事象と、「泥棒がドアをこじ開けた」という異常な事象が、同じような難解な文字列で書かれていることがあります。

これまでの自動システムは、「特定のルール（例：『A という文字が出たら泥棒』）」で探していました。でも、泥棒が新しい手口を使えば、ルールが通用しなくなってしまいます。

---

🧠 新しい解決策：「AI 探偵」の登場

そこで登場するのが、この論文で紹介されている**「LLM（大規模言語モデル）」という AI です。
これは、「超優秀な翻訳兼探偵」**のようなものです。

• 得意なこと： 人間が書く文章（日報）を自然に理解し、「あ、これは泥棒が何か悪いことをしようとしているな」と文脈から推測できます。
• 強み： 特定のルールを覚え込ませる必要がなく、初めて見るような複雑な足跡でも、「これは変だぞ」と直感的に判断できます。

しかし、AI をテストするには**「正解が分かっているテスト問題」**が必要です。ここがこれまでの研究の大きな壁でした。

• 「実際の泥棒の足跡データ」は、企業秘密で公開されていません。
• 公開されているデータは、あまりに単純すぎたり、特定の OS（Windows など）に偏っていたりします。

---

🛠️ この論文の功績：「完璧な犯罪実験室」の作成

この論文の著者たちは、**「CAM-LDS（キャム・エル・ディー・エス）」という、「世界で初めて、AI 向けに作られたサイバー攻撃のデータセット」**を作りました。

彼らは何をしたのでしょうか？

1. 完全な「犯罪実験室」を作った：
   彼らは、インターネット上で完全に再現可能な「仮想のオフィスビル」を構築しました。
2. 81 種類の「泥棒の手口」を実行した：
   世界中の有名な攻撃マニュアル（MITRE ATT&CK）に基づき、**「81 種類の異なる泥棒の手口」**を、ロボット（スクリプト）を使って実行しました。
   • 例：「パスワードを総当たりで試す」「隠し通路を作る」「ファイルを暗号化する」など。
3. すべての「足跡」を記録した：
   泥棒が何をしたか、その瞬間にシステムに残った**「すべての日報（ログ）」と「警報」**を、一つも漏らさず記録しました。
4. オープンソースで公開：
   この「実験室」の設計図も、実行した「泥棒の動き」も、誰でも無料で使えるように公開しました。これにより、世界中の研究者が同じ土俵で AI の性能を比べられるようになりました。

---

🧪 AI 探偵のテスト結果：「どれくらい上手かった？」

彼らは、この新しいデータセットを使って、AI 探偵（ChatGPT など）にテストを行いました。
**「このログデータを見て、泥棒がどんな手口を使ったか当ててみて」**という課題です。

結果は以下の通りでした：

• 約 3 割： 完璧に正解！「あ、これは T1190 という手口だ！」と即座に特定できました。
• 約 3 割： 正解の候補の中に含まれていた（トップ 10 以内）。
• 残りの 4 割： 難しかった。

なぜ正解できたのか？

• 足跡がはっきりしていた場合： 「泥棒が『パスワードファイル』を開いた」という明確な命令がログに残っていると、AI はすぐに気づきます。
• 足跡が多かった場合： 短時間に何千回もアクセスがあったり、警報が鳴ったりすると、AI は「これは普通じゃない」と感じ取れます。

なぜ間違えたのか？

• 足跡が隠されていた場合： 泥棒が巧妙に足跡を消したり、普通の作業と見分けがつかないようにしたりすると、AI も迷ってしまいます。
• 文脈が足りない場合： 単独のログだけを見ると「普通の作業」に見えるものが、前のログとセットにすると「泥棒の動き」になることがあります。AI は、前後の文脈をすべて与えないと、完璧には判断できませんでした。

---

💡 この研究が私たちに教えてくれること

1. AI は「ログの翻訳者」として有望だ：
   従来のルールベースのシステムでは見逃していた攻撃も、AI は文脈から読み解ける可能性があります。
2. データが大切：
   AI を賢くするには、良質な「正解データ（足跡）」が必要です。この論文は、そのための「黄金のデータセット」を提供しました。
3. 完全な自動化はまだ先：
   AI は素晴らしいですが、100% 完璧ではありません。人間の専門家と AI が協力し合う（AI が候補を挙げ、人間が最終判断する）のが、今のところのベストな方法です。

🎒 まとめ

この論文は、**「泥棒の足跡を AI に読ませるための、世界最高峰の練習用テキストとテスト問題集」**を無料で公開したという点で画期的です。

これにより、セキュリティの専門家たちは、AI をもっと賢く育て、私たちが暮らすデジタル社会を、より安全で守りやすい場所にできる可能性が広がりました。

「泥棒の足跡」を「AI 探偵」に読ませる時代が、もうすぐそこに来ているのです。

技術概要

論文要約：CAM-LDS（サイバー攻撃の現れに基づくシステムログとセキュリティアラートの自動解釈のためのデータセット）

1. 背景と課題 (Problem)

サイバーセキュリティ分野において、システムログの分析は侵入検知やフォレンジック調査の基盤となっています。しかし、以下の課題により手動での分析は困難を極めています。

• データ量の膨大さ: ログは大量に生成されます。
• 形式の多様性と非構造化: 異なるシステムやアプリケーションから生成されるログは形式が異なり、構造化されていないメッセージが多いです。
• 既存の自動化手法の限界: 従来の自動化手法は、ドメイン固有の設定（専門家による検知ルール、手動によるログパーサー、手動の特徴量エンジニアリング）に依存しています。これらは新しい攻撃には対応できず、ログの「意味（セマンティクス）」を理解して根本原因を説明する能力が不足しています。

近年、大規模言語モデル（LLM）はログの構文解析や自然言語による解釈において有望視されていますが、LLM の評価に利用できる、広範な攻撃手法を網羅したラベル付きパブリックデータセットが不足していることが研究の大きな障壁となっています。既存のデータセットは、ネットワークトラフィック中心であったり、Windows 環境に限定されていたり、攻撃の多様性が不足していたりする問題があります。

2. 提案手法とデータセット (Methodology & Contributions)

著者らは、LLM によるログ解釈研究を促進するため、CAM-LDS (Cyber Attack Manifestation Log Data Set) を提案しました。これは、攻撃実行の直接的な結果として収集されたシステムログとセキュリティアラートのラベル付きデータセットです。

主要な貢献

1. 大規模なラベル付き攻撃現れデータセット:

   • 7 つの攻撃シナリオ（ビデオサーバーの悪用、Linux マルウェア、横移動、ネットワーク攻撃、ネットワーク盗聴、クライアント攻撃、Docker 攻撃）を構築。
   • MITRE ATT&CK フレームワークに基づき、**13 の戦術（Tactics）と81 の異なる攻撃技法（Techniques）**を網羅。
   • 18 の異なるデータソース（監査ログ、システムログ、認証ログ、アプリケーションログ、IDS アラート、ネットワークパケットキャプチャなど）から収集。
   • 完全なオープンソース環境（AttackBed）と再現可能なテストベッドを提供。

2. 攻撃現れの体系的な分析と分類:

   • 攻撃がログにどのように現れるか（コマンドの可視性、イベント頻度、パフォーマンス指標、IDS アラート）を詳細に分析。
   • 攻撃手法とログの現れ方の間の複雑な関係性を明らかにしました。

3. LLM によるログ解釈の事例研究:

   • CAM-LDS を用いて、ゼロショット（学習データなし）設定で LLM（ChatGPT）によるログ解釈を評価しました。

生成プロセスの概要

• シナリオ設計: MITRE ATT&CK の技法から、観測可能性、実行可能性、自動化の観点で 81 技法を選択し、現実的なキルチェーンを構成。
• 攻撃実行: 攻撃自動化フレームワーク「AttackMate」を使用し、スクリプトベースで再現性のある攻撃を実行。
• データ収集: 18 種類のソースからログ、PCAP、システム構成情報を収集。背景ノイズを最小化するため、アイドル状態のインフラで実行し、起動直後のノイズを除去するフィルタリングを適用。

3. 分析結果 (Results)

攻撃の現れ方 (Manifestations)

収集されたデータを分析した結果、攻撃は以下の 4 種類の現れ方を持つことが示されました。

1. 観測不可能: 特定の攻撃ステップは、監視対象外のシステムや準備段階であるため、ログに痕跡を残さない。
2. 直接的なコマンド現れ: 実行されたコマンドがログ（特に監査ログ）に明瞭に残る。ただし、実行方法（SSH、逆シェル、VNC など）によって詳細度や可視性が異なる。
3. 間接的な現れ: 実行されたコマンド自体は不明だが、異常なパラメータや高頻度のイベント（スキャン活動など）として現れる。
4. システムパフォーマンス指標の変化: CPU 使用率、ディスク I/O、メモリ使用量などのメトリクスに攻撃による負荷が現れる。

重要な発見:

• 全 243 の攻撃ステップのうち、**47.3%**が監査ログに実行コマンドの明示的な指標を残しました。
• しかし、**32.1%**はコマンドを直接参照しないイベントのみ、**18.5%**はフィルタリング後にログイベント自体が存在しないケースもありました。
• 既存の IDS（Wazuh, Suricata）のデフォルトルールセットでは、198 の攻撃ステップのうち 43 つしか（約 22%）検知できませんでした。多くの攻撃は署名ベースの検知では見逃されています。

LLM による解釈評価結果

ChatGPT を用いたゼロショット評価の結果は以下の通りでした。

• 高精度な分類: 攻撃ステップの約3 分の 1で、正しい攻撃技法がトップ 1 の予測として得られました。
• 中程度の精度: さらに約3 分の 1で、正解がトップ 10 以内に含まれていました。
• 精度への影響要因:
  • コマンドの可視性: 監査ログと他のログソースの両方にコマンドが含まれている場合、精度が最も高くなりました。
  • イベント頻度: 大量のログイベントを生成する攻撃（スキャンなど）は、中程度の頻度の攻撃よりも正確に分類されました。
  • IDS アラート: IDS アラートが発生した攻撃ステップは、分類精度が高い傾向にありました。

LLM は、複数のログソースからの情報を統合し、時系列相関や文脈に基づいて攻撃の意図を推論する能力を示しました。

4. 意義と結論 (Significance & Conclusion)

• 研究の基盤整備: CAM-LDS は、LLM によるログ解釈研究のための最初の専用パブリックデータセットの一つであり、再現性のある評価を可能にします。
• 検知手法の限界の明示: 署名ベースの IDS だけでは多くの攻撃を見逃すことを実証し、異常検知や LLM による意味論的解釈などの補完的アプローチの重要性を浮き彫りにしました。
• LLM の可能性: 学習データなしでも、LLM はシステムログから意味のあるパターンを抽出し、攻撃技法を特定できる可能性を示しました。特に、攻撃コマンドが明確にログに残っている場合や、大量のイベントが発生する場合に有効です。

今後の課題:

• Windows 環境など、他の OS でのログ特性への対応。
• システム構成情報や資産情報、過去の攻撃ステップの文脈を LLM に入力することで、さらに精度を向上させる研究。
• 小規模でコスト効率の良いモデルや、ローカルデプロイ可能なモデルへの検討。

この論文は、LLM を活用した次世代のセキュリティ運用（SOC）における自動化と、その評価のための重要なリソースを提供するものです。