Cyber Threat Intelligence for Artificial Intelligence Systems

本論文は、従来のサイバー脅威インテリジェンスの限界を踏まえ、AI 特有の脆弱性やサプライチェーンを網羅した新たな知識基盤の構築、具体的な侵害指標の提示、および類似性評価手法の検討を通じて、AI システムに特化した実践的な脅威インテリジェンス枠組みの確立に向けた課題と将来の研究方向を明らかにしています。

Natalia Krawczyk, Mateusz Szczepkowski, Adrian Brodzik, Krzysztof Bocianiak

公開日 2026-03-06
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、**「AI(人工知能)という新しい街を守るための、新しい『防犯情報』の作り方」**について書かれたものです。

従来のサイバー攻撃(ウイルスやフィッシングなど)は、すでに「防犯マニュアル」や「犯人の特徴リスト(脅威インテリジェンス)」が整備されています。しかし、AI が使われるようになると、**「従来のマニュアルでは守れない新しい種類の犯罪」**が生まれてしまいました。

この論文は、その新しい犯罪に対処するために、どうすればいいかを提案しています。わかりやすく 4 つのポイントで説明します。


1. 従来の「防犯」と、AI の「防犯」の違い

【従来の街】
昔のサイバー攻撃は、家の「鍵(パスワード)」を壊したり、壁(ソフトウェア)に穴を開けたりするものでした。だから、**「鍵の破り方」「壁の穴」**をリスト化して対策していました。

【AI の街】
AI の世界では、攻撃の仕方が全く違います。

  • 例え話: AI は「料理のレシピ(学習データ)」と「料理人(モデル)」でできています。
    • 従来の攻撃:料理人の制服を奪う(パスワード突破)。
    • AI への攻撃: 料理人の**「レシピに毒を混ぜる」(学習データの汚染)や、「料理人の記憶を書き換える」(モデルの裏口設置)、あるいは「料理人に嘘の注文をして、毒入り料理を出させる」**(プロンプトインジェクション)といった手口です。

つまり、「鍵の破り方」だけでなく、「レシピの書き換え」や「記憶の改ざん」を監視する新しい防犯リストが必要なのです。

2. 必要な「防犯情報」はどこから集める?

新しい犯罪に対処するには、新しい情報源が必要です。論文では、3 つの種類の「情報源」を整理しました。

  • ① 弱点リスト(脆弱性データベース):
    • 「AI のレシピにどんな毒が混ざりやすいか」「料理人がどんな嘘に騙されやすいか」をまとめたリスト(AVID や OWASP など)。
  • ② 事件簿(インシデントデータベース):
    • 「実際に何が起きたか」を記録したファイル。例えば、「自動運転車が歩行者を踏みつけた」「顔認証システムが誤って人を逮捕させた」といった実例です。これを見ると、理論上のリスクだけでなく、現実の被害がどう起きるかがわかります(AI Incident Database など)。
  • ③ 犯人の手口帳(TTPs):
    • 犯人が「どうやって」攻撃したかをまとめたもの。MITRE ATLAS というリストは、従来の「攻撃マニュアル」の AI 版で、犯人が「 reconnaissance(偵察)→ 毒入れ → 実行」といった手順をどう踏むかを教えてくれます。

3. 「怪しい AI」を見分ける新しい方法(IoC)

従来のセキュリティでは、「ウイルスのファイル名」や「ハッシュ値(指紋)」で怪しいファイルを特定していました。しかし、AI の場合はどうすればいいでしょうか?

  • 新しい指紋:
    AI のモデルファイルは巨大で、少し書き換えられただけで「指紋(ハッシュ値)」が変わってしまいます。
    • 解決策: 「完全な一致」ではなく、**「似ているもの」**を探す技術を使います。
    • 例え話: 犯人が仮面をかぶって服を変えても、**「歩行の癖」「声のトーン」**が同じなら捕まえられる、という技術です。
    • 論文では、**「ディープハッシング」という技術を使って、AI モデルの「中身(重み)」や「構造」を小さなコードに変換し、「似ている怪しい AI」**を素早く見つける方法を提案しています。

4. なぜこれが重要なのか?

もし、この新しい「AI 防犯情報」が整わなければ、以下のようなことが起こります。

  • 犯人が「新しいレシピの毒」を使っても、セキュリティシステムは「これは普通のレシピだ」と見逃してしまう。
  • 一度攻撃された AI が、同じ手口で二度と攻撃されるのを防げない。

この論文は、**「AI という新しい街を守るために、従来の防犯マニュアルをアップデートし、新しい『犯人の特徴』や『怪しいレシピ』のリストを作ろう」**と呼びかけています。


まとめ

この論文は、**「AI 時代には、従来のサイバーセキュリティの常識だけでは不十分だ」**と警鐘を鳴らしています。

  • 従来の防犯: 「鍵を壊す犯人」を探す。
  • 新しい防犯(AI 向け): 「レシピを毒入り料理に変える犯人」や「料理人の記憶を操作する犯人」を探す。

そのために、**「新しい事件簿」を作り、「似ている怪しい AI」**を見つける新しい技術を開発し、組織全体で共有しようという、非常に実践的で重要な提言がなされています。