Proactively Detecting Threats: A Novel Approach Using LLMs
本論文は、非構造化されたウェブベースの脅威インテリジェンスから侵害指標をプロアクティブに抽出するための大規模言語モデルに関する初の系統的な評価を提示しており、Gemini 1.5 Proが479件のレポートにわたって悪意のある脅威を特定する際に完全な再現率と高い適合率を達成したことを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、悪意のあるアクター（ハッカー）が常に建物（あなたの会社のコンピュータ）への侵入を試みている、巨大で賑やかな都市だと想像してみてください。通常、セキュリティガードは、泥棒が鍵を開けたり窓を割ったりするのを目撃してから警察に通報します。これは「リアクティブ（反応型）」なセキュリティと呼ばれます。つまり、犯罪が起これるのを待っている状態です。
この論文は、新しい方法を提案しています。それは**プロアクティブ（先回り型）**なセキュリティです。侵入を待つのではなく、犯罪が起こる前に、地元の新聞やゴシップ欄、警察の事件記録を読み、誰が悪党で、どのような道具を使っているのかについての手がかりを探し出すための「偵察員」を送り出したいと考えているのです。
以下に、研究者たちが何を行い、何を見出したのかを簡単に解説します。
問題点：ノイズが多すぎ、フォーマットがバラバラ
この都市における「新聞」とは、オンラインで公開されている何千ものサイバーセキュリティ・レポートのことです。問題は、それらがすべて異なる形式で書かれていることです。あるレポートでは、悪意のあるコンピュータのアドレスを数字でリストアップし、別のレポートではリンクとして、また第三のレポートではコードとして記載しています。これは、あるレシピでは「カップ」を使い、別のレシピでは「グラム」を使い、また別のレシピでは単に「ひとつまみ」と書いている料理本の中から、特定の材料を探し出すようなものです。
この混乱のため、セキュリティチームはこれらのレポートを手作業で読み進め、「侵害指標（IOC）」、つまり悪党のデジタル指紋（悪意のあるIPアドレスやウェブサイトのリンクなど）を見つけ出さなければなりません。
解決策：AI「スーパー・リーダー」の雇用
著者たちは、これらの一貫性のないレポートを自動的に取得するロボットシステムを構築しました。そして、6種類の異なる大規模言語モデル（LLM）——膨大な量のテキストで訓練された非常にスマートなAI読者のようなもの——に、人間のアナリストの仕事をさせるよう依頼しました。
彼らはAIにシンプルなタスクを与えました。「このウェブページ全体を読んでください。この特定の情報（ウェブサイトのリンクやIPアドレスなど）は、ハッカーが攻撃を計画している手がかりですか？ それとも単なる通常のノイズですか？」
実験：「テストドライブ」
彼らはこれを、2,600個以上の手がかりを含む479個のウェブページに対してテストしました。彼らの目的は、どのAIモデルが最高の「偵察員」になるかを見極めることでした。
- 目標： すべての悪い手がかりを逃さず捉えること（高リコール）、かつ、無実のものを誤って悪と判定しないこと（高精度）。
- 対戦相手： 彼らはGoogle（Gemini）、Alibaba（Qwen）、Meta（Llama）のモデルをテストしました。
結果：レースの勝者は誰か？
結果を、ボールをキャッチする（悪い手がかりを見つける）ことが目的だが、同時に芝生につまずいて転ばない（無実のデータ）ことも求められるスポーツの試合に例えて考えてみましょう。
- チャンピオン（Gemini 1.5 Pro）： このモデルが最も優れた仕事を行いました。実際の悪意のある手がかりを**100%**捉えました（完璧なリコール）。また、何が悪くないのかを判断する能力も非常に高く、ミスもほとんどありませんでした。これは、泥棒を一度も見逃さず、かつ無害な配達員に対して「止まれ！」と叫ぶことも滅多にないガードマンのようなものです。
- 苦戦したモデル（Qwen 32B）： このモデルは、多くの悪い手がかりを見逃しました。それは、目の前を通り過ぎる泥棒を見るよりも、空を見上げることに夢中になっているガードマンのようなものでした。
- 一筋縄ではいかないモデル（Llama 70B）： このモデルは、すべての悪い手がかりを捉えましたが（勝者と同様に）、少し過剰に用心深すぎました。無実のものを悪とフラグ立てしてしまい、それが人間のセキュリティチームによる仕分け作業の負担を増やしてしまいました。
課題：なぜAIは依然として混乱するのか
最高峰のAIであってもミスは犯しました。論文では、優れた比喩を用いてその理由を説明しています。それは、**「コンテキスト（文脈）こそが王様である」**ということです。
例えば、ニュースレポートに「ヴィランの『Darkside』が『TrueSight』ビルの近くで目撃された」と書かれているとします。
- 人間のアナリストは、「Darkside」がハッカー集団であり、「TrueSight」がセキュリティツールであることを知っているため、これが「悪いニュース」であることを理解します。
- AIは時として混乱します。もしURLの中に「Darkside」や「abuse（悪用）」という言葉を見つけると、たとえそのウェブサイトが単にそのハッカーに関するファイルをホストしているライブラリであっても、ウェブサイト全体が邪悪であると判断してしまうことがあります。
研究では、AIが最も苦戦したのはドメイン名（ウェブサイトのアドレス）であることが分かりました。AIは、悪意のあるファイルを「ホストしている」ウェブサイトと、ウェブサイト自体が「悪」であることの区別がつかないことがよくありました。それは、ガードマンが「ピザ」の看板を見て、かつて犯罪者がピザを注文したことがあるという理由だけで、そのピザ屋を犯罪現場だと決めつけてしまうようなものです。
まとめ
この論文は、AIが、整理されていない構造化されていないニュースレポートの中から、プロアクティブにハッカーの手がかりを見つけ出すための強力なツールになり得ることを証明しています。これにより、セキュリティチームがすべての言葉を手作業で読む必要がなくなります。
しかし、AIはまだ完璧ではありません。AIは、単に手がかりそのものだけでなく、その背後にある「物語」を理解できるよう、さらに進化する必要があります。著者らは将来的に、これらのAI偵察員がPDFを読み、スクリーンショットを確認し、より複雑な種類の脅威を理解できるようになることで、私たちのデジタル都市が、最初のレンガが投げ込まれる前に、より安全になるだろうと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。