Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

サイバーセキュリティという極めて重要な世界において、防御側は長らく、事態に対処するためにアラームが鳴るのを待つという、リアクティブ（反応的）なモードで活動してきました。侵害が検知されたときには、多くの場合、すでに被害は発生してしまっています。このダイナミクスを変えるために、研究者たちは予測、すなわち、どのような攻撃が発生し、どこを襲い、誰が標的になるのかを、それが起こる前に予測することに目を向けてきました。この分野は、過去のサイバー攻撃の詳細を記録した「インシデント・リポジトリ」として知られる膨大な履歴データの集合に依存しています。しかし、これらの記録はしばしば異なるデータベースに分散しており、それぞれが独自の言語や形式を使用しており、さらに多くの記録において重要な詳細が欠落しています。将来の有用な全体像を描くために、科学者たちは、これら別々のアーカイブを一つの完全な物語へと統合し、手元にあるデータから導き出された論理的な推測を用いて、欠落している空白を埋めなければなりません。課題は、これらの推測が、学習のために設計されたモデルそのものを誤って欺き、存在しないはずの偽りの安心感を生み出してしまうことがないよう、確実にすることにあります。

イスラマバードの国際イスラム大学、ソウル大学、およびプリンス・ムグリン大学の研究チームは、この一般的な慣行の信頼性を検証することを目的としました。彼らは、詳細かつ構造化された攻撃データを提供するものの2017年で記録が止まっているVERISコミュニティ・データベースと、最近のインシデントを継続的に提供しているものの詳細な情報に乏しいHackmageddonという、2つの大規模なサイバーインシデント・データベースを組み合わせました。これら2つのソースを調和させることで、彼らは50年以上にわたる2万件以上のインシデントを含む統一された記録を作成しました。データを活用可能なものにするために、彼らは各インシデントにおける攻撃者の具体的な動機や標的となる資産のタイプといった欠落しているフィールドを埋める必要がありました。彼らは、利用可能な情報に基づいて欠落した詳細を予測するようにコンピュータモデルを訓練することで、これを行いました。このプロセスによって完全なデータセットが生成されましたが、同時に、ある巧妙な罠も生み出しました。欠落したラベルが、後に予測を行うための特徴量と同じものを使用してコンピュータモデルによって生成されたため、予測モデルは、実質的に、すでに学習済みの答えに対してテストを受けることになったのです。

研究者たちがこの統合されたデータセットを用いて予測モデルを評価した際、結果は当初、有望に見えました。モデルは、標準的なベンチマークを上回る精度で将来の攻撃タイプを予測できているように見えました。しかし、チームは、これらの高いスコアがデータの構築方法によって引き起こされた錯覚ではないかと疑いました。調査のために、彼らはテストデータを2つのグループに分けました。一つは、攻撃タイプが元々人間によって観察され記録されたレコードであり、もう一つは、データの統合プロセス中にコンピュータモデルによって再構成されたレコードです。その差は歴然でした。人間が観察したラベルを持つレコードでは、モデルの性能が大幅に低下し、フルデータセットにおける高いスコアが、主に、欠落データを補完したコンピュータのパターンをモデルが単に記憶していたことによるものであることが明らかになりました。実際、両グループ間の差は非常に大きく、全体の平均パフォーマンスは44パーセント近くも膨張しており、もし研究者が結合された数値のみを見ていたならば、この歪みは見逃されていたことになります。

このインフレが、単なる時期の違いによるものではなく、欠落データを補完する行為そのものによって引き起こされたことを確認するために、研究者たちは対照実験を行いました。彼らは、すべてのデータが元々観察されていた単一の期間を取り出し、その一部のラベルを意図的に隠し、メインのデータセットで使用したのと同じコンピュータモデルを用いてそれらを埋めました。この混合データで予測モデルを訓練したところ、再構成されたラベルに対する性能は、観察されたラベルに対する性能よりも再び大幅に高くなりました。これは、補完（インプテーション）という行為自体が、モデルが現実世界の現象を模倣するのではなく、補完した存在を模倣するように学習してしまうという循環ループを生み出すことを証明しました。また、研究は直感に反する発見も明らかにしました。コンピュータモデルが欠落データを埋めるのが下手であれば下手であるほど、予測モデルの性能は人工的に高くなるというものです。精度の低い補完モデルは、欠落データの中に独特で特異なパターンを作り出すため、ダウンストリームのモデルにとって学習しやすい信号となります。一方で、非常に正確な補完モデルは、データによく馴染みすぎてしまい、そのような明確な信号を作り出しません。

データ漏洩の問題を超えて、研究者たちはこれらの記録内の情報をどのように表現するのが最善であるかを探求しました。サイバーインシデントのデータには、数百の異なる国名や数千の特定の組織名といった、高カーディナリティ（高多重度）なカテゴリが含まれています。従来の手法では、これらを単純な数値として扱うことが多く、それがモデルを混乱させることがあります。チームは「エンティティ・エンベディング（実体埋め込み）」と呼ばれる手法をテストしました。これは、各カテゴリに対して一意の密な数学的表現を学習させることで、モデルがカテゴリ間の関係を理解できるようにする手法です。このアプローチは、攻撃タイプの予測能力を劇的に向上させ、従来の手法と比較して性能を19パーセント近く押し上げました。この発見は、ディープラーニングモデルがこの種のデータに対して性能が低いと主張するこれまでの研究が、モデル自体の問題ではなく、データの提示方法によって制限されていた可能性があることを示唆しています。

研究ではまた、攻撃の標的となる特定の国を予測することの難しさについても検討されました。モデルは、最も一般的な国を単に推測することで高い全体的な精度を達成できますが、頻度の低い標的を正しく特定することには極めて苦戦しました。このタスクにおける性能は非常に低く、常に多数派のクラスを推測するというベースラインを辛うく上回る程度でした。研究者たちは、これがデータの不足や攻撃数の不均衡によるものではなく、数百もの異なる国を区別するための具体的な情報が利用可能な記録の中にそもそも存在しないためであると判断しました。存在する特徴量には、このようなきめ細かな予測を信頼できるものにするための、必要な地理的シグナルが含まれていないのです。

最後に、チームは厳格な時系列評価、つまり過去のデータで訓練し、将来のデータでテストするという、予測システムを真に評価するための唯一の方法を用いてモデルをテストしました。この現実的な条件下では、性能はさらに低下しましたが、以前は単純な決定木ベースのモデルに後れを取っていたディープラーニングモデルが、ついにそれらを追い抜きました。この逆転現象は、より優れたデータ表現に支えられたディープモデルが、未知の新しい期間への汎化能力に優れていた一方で、単純なモデルは訓練期間に特有のパターンを単に記憶していたことを示唆しています。研究者たちは、攻撃の一般的なタイプを予測することは、ささやかな成功と共に可能であるが、特定の国や攻撃の正確なパターンを予測することは、現在のデータと手法では困難であると結論付けました。彼らの主要な貢献は、新しい予測アルゴリズムの開発ではなく、マージされたデータセットを評価するための厳格なプロトコルを提供し、データの構築プロセスが生み出したアーティファクトを、真の予測能力と見誤らないようにすることにありました。