Graph Neural Networks for Provenance-Based APT Detection under a Temporal Transfer Framework: A Review

コンピュータシステムの隠れた層では、静かな戦争が絶えず繰り広げられています。高度な持続的脅威（APT）として知られる攻撃者は、サーバーをクラッシュさせたり、一度に派手な動きでデータを盗んだりすることはありません。その代わりに、彼らは家に入り込み、家族が眠るのを待ち、数日から数週間かけて静かに部屋から部屋へと移動し、引き出しを開け、書類をコピーする泥棒のように、ゆっくりと動きます。このような忍耐強い侵入者を捕まえるために、セキュリティの専門家はシステムの履歴、すなわち「プロベナンス（由来）」に着目します。これは、どのプログラムがどのファイルを開いたか、どのプロセスが他のプロセスにメッセージを送ったか、そしてそれらのイベントがいつ発生したかという、コンピュータが行ったあらゆる動作の記録です。これらの点をつなぎ合わせることで、専門家は攻撃者が残した目に見えない経路を特定できるのです。長年、研究者たちは、攻撃の微妙なパターンを手遅れになる前に察知することを期待して、人工知能を用いてこれらの履歴を自動的に読み取ろうと試みてきました。

しかし、この分野に関する新しいレビューは、現在の成功体験は錯覚である可能性を示唆しています。研究者たちは、ほぼ完璧な精度でこうした長期的な侵入を検知できるAIモデルを構築したと主張する数十の研究を調査しました。その結果、これらのモデルはラボ内では見事に機能するものの、現実世界のセキュリティにおいて最も重要な要素である「時間」を考慮できていないことが多いことが判明しました。レビューされた研究の多くは、すでに完成したデータを用いてモデルをテストしており、アラートを出すべき時点ではまだ発生していないイベントをAIが見ることができる状態になっていました。これは、歴史の試験を受ける生徒に対し、解答用紙を読ませてから答案を書き始めさせるようなものです。研究者たちが詳しく調べたところ、モデルは必ずしも攻撃者の行動を学習しているわけではなく、テストデータの特定の詳細を単に暗記していたり、あるいは実時間の状況では利用できない情報に依存したりしていることが分かりました。

コンピュータサイエンティストのチームによるこのレビューは、2020年から2026年の間に発表された29の異なる検知研究の結果を統合したものです。これらの研究では、都市が道路でつながっている様子を示す地図のように、物事の間の関係性を理解するように設計された「グラフニューラルネットワーク」と呼ばれる種類の人工知能が使用されていました。この文脈において、「都市」はコンピュータのプロセスやファイルであり、「道路」はそれらをつなぐアクションです。研究者たちは、これらの研究を明確なフレームワークに整理し、時間がどのように扱われているかを検証しました。その結果、19の研究がこれらの高度なグラフネットワークを使用していた一方で、モデルが後日のデータに対してどの程度うまく機能するかを実際にテストした研究は極めて少ないことが分かりました。現実の世界では、セキュリティシステムは先月のデータに基づいて学習し、今日起きている攻撃を検知しなければなりません。レビューによれば、ほとんどの研究はこの遅延をシミュレートしていませんでした。代わりに、彼らはトレーニングとテストを同じデータのバッチ内で行っており、モデルが判断を下す際に「未来のイベントを覗き見」できるようにタイムラインを混同させていたのです。

最も重要な発見の一つは、これらの研究で報告されている高い精度が、現実世界のパフォーマンスには反映されない可能性が高いということでした。研究者たちは、これを証明するために2つのレベルのテストを定義しました。第1レベルは、一度学習して固定されたモデルが、後日の新しいデータを見せられたときに依然として攻撃を検知できるかどうかを問うものです。第2レベルは、モデルが新しいデータを見ることで適応し、改善できるかどうかを問うものです。レビューの結果、5つの研究がモデルを適応させる方法について言及していましたが、これらの適応を後日のデータに対して実際にテストした研究は一つもありませんでした。さらに、多くの研究で使用された攻撃のラベル付け手法には、隠れた罠がありました。もし研究者が、あるファイルが既知の悪質なファイルとつながっていることを理由に「悪い」とマークした場合、AIは実際の攻撃行動を理解するのではなく、単にその接続関係を探すことを学習してしまう可能性があります。これは、モデルが脅威を理解しているのではなく、テストのルールを認識することでテストに合格していることを意味していました。

チームはまた、データの準備方法における特定の問題も指摘しました。多くの研究において、人工知能には、アラートを出すべき瞬間よりも数時間、あるいは数日後に発生したイベントを含む、システムの完全な履歴が与えられていました。これは「ルックアヘッド・バイアス（先読みバイアス）」として知られています。セキュリティシステムが有用であるためには、まさにその瞬間までに起こったことのみに基づいて決定を下さなければなりません。レビューによると、データを正しいタイミングで遮断したかどうかを報告している研究は極めて稀でした。この遮断がなければ、モデルは実在しないシナリオに対してテストされていることになります。また、研究者たちは、テストに使用されたデータセットが小さく、反復的であることが多いとも指摘しました。それらはわずか数週間のデータと少数の攻撃シナリオしか含んでいませんでした。これにより、数ヶ月、数年という単位で起こるコンピュータ挙動の緩やかで微妙な変化に、モデルが対処できるかどうかを判断することが困難になっていました。

これらの問題を解決するために、著者らは研究が行われるべき新しい基準を提案しました。彼らは、研究者がモデルがリアルタイムで機能することを証明するために従うべき21項目のチェックリストを作成しました。これには、決定の瞬間までデータグラフを構築すること、テストを行う前にモデルの設定を固定すること、そして実際のオフィス環境でどれだけの誤報が発生するかを報告することなどが含まれます。彼らは、たとえ攻撃の検知においてどれほど正確であっても、誤報が多すぎるモデルは役に立たないと主張しました。なぜなら、セキュリティチームが対応に追われ、圧倒されてしまうからです。レビューは、これらの新しい基準が守られない限り、プロベナンスに基づくセキュリティの分野における「ほぼ完璧な検知」という主張には懐疑的であるべきだと結論付けました。モデルは有望な兆しを見せていますが、時間が経過するにつれて戦術を変えてくる攻撃者に対し、それらが実際に現場のシステムを守れるという証拠は、まだ示されていないのです。進むべき道は、静的なテストでの高スコアを追い求めることから、時間の試練に耐えうることを証明することへの転換を求めています。