Automated Root Cause Analysis of Security Incidents Using Causal Machine Learning

セキュリティシステムがアラームを鳴らすとき、当面の課題は単に何かがおかしいと気づくことではなく、正確にどこで問題が発生したのかを理解することである。現代のネットワークは、誰がログインしたか、どのプログラムが実行されたか、どのファイルが開かれたか、そして権限がどのように変更されたかといった、絶え間ないデータの流れを生成している。多くの場合、連鎖反応の始まりにおける一つの小さなミスが、等しく不審に見える奇妙な出来事の連鎖を引き起こすことがある。もし調査員が、最も大きな音や最も異常な信号だけを見ているとしたら、彼らは原因を症状と見誤り、真の問題が上流に隠れたまま、下流の効果を追いかけてしまうかもしれない。これを解決するために、研究者たちは「因果推論」と呼ばれる思考法へと目を向けている。これは、単にどのイベントが一緒に起きるのかを問うのではなく、どのイベントが他のイベントを実際に引き起こしているのかを問うものである。この手法は、システムを接続された歯車の集合体として扱う。一つの歯車が回れば、それが次を押し、さらに次を押すというものである。目標は、最も速く回転している歯車ではなく、最初に突かれた最初の歯車を見つけ出すことにある。

レハナ・デヴァニという研究者は、制御されたシミュレーション環境において、その「最初の歯車」を見つけるための特定の手法をテストした。この研究は、現実世界のハッキングの試みやライブの企業ネットワークを分析するものではない。代わりに、アクセス、ポリシー、実行といった要素を表す6つの明確な部分からなる、セキュリティシステムのデジタルモデルを構築している。このモデルにおいて、研究者たちは各部分がどのように接続され、互いにどのように影響し合っているかを正確に把握している。そして、研究者たちは特定の人工的な乱れ、すなわち、開始部分の一つにおける挙動の突然の4ユニットのシフトを導入し、その波紋が残りのシステムにどのように広がるかを観察した。実験は、シンプルだが困難な問いを投げかける。システム全体が奇妙な動きをしているとき、コンピュータプログラムは、どの単一の開始部分が変更されたのかを正しく特定できるのか、それとも変化に反応した他の部分のノイズに気を取られてしまうのだろうか。

研究者たちは、データを読み解く2つの方法を比較した。第一の方法は「周辺スコアリング（marginal scoring）」と呼ばれ、各部分を孤立させて見て、「この部分は通常と比較してどれほど異常か？」と問うようなものである。このアプローチは、単に問題に反応しているだけの部分が、原因となった部分と同じくらい奇妙に見えてしまうことがあるため、失敗することが多い。第二の方法は「残差スコアリング（residual scoring）」として知られ、より洗練されている。これは接続のマップを用いて、「入力側の部分が何をしているかを考慮した上で、この部分は奇妙に振る舞っているか？」と問うものである。もしある部分が、その隣接部分が奇妙に振る舞っているために奇妙に見えているのであれば、この手法はその部分自体が源泉ではないことを認識する。しかし、もしその部分が隣接部分が正常に振る舞っている場合でも奇妙に振る舞っているならば、それは容疑者としてフラグが立てられる。

データが完全にクリアで背景ノイズのない、最も理想的なバージョンの実験において、この洗練された手法は驚くほどうまく機能した。それは、乱れの開始点をほぼ98パーセントのケースで正しく特定した。接続関係を無視した単純な手法は、約87パーセントの時のみ正解となった。この差は、システムの構造を理解することが、真の原因と症状を分離するのに役立つことを示している。しかし、研究は、この手法が、現実世界のシステムがそうであるように、データが乱れている場合にどのように耐えうるかもテストした。研究者たちは、不完全なデータ収集をシミュレートするために、測定値にランダムな静止、すなわちセンサーノイズを加えた。ノイズが増加するにつれて、洗練された手法の精度は低下し、ノイズレベルが中程度の場合には約81パーセントにまで落ち込んだ。単純な手法はさらに苦戦し、およそ62パーセントまで低下した。この結果は、接続を知っていることが助けにはなるものの、データの質も同様に重要であることを裏付けている。測定値があまりに不鮮明であれば、最高の地図をもってしても、調査員を正しい答えへと導くことはできないのである。

研究はまた、もしマップ自体が少し間違っていたらどうなるかについても探求した。一つのテストでは、研究者たちはある部分が別の部分に影響を与えていることを知らないふりをして、既知の接続を意図的にモデルから削除した。この手法は依然として良好に機能し、クリアなデータにおいては原因を約94パーセントの確率で正しく特定したが、ノイズが増加するにつれて精度は低下した。これは、このアプローチがある程度の欠落した情報に対しては寛容であることを示唆しているが、完璧ではないことも示している。研究者たちはまた、正しい原因を見つけることが実際に問題の解決に役立つかどうかを検証した。彼らは、注入された変化を逆転させることで、システムの修復をシミュレートした。開始点となる正しい箇所を対象としたとき、システム内の奇妙な挙動はほぼ完全に消失した。一方で、誤った箇所を対象としたときは、システムは乱れたままの状態であった。これは、この手法が単に推測しているのではなく、もし再び引けば連鎖反応を止められる特定のレバーを特定していることを裏付けた。

こうした有望な結果にもかかわらず、論文は自身が成し遂げていないことについても慎重に述べている。実験全体は、わずか6つの部分からなるコンピュータ・シミュレーション内で行われた。研究者たちは、これを実際の企業ネットワークや、実際のハッカー、あるいは実際のセキュリティログに対してテストしたわけではない。彼らは、この手法が新しいタイプの攻撃を発見できることや、システムの事前定義されたマップなしで機能することを主張していない。この研究が証明しているのは、もしシステムの接続方法をすでに知っているのであれば、単に最も奇なる数字を探すよりも、特定の計算を用いることで単一の注入された問題をより正確に見つけられるということである。これは、この手法が、混沌とし、ノイズが多く、複雑なライブ・エンタープライズの現実の中で機能することを証明するものではない。この研究の価値は、その明快さに集約される。それは、「原因を見つけること」と「マップを発見すること」を明確に区別しており、データの質がいかに重要であるかを正確に示している。この手法が実際の組織を保護するために使用される前に、接続関係が事前に知られておらず、データが完璧にクリーンではない環境でテストされる必要がある。現時点では、これは、前提条件が明確に理解されている場合に限り、因果推論がいかにセキュリティ事象の発生源の探索を改善できるかを示す、精密で再現可能な実証実験である。