On fair and realistic performance evaluations for graph-based lateral movement detectors

インターネットを、あらゆるコンピュータが建物であり、あらゆるデータパケットが配送トラックである、巨大で賑やかな都市だと想像してみてください。この都市では、セキュリティガード（サイバーセキュリティの専門家）が常にトラブルがないか監視しています。通常、彼らは外部から建物に侵入しようとする者を探しています。しかし、最も狡猾な泥棒は、ただ侵入するだけではありません。一度建物の中に入り込むと、部屋から部屋へと飛び移り、鍵を盗み、最も価値のある金庫への扉を開けていくのです。この、都市内部で行われる巧妙な飛び回りのことを「ラテラルムーブメント（横展開）」と呼びます。このデジタル上の泥棒を捕まえるために、研究者たちは「探偵」――都市のトラフィックログを観察し、泥棒が建物間を移動する際の奇妙なパターンを見つけ出そうとするコンピュータプログラム――を構築しています。

長年、研究者たちは最高の探偵を作るために競い合ってきました。誰が勝っているのかを知るために、彼らは「訓練場」、つまり、既知の泥棒が走り回っている様子をシミュレートした巨大な既成のデータセットを使用します。考え方は単純です。もしあなたの探偵が訓練場の中で泥棒を見つけたら、その探偵は優秀であるということです。しかし、ここには落とし穴があります。訓練場は乱雑なのです。ある研究者は「退屈な」トラフィックを捨ててログを整理し、また別の研究者は泥棒が取るすべてのステップを犯罪としてラベル付けします。それは、まるで探偵のスキルを判定するために、あらかじめ難しい手がかりをすべて隠しておき、どこに悪党がいるかを正確に教えてしまうテストを行っているようなものです。もし、研究者ごとにテストのルールが変わってしまうと、誰が本当に優れた探偵なのかを判断することができなくなります。

これこそが、論文「On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors（グラフベースのラテラルムーブメント検知器における公平かつ現実的な性能評価について）」が調査している内容です。著者であるコランタン・ラロッシュは、過去のいくつかの大きなコンテストのスコアカードをチェックすることに決めた審判のような役割を果たしています。彼は2つの有名な訓練場（LANLおよびOpTCと呼ばれるデータセット）を調査し、研究者たちがデータの準備方法や「犯罪」のラベル付けにおいて、極めて異なるルールを使用していたことを発見しました。ある者はテストを簡単にするために無実の人々をフィルタリングして排除し、またある者は無害なトラフィックを悪意のあるものとしてカウントしていました。この論文は、これらの不一致なルールが、結果を実際よりもずっと良く見せているのだと主張しています。

ラロッシュは、次にこれらのデータセットを準備するための、より厳格な新しいルールを提案します。彼は、面白い部分だけでなく、テスト内の「すべての」トラフィックを保持すべきであり、また何をもって「ラテラルムーブメント」とするかについても非常に慎重になるべきだと示唆しています。彼が3つの有名な検知手法に対して、この新しいより公平なルールを用いてテストをやり直したところ、結果は劇的に変化しました。以前のテストではスーパーヒーローのように見えていた検知器たちが、突然、はるかに目立たない存在になったのです。例えば、以前はほぼ完璧なスコアを主張していたある手法は、乱雑で現実的なデータに対処することを強制されると、大幅にスコアを落としました。この論文は、ラテラルムーブメントの検知は依然として非常に困難な問題であるが、もし現実の世界で機能するシステムを構築したいのであれば、テストにおける偏った調整を行うのをやめる必要がある、と結論付けています。