On fair and realistic performance evaluations for graph-based lateral movement detectors

Imagine a internet como uma cidade gigante e movimentada, onde cada computador é um edifício e cada pacote de dados é um caminhão de entrega. Nesta cidade, seguranças (especialistas em cibersegurança) estão constantemente vigiando em busca de problemas. Normalmente, eles procuram por alguém tentando invadir um edifício pelo lado de fora. Mas os ladrões mais sorrateiros não apenas invadem; uma vez que entram em um edifício, eles começam a saltar de sala em sala, roubando chaves e abrindo portas para os cofres mais valiosos. Esse salto sorrateiro entre edifícios dentro da cidade é chamado de "movimentação lateral". Para capturar esses ladrões digitais, pesquisadores constroem "detetives" — programas de computador que observam os registros de tráfego da cidade e tentam identificar os padrões estranhos de um ladrão movendo-se entre edifícios.

Por anos, esses pesquisadores têm corrido para construir os melhores detetives. Para ver quem está vencendo, eles usam "campos de treinamento": enormes conjuntos de dados pré-fabricados que simulam uma cidade com um ladrão conhecido correndo por ela. A ideia é simples: se o seu detetive encontrar o ladrão no campo de treinamento, ele é bom. Mas aqui está o problema: os campos de treinamento são bagunçados. Alguns pesquisadores limpam os registros jogando fora o tráfego "tedioso", enquanto outros rotulam cada passo que o ladrão dá como um crime. É como julgar a habilidade de um detetive dando a ele um teste onde você já escondeu todas as pistas difíceis e disse exatamente onde o bandido está. Se as regras do teste mudarem de um pesquisador para outro, você não consegue realmente dizer quem é o melhor detetive.

É exatamente isso que o artigo "On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors" investiga. O autor, Corentin Larroche, atua como um árbitro que decide verificar as planilhas de pontuação das últimas grandes competições. Ele analisa dois famosos campos de treinamento (conjuntos de dados chamados LANL e OpTC) e descobre que os pesquisadores têm usado regras amplamente diferentes para preparar os dados e rotular os "crimes". Alguns estavam filtrando pessoas inocentes para tornar o teste mais fácil, enquanto outros estavam contando tráfego inofensivo como malicioso. O artigo argumenta que essas regras inconsistentes estão fazendo com que os resultados pareçam muito melhores do que realmente são.

Larroche então propõe um novo conjunto de regras mais rigorosas para preparar esses conjuntos de dados. Ele sugere que devemos manter todo o tráfego no teste, não apenas as partes "interessantes", e que devemos ser muito cuidadosos com o que chamamos de "movimentação lateral". Quando ele executa novamente os testes para três métodos de detecção famosos usando suas novas regras mais justas, os resultados mudam dramaticamente. Os detetives que pareciam super-heróis nos testes antigos subitamente parecem muito menos impressionantes. Por exemplo, um método que anteriormente reivindicava uma pontuação quase perfeita cai significativamente quando forçado a lidar com os dados bagunçados e realistas. O artigo conclui que, embora a detecção de movimentação lateral ainda seja um problema muito difícil, precisamos parar de usar ajustes tendenciosos em nossos testes se quisermos construir um sistema que funcione no mundo real.