Structural Leakage in Host Intrusion Alert Corpora: An Evaluation Framework for ATT&CK Technique and Tactic Mapping
Este artigo introduz um framework de avaliação consciente de vazamento para o mapeamento de alertas de intrusão de host do Wazuh para táticas e técnicas do MITRE ATT&CK, demonstrando que os métodos de avaliação padrão superestimam o desempenho devido ao vazamento estrutural de dados proveniente de identificadores de regras e modelos de alerta, enquanto mostra que a predição em nível de tática permanece robusta quando esses vieses são controlados.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo digital, cada computador e servidor deixa para trás um rastro de pegadas digitais sempre que alguém interage com ele. Essas pegadas são chamadas de alertas, e elas são a principal maneira pela qual as equipes de segurança sabem que algo incomum está acontecendo. Imagine um edifício com centenas de câmeras de segurança; cada vez que uma porta se abre ou uma luz pisca, uma câmera envia uma mensagem para um monitor central. No reino cibernético, essas mensagens são geradas por softwares que monitoram atividades suspeitas, como alguém tentando adivinhar uma senha ou movendo arquivos que não deveria tocar. Para dar sentido a esse fluxo de informações, os especialistas em segurança usam uma linguagem compartilhada chamada MITRE ATT&CK. Isso não é um software, mas sim um vasto catálogo de comportamentos criminosos conhecidos, organizado como uma biblioteca onde cada entrada descreve uma tática específica que um invasor pode usar e a técnica que ele emprega para alcançá-la. O objetivo é traduzir mensagens de computador brutas e confusas em histórias claras sobre o que um invasor está tentando fazer, permitindo que os defensores entendam a ameaça e a interrompam.
No entanto, um novo estudo sugere que a maneira como os pesquisadores têm testado sua capacidade de traduzir essas mensagens pode estar fundamentalmente errada. Emad Sherif, um pesquisador da De Montfort University, investigou se programas de computador poderiam identificar com sucesso esses alertas de segurança brutos ao catálogo de comportamentos criminosos. O estudo foi conduzido em um "Cyber Range", um ambiente digital controlado que imita uma rede corporativa real, mas é isolado do mundo exterior. Dentro deste sandbox digital, o pesquisador configurou uma simulação onde um invasor se movia pela rede, realizando ações como escanear em busca de vulnerabilidades, roubar senhas e esconder seus rastros. O software de segurança, conhecido como Wazuh, registrou cada alerta gerado durante este ataque, criando um conjunto de dados de mais de dois mil mensagens. O desafio era ver se uma inteligência artificial conseguiria olhar para essas mensagens e identificar corretamente qual comportamento do catálogo elas representavam.
O pesquisador descobriu que tentativas anteriores de resolver este problema provavelmente dependeram de atalhos não intencionais, embora involuntários. Em muitos experimentos de computador, os dados são divididos aleatoriamente em um grupo de treinamento e um grupo de teste. O computador aprende com o grupo de treinamento e é então testado no grupo de teste não visto para verificar o quão bem ele generaliza. Neste tipo específico de dado de segurança, entretanto, os alertas não são frases únicas escritas por humanos; eles são gerados por regras fixas. Se uma regra diz "alertar quando uma senha falha", ela produzirá exatamente o mesmo texto toda vez que esse evento ocorrer. O estudo descobriu que, no conjunto de dados, o texto do alerta e a regra que o criou estavam tão perfeitamente ligados ao comportamento criminoso específico que um computador poderia simplesmente memorizar a regra e adivinhar a resposta com alta precisão. Era como um aluno fazendo uma prova onde a própria pergunta continha a resposta. Se a mesma regra aparecesse tanto no grupo de treinamento quanto no de teste, o computador não estava realmente aprendendo a reconhecer o comportamento; estava apenas reconhecendo o modelo da regra.
Para corrigir isso, o pesquisador alterou as regras do experimento. Em vez de dividir os dados aleatoriamente, ele agrupou os alertas pela regra específica que os gerou. Isso significava que, se uma regra particular fosse usada para treinar o computador, essa mesma regra seria completamente banida da fase de teste. O computador tinha que aprender o significado subjacente do comportamento sem poder depender do atalho de reconhecer a própria regra. Quando este teste mais rigoroso foi aplicado, o desempenho do computador caiu significativamente, revelando que os escores altos anteriores estavam, de fato, inflados. Os resultados mostraram que, embora o computador ainda pudesse identificar categorias amplas de ataque, como "roubo de credenciais" ou "ocultação de evidências", ele tinha dificuldade em identificar as técnicas específicas e detalhadas quando não podia depender da memorização dos modelos de regras.
O estudo concluiu que traduzir alertas de segurança brutos em uma imagem clara de comportamento criminoso é possível, mas apenas se a avaliação for feita com extremo cuidado para evitar esses atalhos estruturais. O computador teve um desempenho melhor ao identificar o objetivo geral de um ataque, como se o invasor estava tentando roubar dados ou interromper serviços, do que ao identificar o método preciso utilizado. Isso sugere que, para as equipes de segurança, esses alertas são mais úteis para entender a intenção ampla de um intruso do que os detalhes minuciosos de suas ferramentas. A pesquisa serve como um aviso crucial para a área: sem controlar esses padrões ocultos nos dados, as ferramentas projetadas para proteger redes podem parecer muito mais capazes do que realmente são. O caminho a seguir envolve a construção de sistemas que possam compreender o contexto de um alerta além de seu texto repetitivo, garantindo que, quando uma equipe de segurança vir um aviso, este seja baseado em evidências genuínas de uma ameaça, e não em um artefato estatístico de como os dados foram coletados.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.