Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

No mundo de alto risco da cibersegurança, os defensores há muito operam em um modo reativo, esperando que um alarme soe antes que possam agir. No momento em que uma violação é detectada, o dano muitas vezes já está feito. Para mudar essa dinâmica, pesquisadores recorreram à previsão: a tentativa de prever que tipo de ataques ocorrerão, onde eles atacarão e quem será o alvo antes que ocorram. Este campo baseia-se em vastas coleções de dados históricos, conhecidos como repositórios de incidentes, que registram os detalhes de ataques cibernéticos passados. No entanto, esses registros estão frequentemente espalhados por diferentes bancos de dados, cada um usando sua própria linguagem e formato, e muitos carecem de detalhes cruciais. Para construir um quadro útil do futuro, os cientistas devem fundir esses arquivos separados em uma história única e completa, preenchendo as lacunas com suposições educadas derivadas dos dados de que dispõem. O desafio reside em garantir que essas suposições não enganem acidentalmente os próprios modelos projetados para aprender com elas, criando uma falsa sensação de segurança onde ela não existe.

Uma equipe de pesquisadores da Universidade Islâmica Internacional de Islamabad, da Universidade Nacional de Seul e da Universidade de Prince Mugrin estabeleceu o objetivo de testar a confiabilidade desta prática comum. Eles combinaram dois enormes bancos de dados de incidentes cibernéticos: o VERIS Community Database, que oferece detalhes estruturados profundos sobre ataques, mas interrompe o registro em 2017, e o Hackmageddon, que fornece um fluxo contínuo de incidentes recentes, porém com informações menos detalhadas. Ao harmonizar essas duas fontes, criaram um registro unificado de mais de 20.000 incidentes abrangendo mais de cinquenta anos. Para tornar os dados utilizáveis, eles tiveram que preencher campos ausentes para cada incidente, como o motivo específico do atacante ou o tipo de ativo visado. Eles fizeram isso treinando um modelo computacional para prever os detalhes ausentes com base nas informações disponíveis no outro banco de dados. Esse processo produziu um conjunto de dados completo, mas também introduziu uma armadilha sutil. Como os rótulos ausentes foram gerados por um modelo computacional usando as mesmas características que os modelos de previsão usariam posteriormente para fazer previsões, os modelos de previsão estavam, essencialmente, sendo testados em respostas que já haviam sido treinadas para reconhecer.

Quando os pesquisadores avaliaram seus modelos de previsão neste conjunto de dados mesclado, os resultados inicialmente pareceram promissores. Os modelos pareciam prever o tipo de ataque futuro com uma precisidade que parecia superar os padrões de referência. No entanto, a equipe suspeitou que esses altos escores eram uma ilusão causada pela forma como os dados foram construídos. Para investigar, eles separaram os dados de teste em dois grupos: registros onde o tipo de ataque foi originalmente observado e registrado por humanos, e registros onde o tipo de ataque foi reconstruído pelo modelo computacional durante o processo de fusão. A diferença foi gritante. Nos registros com rótulos observados por humanos, o desempenho do modelo caiu significativamente, revelando que os altos escores no conjunto de dados completo eram amplamente impulsionados pelo simples fato de o modelo memorizar os padrões do computador que havia preenchido os dados ausentes. De fato, a lacuna entre os dois grupos era tão grande que o desempenho médio geral foi inflado em quase quarenta e quatro pontos percentuais, uma distorção que teria permanecido oculta se os pesquisadores tivessem olhado apenas para os números combinados.

Para confirmar que essa inflação foi causada especificamente pelo ato de preencher os dados ausentes, e não por outras diferenças entre os dois períodos de tempo, os pesquisadores realizaram um experimento controlado. Eles pegaram um único período de tempo onde todos os dados foram originalmente observados, então deliberadamente ocultaram uma parte dos rótulos e os preencheram usando o mesmo modelo computacional que utilizaram para o conjunto de dados principal. Quando treinaram seu modelo de previsão com esses dados mistos, o desempenho nos rótulos reconstruídos foi, mais uma vez, muito superior ao dos observados. Isso provou que o ato de imputação em si cria um ciclo circular onde o modelo aprende a imitar o preenchedor em vez do fenômeno do mundo real. O estudo também revelou um achado contraintuitivo: quanto pior o modelo computacional era em preencher os dados ausentes, mais o desempenho do modelo de previsão era artificialmente inflado. Um imputador ruim cria um padrão único e idiossincrático nos dados ausentes que é fácil para um modelo subsequente aprender, enquanto um imputador altamente preciso mistura-se tão bem que não cria um sinal tão distinto e aprendível.

Além da questão do vazamento de dados, os pesquisadores exploraram a melhor forma de representar a informação dentro desses registros. Os dados de incidentes cibernéticos são repletos de categorias de alta cardinalidade, como os nomes de centenas de países diferentes ou milhares de organizações específicas. Métodos tradicionais costumam tratar esses dados como números simples, o que pode confundir os modelos. A equipe testou uma técnica chamada embeddings de entidade, que aprende uma representação matemática densa e única para cada categoria, permitindo que o modelo entenda as relações entre elas. Essa abordagem melhorou dramaticamente a capacidade do modelo de prever tipos de ataque, aumentando seu desempenho em quase dezenove pontos percentuais em comparação com o método tradicional. Esse achado sugere que estudos anteriores alegando que modelos de aprendizagem profunda têm um desempenho ruim nesse tipo de dado podem ter sido limitados pela forma como os dados lhes eram apresentados, e não pelos próprios modelos.

O estudo também examinou a dificuldade de prever o país específico visado por um ataque. Embora os modelos pudessem alcançar uma precisão geral elevada simplesmente adivinhando os países mais comuns, eles lutavam imensamente para identificar corretamente os alvos menos frequentes. O desempenho nesta tarefa foi tão baixo que mal excedeu a linha de base de sempre adivinhar a classe majoritária. Os pesquisadores determinaram que isso não se devia à falta de dados ou a um desequilíbrio no número de ataques, mas sim porque simplesmente não há informação específica suficiente nos registros disponíveis para distinguir entre centenas de países diferentes. As características presentes nos dados não carregam o sinal geográfico necessário para tornar essas previsões granulares confiáveis.

Finalmente, a equipe testou seus modelos sob uma avaliação estritamente cronológica, treinando com dados do passado e testando com dados do futuro, que é a única maneira de realmente avaliar um sistema de previsão. Sob estas condições realistas, o desempenho caiu ainda mais, e os modelos de aprendizagem profunda, que anteriormente vinham atrás dos modelos baseados em árvores mais simples, finalmente os ultrapassaram. Essa reversão sugere que os modelos profundos, auxiliados pela melhor representação dos dados, foram melhores em generalizar para novos períodos de tempo não vistos, enquanto os modelos mais simples estavam apenas memorizando padrões específicos da janela de treinamento. Os pesquisadores concluíram que, embora a previsão do tipo geral de ataque seja possível com um sucesso modesto, prever o país específico ou o padrão exato de um ataque permanece fora de alcance com os dados e métodos atuais. Sua principal contribuição não foi um novo algoritmo de previsão, mas um protocolo rigoroso para avaliar conjuntos de dados fundidos que expõe essas falhas ocultas, garantindo que pesquisas futuras em cibersegurança e outros campos não confundam os artefatos da construção de dados com o verdadeiro poder preditivo.