Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation

Resumo Técnico: Logs de Cibersegurança de Múltiplas Fontes: Um Conjunto de Dados Rotulado com ATT&CK e Avaliação de SLM

Declaração do Problema
Ataques cibernéticos modernos de múltiplos estágios atravessam logs de sistema, rede e navegador simultaneamente. Detectar esses ataques requer a correlação de eventos entre todas as três fontes para reconstruir a cadeia completa do ataque. Embora os métodos de aprendizado de máquina (ML) ofereçam um caminho para aprender esses padrões de múltipls fontes, eles exigem dados de múltiplas fontes rotulados, o que atualmente não está disponível no domínio público. Os conjuntos de dados existentes sofrem de limitações significativas: conjuntos de dados focados apenas em rede (ex: CICIDS, UNSW-NB15) carecem de visibilidade de host e de navegador; conjuntos de dados focados em host (ex: LMDG, CICAPT-IIoT) omitem telemetria de navegador; e o trabalho anterior mais próximo, ATLAS, inclui as três fontes, mas carece de rótulos granulares de técnicas do MITRE ATT&CK, categorizando eventos apenas como maliciosos ou benignos. Consequentemente, pesquisadores não podem treinar ou avaliar modelos que raciocinem através das três fontes no nível de técnica.

Metodologia
Para abordar essa lacuna, os autores construíram um novo conjunto de dados e avaliaram a capacidade de aprendizado de Modelos de Linguagem Pequenos (SLMs) nele por meio da seguinte metodologia:

1. Construção do Conjunto de Dados:

   • Escopo: O conjunto de dados compreende 870 sessões (70 simulações de ataque e 800 sessões de usuários benignos) registradas ao longo de 13 meses (janeiro de 2025 – fevereiro de 2026), totalizando aproximadamente 2,3 milhões de eventos.
   • Fontes: Logs de sistema, rede e navegador foram capturados simultaneamente em endpoints Windows (físicos e virtuais) para intervalos de 20 minutos por sessão.
   • Simulação de Ataque: Os ataques foram gerados usando ferramentas genuínas (ex: Revenge-RAT, BD2 .NET Injector, Playit.gg para C2) em vez de geradores de tráfego sintético. Os cenários cobriram 12 táticas e 53 técnicas do ATT&CK, incluindo Acesso Inicial, Execução, Persistência, Escalação de Privilégios, Evasão de Defesa, Acesso a Credenciais, Descoberta, Movimentação Lateral, Coleta, Exfiltração, Comando e Controle, e Impacto.
   • Dados Benignos: 800 sessões capturaram atividades rotineiras de usuários (navegação web, produtividade, desenvolvimento de software, administração de sistemas, entretenimento) para garantir a robustez do modelo contra falsos positivos.
   • Rotulagem: Eventos maliciosos foram marcados com IDs de técnicas específicas do ATT&CK. Os dados foram estruturados em "pedaços" (chunks) (sequências de sete eventos com carimbo de tempo) servindo como a unidade de entrada para os SLMs.

2. Avaliação do Modelo:

   • Modelos: Três SLMs ajustados por instrução foram selecionados: Qwen2.5-1.5B, Llama-3.2-3B e Phi-4-Mini (3.8B de parâmetros).
   • Ajuste Fino (Fine-Tuning): Todos os modelos foram ajustados usando Low-Rank Adaptation (LoRA) com um rank de 16 e fator de escala de 32.
   • Tarefas: Os modelos foram avaliados em duas tarefas:
     1. Classificação de Pedaço (Chunk Classification): Determinar se um pedaço é "normal" ou "suspeito".
     2. Identificação de Técnica ATT&CK: Gerar os IDs de técnicas específicos e o raciocínio para eventos suspeitos.
   • Métricas: Dez métricas foram utilizadas, incluindo acurácia, precisão, recall, F1-scores (macro e ponderado), acurácia de correspondência exata, correspondência parcial média e F1 por palavra.

Principais Contribuições

1. Um Novo Conjunto de Dados Multi-Fonte: O artigo libera um conjunto de dados que combina logs simultâneos de sistema, rede e navegador com rótulos de técnica ATT&CK por entrada, derivados de ferramentas de ataque reais. Ele cobre 12 táticas e 53 técnicas.
2. Benchmarking de SLMs: O estudo fornece uma avaliação controlada de três SLMs em suas formas base e com ajuste fino LoRA em dados de segurança de múltiplas fontes.
3. Evidência Empírica de Aprendizado: Os autores demonstram que o conjunto de dados contém um sinal aprendível, pois o ajuste fino melhorou significativamente o desempenho do modelo em todas as métricas.

Resultos

• Ganhos de Desempenho: O ajuste fino resultou em melhorias consistentes em todos os três modelos e em todas as dez métricas.
  • Classificação de Pedaço: A acurácia do modelo base orbitou em torno de 7–8%. Após o ajuste fino, a acurácia subiu para entre 89,9% e 97,0%.
  • Correção de Sobre-Alerta: Os modelos base exibiram sobre-alerta severo, rotulando quase todo o tráfego normal como suspeito (ex: identificando corretamente apenas 0,1% a 0,7% das sessões normais). O ajuste fino resolveu isso, com o recall para sessões normais melhorando para 89,6%–98,0%.
  • Variação de Modelo: O Phi-4-Mini (3.8B) teve o melhor desempenho, alcançando 97,0% de acurácia na classificação de pedaços e identificando 97,0% das sessões suspeitas. O Llama-3.2-3B teve dificuldades com ataques raros, identificando apenas 39,5% das sessões suspeitas.
• Identificação de Técnica: Esta tarefa permaneceu desafiadora. Os modelos base alcançaram 0% de acurácia de correspondência exata. Os modelos ajustados melhoraram, com o Phi-4-Mini atingindo 41,6% de acurácia de correspondência exata. No entanto, altas pontuações de correspondência parcial (0,857–0,931) e pontuações F1 por palavra (0,819–0,930) indicam que os modelos capturaram a maior parte do raciocínio subjacente, mesmo quando falharam em reproduzir as strings de saída exatas.

Significância e Alegações
O artigo afirma que simulações controladas podem produzir conjuntos de dados de logs de múltiplas fontes de alta qualidade, adequados para o treinamento de SLMs. A principal significância reside em demonstrar que:

1. A Escassez de Dados é Abordada: O novo conjunto de dados preenche o vazio de dados públicos de múltiplas fontes com rotulagem granular de ATT&CK.
2. SLMs são Viáveis para Triagem: Embora os SLMs base sejam operacionalmente inutilizáveis devido aos falsos positivos, os SLMs ajustados via fine-tuning alcançam confiabilidade suficiente para apoiar analistas de Centro de Operações de Segurança (SOC) na triagem inicial.
3. Capacidade de Raciocínio: As altas pontuações de correspondência parcial sugerem que os SLMs ajustados podem auxiliar analistas humanos ao sugerir técnicas relevantes e raciocínio, mesmo que a identificação exata da técnica ainda não seja perfeita.

Os autores mantêm modéstia em relação às suas conclusões, observando que os resultados indicam tendências em vez de rankings comprovados devido ao tamanho limitado da amostra de modelos testados. Eles reconhecem que, embora o salto de desempenho seja genuíno, a superioridade específica de um modelo sobre outro requer validação adicional em logs de produção e testes repetidos.