SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis

Todos os dias, os sistemas de computação modernos geram um volume impressionante de registros digitais conhecidos como logs. Estas são notas automáticas que as máquinas escrevem sobre suas próprias atividades, rastreando tudo, desde o login de um usuário até o movimento de um arquivo através de uma rede. Em uma grande organização, esses logs se acumulam aos milhões, criando um fluxo massivo e caótico de informações. As equipes de segurança, conhecidas como Centros de Operações de Segurança (SOC), têm a tarefa de vigiar esse fluxo para detectar sinais de problemas. O problema é que o volume é grande demais para humanos lerem, e a antiga maneira de procurar por problemas — verificar padrões específicos e conhecidos de comportamento malicioso — falha quando os atacantes utilizam métodos novos e nunca antes vistos. Quando os sistemas ficam sobrecarregados, eles ou deixam passar ameaças reais ou disparam o alarme para eventos inofensivos, deixando os analistas exaustos e confusos. O objetivo da pesquisa de segurança moderna é construir um sistema que possa peneirar automaticamente esse ruído, encontrar os eventos raros e estranhos que sinalizam um ataque e explicar exatamente por que os encontrou, tudo isso sem a necessidade de hardware caro e especializado ou de uma equipe de especialistas para rotular cada exemplo de crime.

Uma equipe de pesquisadores construiu uma ferramenta chamada SOC Copilot para resolver este problema específico. Eles criaram um sistema completo que roda em processadores de computador padrão, o que significa que não requer as placas de vídeo massivas e que consomem muita energia que muitas ferramentas de inteligência artificial avançadas precisam. Em vez de depender de um banco de dados de ataques conhecidos, o sistema deles aprende o que o comportamento "normal" parece ser e sinaliza qualquer coisa que se desvie desse padrão. Os pesquisadores testaram seu motor em um conjunto de dados massivo de mais de onze milhões de linhas de log de um Hadoop Distributed File System, uma tecnologia comum para armazenar grandes quantidades de dados. Eles processaram esses dados em um formato gerenciável, agrupando eventos relacionados em blocos e transformando-os em uma lista de cinquenta e oito características diferentes, tais como quantas vezes um tipo específico de mensagem apareceu ou quanto tempo durou uma sequência de eventos.

O núcleo do sistema deles utiliza dois métodos diferentes para procurar problemas, trabalhando juntos como dois especialistas com especialidades distintas. O primeiro método é uma ferramenta estatística que procura por outliers, identificando pontos de dados que estão muito distantes da multidão. O segundo método é uma rede neural, um tipo de programa de computador projetado para aprender a comprimir informações e, depois, reconstruí-las. Se o programa encontra um padrão que nunca encontrou antes, ele tem dificuldade em reconstruí-lo, e essa dificuldade torna-se um sinal de que algo está errado. Os pesquisadores treinaram ambos os métodos apenas com exemplos de comportamento normal e seguro. Eles não mostraram nenhum exemplo de ataques durante a fase de aprendizado, o que permite ao sistema detectar novos tipos de ameaças que nunca foram vistos antes.

Para tornar o sistema confiável, os pesquisadores não simplesmente deixaram os dois métodos votarem em uma decisão. Eles primeiro ajustaram as pontuações de cada método para que pudessem ser comparadas de forma justa e, em seguida, as combinaram usando uma estratégia de ponderação específica determinada por testes em um conjunto de dados separado. O resultado final é uma pontuação única que diz ao sistema o quão suspeito é um bloco de logs. Se a pontuação cruzar uma certa linha, o sistema o sinaliza como uma anomalia. Crucialmente, o sistema não diz apenas "isso é ruim". Ele fornece uma explicação detalhada para sua decisão, destacando exatamente quais características da entrada do log causaram o alarme. Ele também atribui um nível de severidade, variando de baixo a crítico, ajudando os analistas humanos a decidir quais alertas investigar primeiro.

Quando a equipe testou seu sistema final em um conjunto de dados que nunca tinha visto antes, os resultados foram notavelmente precisos. De mais de sessenta e quatro mil blocos de logs, o sistema identificou corretamente quase todos os anomalias, perdendo apenas uma. Também manteve os alarmes falsos muito baixos, sinalizando apenas uma fração minúscula da atividade normal como suspeita. A combinação dos dois métodos provou ser mais forte do que cada um isoladamente. Embora a rede neural fosse o detector individual melhor, o método estatístico capturou um pequeno número de ameaças que a rede perdeu. Ao fundi-los, o sistema alcançou um nível de precisão que é raro neste campo, atingindo quase noventa e nove por cento em todas as principais medidas de desempenho.

Os pesquisadores também construíram um painel visual que permite aos analistas humanos interagir com o sistema. Esta interface exibe os alertas, as pontuações de severidade e as explicações do porquê cada alerta foi levantado. Ela mostra os modelos de log específicos que dispararam o alarme e as características que mais contribuíram para a decisão. Essa transparência é vital porque permite que um humano confie no julgamento da máquina e entenda o contexto da ameaça. Todo o sistema foi construído para ser leve e explicável, abordando as reclamações comuns de que ferramentas de segurança poderosas são caras demais para rodar ou muito opacas para serem compreendidas.

O estudo confirma que é possível construir um motor de segurança altamente eficaz sem depender de enorme poder computacional ou de enormes conjuntos de dados rotulados de ataques conhecidos. Ao focar no aprendizado não supervisionado, onde o sistema aprende a forma do comportamento normal, e ao combinar múltiplos métodos de detecção, a equipe criou uma ferramenta que é ao mesmo tempo precisa e compreensível. Eles demonstraram que um sistema pode ser treinado em dados normais, ajustado com calibração cuidadosa e implantado para capturar quase todas as anomalias em um fluxo massivo de logs. O trabalho não afirma resolver todos os problemas de segurança e reconhece que, atualmente, funciona melhor para este tipo específico de dados de log. No entanto, fornece um exemplo claro e funcional de como passar da verificação de regras reativa para a detecção de anomalias inteligente e proativa, que pode ser compreendida e confiada pelas pessoas que precisam usá-la.