A structured event logging framework for language model assisted security event analysis

No mundo digital, cada ação que um computador realiza deixa um rastro. Quando um usuário faz login, quando um arquivo é salvo ou quando uma configuração de segurança é alterada, o sistema escreve um registro desse evento. Esses registros, conhecidos como logs de eventos, são a principal forma de as equipes de segurança entenderem o que está acontecendo dentro de uma rede. Durante décadas, o método padrão para analisar esses logs tem sido alimentá-los em softwares especializados ou analistas humanos que buscam padrões que sugiram uma ameaça. No entanto, uma nova geração de ferramentas de inteligência artificial, especificamente modelos de linguagem de grande escala, mostrou-se promissora para automatizar essa tarefa. Esses modelos são treinados em vastas quantidades de texto e conseguem compreender a linguagem natural, tornando-os teoricamente perfeitos para ler e interpretar as histórias escondidas nos logs de segurança. Contudo, um problema significativo surgiu: quando essas poderosas ferramentas de IA são solicitadas a ler logs de computador padrão, elas frequentemente falham. Elas produzem respostas inconsistentes, perdem detalhes críticos ou inventam fatos que nunca aconteceram. Essa falta de confiabilidade as torna perigosas para a segurança do mundo real, onde um palpite errado pode significar que uma violação passe despercebida ou que uma ação inofensiva seja confundida com um ataque.

Pesquisadores da Universidade de Huddersfield e da Universidade Metropolitana de Manchester decidiram resolver esse problema fazendo uma pergunta diferente. Em vez de tentar tornar a inteligência artificial mais inteligente, eles se perguntaram se os próprios logs não seriam o problema. Eles hipotetizaram que a maneira como os computadores atualmente escrevem esses registros é simplesmente muito desordenada e técnica para que a IA possa compreender. Para testar isso, a equipe desenvolveu uma nova forma para os computadores registrarem suas atividades, uma desenhada especificamente para ser legível por modelos de linguagem. Eles construíram uma ferramenta que captura eventos de várias partes de um sistema de computador, filtra o ruído e reescreve os dados em um formato claro e estruturado antes mesmo de serem analisados. O resultado é um sistema onde o computador faz o trabalho pesado de organizar a informação, apresentando à IA uma história limpa e coerente, em vez de um fluxo caótico de código.

A equipe testou sua nova abordagem simulando vinte diferentes cenários de segurança, variando de mudanças simples de senha a intrusões complexas de rede. Eles registraram os eventos usando sua nova ferramenta e compararam os resultados com os métodos de registro padrão usados na indústria atual. Quando alimentaram esses logs em diversos modelos de linguagem diferentes, a diferença foi gritante. Os modelos utilizando o novo formato identificaram consistentemente os problemas corretos e forneceram soluções relevantes. Em contraste, quando os mesmos modelos receberam os logs tradicionais e não estruturados, seu desempenho caiu significativamente. Eles tiveram dificuldade em distinguir entre atividade normal e potenciais ameaças, muitas vezes falhando em reconhecer que uma configuração de segurança crítica havia sido alterada. O novo formato eliminou a necessidade de a IA adivinhar ou interpretar códigos confusos, levando a uma melhoria dramática na precisão.

Uma das descobertas mais notáveis foi que o novo sistema funcionou tão bem que os modelos raramente inventavam fatos, um fenômeno conhecido como alucinação. Neste experimento específico, a taxa de erro foi efetivamente zero em todos os testes, incluindo aqueles que utilizavam formatos tradicionais. Os pesquisadores observaram, no entanto, que este resultado pode ter sido influenciado pelo número relativamente pequeno de logs utilizados em comparação com outros estudos, e eles não puderam concluir definitivamente que as alucinações foram permanentemente eliminadas sem testes adicionais em conjuntos de dados maiores. Isso sugere que a causa primária da confusão da IA não era a falta de inteligência, mas sim a má qualidade dos dados de entrada. Ao garantir que os logs fossem estruturados, consistentes e escritos em linguagem clara desde o momento em que foram criados, os pesquisadores removeram as barreiras que faziam a IA tropeçar. O sistema também lidou com a tarefa de vincular eventos relacionados. Em vez de esperar que um programa separado percebesse que dois logs diferentes ocorreram ao mesmo tempo e faziam parte do mesmo ataque, a nova ferramenta conectou esses pontos automaticamente conforme os eventos ocorriam.

Os pesquisadores também exploraram se treinar os modelos de IA com mais dados os ajudaria a performar melhor com os logs antigos e desordenados. Eles descobriram que, mesmo com treinamento extra, os modelos ainda tinham dificuldades com os formatos tradicionais. No entanto, ao utilizar o novo formato, os modelos performaram excepcionalmente bem mesmo sem qualquer treinamento adicional. Isso indica que a estrutura dos dados é mais importante do que o tamanho do conjunto de treinamento do modelo. A equipe mediu quanto tempo levava para analisar os logs e descobriu que seu novo método era significativamente mais rápido do que a maioria dos métodos tradicionais. Enquanto algumas ferramentas padrão como o Sysmon completavam a análise em minutos, outras levavam várias horas para processar a mesma quantidade de informação. Essa velocidade, combinada com a alta precisão, sugere que a nova abordagem pode tornar a análise de segurança impulsionada por IA prática para o uso cotidiano.

O estudo não afirma ter resolvido todos os problemas de cibersegurança, e os pesquisadores reconhecem que seus testes foram conduzidos em um único tipo de sistema de computador. Eles planejam expandir seu trabalho para outros sistemas operacionais no futuro. No entanto, a descoberta central é clara: a maneira como registramos eventos digitais precisa mudar se quisermos que a inteligência artificial os compreenda. Ao tratar o formato do log como uma ferramenta de comunicação, em vez de apenas um registro técnico, os pesquisadores criaram uma ponte entre as máquinas humanas e a inteligência artificial. Essa simples mudança de perspectiva permite que a IA faça o que faz de melhor — compreender a linguagem e encontrar padrões — sem se perder no ruído dos dados brutos. O resultado é uma forma mais confiável, rápida e segura de proteger sistemas de computador, provando que, às vezes, a melhor maneira de melhorar uma ferramenta não é torná-la mais complexa, mas sim tornar a informação que ela recebe mais clara.