Resumo Técnico: AllLinLog – Detecção de Anomalias Baseada em Logs com Autoatenção Linear

1. Declaração do Problema

À medida que os sistemas interconectados se expandem, a superfície de ataque para ameaças cibernéticas cresce, tornando a detecção oportuna de anomalias em logs de sistema crítica. Embora a detecção de anomalias baseada em logs seja uma abordagem padrão, os métodos existentes enfrentam dois desafios principais:

1. Dependência de Parsing de Logs: A maioria das abordagens atuais exige uma etapa de parsing de logs para transformar logs brutos não estruturados em templates de eventos estruturados. Esse processo é propenente a erros, como interpretar parâmetros como palavras-chave ou fundir mensagens distintas, o que leva a mal-entendidos semânticos e à perda de detalhes contextuais. Além disso, sistemas de software em evolução necessitam de retreinamento frequente de parsers para lidar com novos templates.
2. Complexidade Computacional de Sequências Longas: Para preservar a informação semântica completa, os modelos devem processar logs brutos diretamente, resultando em sequências de entrada extremamente longas (frequentemente milhares de tokens). Os modelos baseados em Transformer padrão, que dependem de autoatenção multi-cabeça, sofrem de complexidade computacional quadrática ($O(n^2)$) em relação ao comprimento da sequência. Isso força os modelos a truncar entradas ou descartar características, potencialmente perdendo indicadores valiosos de anomalia.

2. Metodologia: AllLinLog

Os autores propõem o AllLinLog (All Contextual Information with Linear Self-Attention Encoder), um framework simplificado projetado para realizar a detecção de anomalias diretamente em logs de sistema brutos sem parsing. O modelo consiste em três componentes principais:

A. Processamento de Dados

• Construção de Sessão: Os logs brutos são agrupados em sessões usando tanto o Agrupamento por ID de Sessão (para datasets com identificadores únicos como HDFS) quanto o Agrupamento por Janela Deslizante (para datasets sem IDs claros como BGL e Thunderbird).
• Tokenização: Em vez de usar um parser de log, o modelo emprega o tokenizador BPE (Byte Pair Encoding) do GPT-4. Este tokenizador de subpalavras em nível de byte converte mensagens de log brutas em IDs de tokens, lidando efetivamente com problemas de Fora do Vocabulário (OOV - Out-of-Vocabulary) ao quebrar palavras desconhecidas em unidades de subpalavras (ex: "crond" $\rightarrow$ "cr", "ond").
• Embeddings de Posição: Para capturar dependências temporais, embeddings de posição absoluta baseados em contagem são adicionados aos vetores de tokens.
• Tratamento de Desbalanceamento de Classes: Reconhecendo o severo desbalanceamento entre sessões regulares e anômalas em datasets de logs, o modelo aplica Oversampling Aleatório (ROS) aos dados brutos antes do embedding. A proporção de anomalias alvo é definida em 40% durante o treinamento para garantir uma classificação imparcial.

B. Encoder de Autoatenção Linear (LSA)

Para abordar a ineficiência do processamento de sequências longas, o AllLinLog substitui o mecanismo de autoatenção quadrática padrão por um encoder de Autoatenção Linear.

• Aproximação de Baixo Rank: O método aproveita a natureza de baixo rank da matriz de atenção. Em vez de computar a atenção sobre todo o espaço $n \times n$, ele introduz duas matrizes de projeção aprendíveis ($E$ e $F$) para comprimir as sequências de Chave ($K$) e Valor ($V$) em uma dimensão inferior $k$ (onde $k \ll n$).
• Redução de Complexidade: Isso transforma a complexidade computacional de $O(n^2)$ para $O(nk)$, linearizando efetivamente os requisitos de tempo e espaço em relação ao comprimento da sequência.
• Eficiência de Parâmetros: O modelo utiliza compartilhamento de parâmetros por camada, usando uma única matriz de projeção $E$ em todas as camadas e cabeças para reduzir ainda mais a pegada de memória.

C. Camada de Classificação

Os outputs do encoder são agregados usando average pooling (agrupamento médio) através do comprimento da sequência para gerar uma representação ao nível da sessão. Este vetor é passado por uma camada linear para produzir logits para classificação binária (regular vs. anômala). O modelo utiliza uma função de perda de entropia cruzada ponderada para penalizar adicionalmente as classificações incorretas da classe minoritária (anômala).

3. Principais Contribuições

• Arquitetura Livre de Parser: O AllLinLog elimina a necessidade de parsers de log, evitando assim erros semânticos e preservando toda a informação contextual (incluindo parâmetros dinâmicos) inerente aos logs brutos.
• Complexidade Linear para Sequências Longas: Ao integrar um encoder de autoatenção linear, o modelo permite o processamento de sessões de log de comprimento total (milhares de tokens) sem truncamento, superando as limitações de escalabilidade dos Transformers padrão.
• Robustez a OOV: O uso da tokenização BPE do GPT-4 garante que termos técnicos e parâmetros desconhecidos sejam tratados de forma eficaz sem a necessidade de um vocabulário predefinido ou regras de parsing.
• Eficiência: A arquitetção reduz significativamente tanto o tempo de inferência quanto o consumo de memória em comparação com encoders Transformer padrão, tornando-a adequada para ambientes com recursos limitados.

4. Resultados Experimentais

O modelo foi avaliado nos datasets públicos BGL (Blue Gene/L) e HDFS (Hadoop Distributed File System), com comparações feitas contra baselines de estado da arte incluindo DeepLog, LogCluster, LogAnomaly e FSMFLog.

• Precisão de Detecção: O AllLinLog alcançou o desempenho mais alto em todas as métricas. No dataset HDFS, atingiu uma Precisão de 0,997, Recall de 0,995 e F1-score de 0,996. No dataset BGL, alcançou pontuações quase perfeitas com Precisão, Recall e F1-score de 0,999. Estes resultados superaram o melhor baseline (FSMFLog), que obteve F1-scores de 0,966 (HDFS) e 0,961 (BGL).
• Estudos de Ablação:
  • Fator de Baixo Rank ($k$): Um valor ideal de $k=32$ foi identificado, gerando um F1-score de 0,99888.
  • Profundidade do Encoder: Uma única camada de encoder foi considerada ideal, equilibrando desempenho e complexidade.
  • LSA vs. Transformer Padrão: Substituir o encoder LSA por um Transformer padrão resultou em um aumento marginal no F1-score (de 0,99888 para 0,99967), mas com um custo significativo de eficiência.
• Benchmarks de Eficiência:
  • Memória: Ao aumentar o tamanho do lote (batch size) de 1 para 16, o uso de memória do encoder LSA cresceu apenas 202,61 MB, enquanto o uso do Transformer padrão saltou 2.931,48 MB.
  • Tempo de Inferência: O encoder LSA demonstrou escalabilidade superior. Aumentar o tamanho do lote de 1 para 16 aumentou o tempo de inferência em 4,9x para o LSA, comparado a 10,8x para o Transformer padrão.
  • Throughput (Vazão): Com um tamanho de lote de 16, o encoder LSA alcançou 4.032,52 amostras/seg, aproximadamente 12,9 vezes a vazão do Transformer padrão (312,02 amostras/seg).

5. Significância e Limitações

O artigo postula que o AllLinLog oferece uma vantagem prática para a detecção de anomalias baseada em logs ao combinar alta precisão com eficiência computacional. Ao remover a dependência de parsers de log imperfeitos e utilizar autoatenção linear, o modelo preserva o contexto semântico completo enquanto permanece escalável para sequências longas.

Os autores reconhecem uma limitação em relação ao tokenizador BPE: embora resolva problemas de OOV, ele pode tokenizar parâmetros técnicos específicos (ex: endereços IP) em subpalavras, potencialmente distorcendo sua informação contextual e aumentando o comprimento da sequência. Os autores sugerem que trabalhos futuros devem focar no desenvolvimento de metodologias de tokenização em nível de byte capazes de segmentar mensagens de log sem quebrar tais parâmetros em subpalavras, preservando assim a integridade das características.