Resumo Técnico: K4 – Detecção de Anomalias em Logs Online via Aprendizado de Tipicidade Não Supervisionado

1. Declaração do Problema

A detecção de anomalias em logs (LogAD) é crítica para manter a confiabilidade de sistemas de computação e infraestrutura cibernética em grande escala. No entanto, as abordagens existentes enfrentam quatro limitações significativas que impedem sua implantação prática em ambientes online do mundo real:

1. Dependência de Supervisão: Métodos de alto desempenho frequentemente dependem de aprendizado supervisionado ou semi-supervisionado, exigindo dados de anomalias rotulados, que são escassos ou indisponíveis em produção.
2. Dependência de Analisadores (Parsers): A maioria dos pipelines depende de analisadores de logs (por exemplo, Drain, Spell) para converter logs brutos em modelos estruturados. Esses analisadores são lentos, propensos a erros e sensíveis a desvios de formato, introduzindo ruído estrutural que degrada a qualidade da detecção.
3. Acoplamento Rígido: Sistemas baseados em aprendizado profundo frequentemente acoplam estreitamente modelos de representação (por exemplo, LSTMs, Transformers) com detectores específicos por meio de treinamento conjunto. Isso limita a modularidade, aumenta a sobrecarga computacional e impede a reutilização de embeddings pré-treinados.
4. Avaliação Defeituosa: Estudos anteriores frequentemente utilizam protocolos de avaliação de passagem única em grandes conjuntos de dados estáticos. Essa abordagem frequentemente leva à superestimação do desempenho (ao usar dados de treinamento excessivos) e falha em capturar as dinâmicas temporais e a variabilidade da ingestão de logs online.

2. Metodologia: O Framework K4

K4 (Conhecendo o Desconhecido Conhecendo Apenas o Conhecido) é um framework totalmente não supervisionado, independente de analisadores e agnóstico à representação, projetado para detecção online de alto desempenho. Sua inovação central reside na transformação de embeddings de logs arbitrários em descritores geométricos compactos e interpretáveis.

A. Estimativa de Tipicidade no Nível de Representação

Em vez de operar diretamente em embeddings de logs de alta dimensão, o K4 calcula um descritor estatístico de quatro dimensões chamado PRDC (Precisão, Recall, Densidade, Cobertura) para cada amostra com base em sua relação com um conjunto de referência de logs normais. Isso adapta as métricas PRDC — originalmente usadas para avaliar modelos generativos — à tarefa de detecção de anomalias no nível da instância.

Para um embedding de consulta $x^{(g)}_j$ e um conjunto de referência de embeddings normais $E_{ref}$, o vetor PRDC é calculado usando estatísticas de $k$-vizinhos mais próximos (kNN):

• Precisão ($P_j$): Indica se a consulta está dentro da bola de $k$-NN de qualquer ponto de referência (medindo se a consulta cai em regiões de alta densidade da distribuição normal).
• Recall ($R_j$): Mede a fração de pontos de referência contidos dentro da bola de $k$-NN da consulta (medindo o quão bem a consulta cobre o suporte normal).
• Densidade ($D_j$): A contagem normalizada de pontos de referência cuja vizinhança de $k$-NN contém a consulta (servindo como um proxy para a probabilidade local).
• Cobertura ($C_j$): Indica se o ponto de referência mais próximo da consulta está dentro do próprio raio de $k$-NN da consulta (medindo a cobertura do suporte).

Essas métricas são calculadas eficientemente por meio de cálculos de distância acelerados por GPU ($torch.cdist$) e buscas $k$-NN, transformando embeddings de alta dimensão em um vetor compacto 4D $r_j \in \mathbb{R}^4$.

B. Aprendizado de Tipicidade Não Supervisionado

O K4 desacopla a geração de embeddings da detecção de anomalias:

1. Treinamento: O conjunto de embeddings de logs normais é dividido em um conjunto de referência e um conjunto de consulta. O conjunto de consulta é convertido em vetores PRDC usando o conjunto de referência. Esses vetores PRDC servem como entrada de treinamento para um detector de anomalias leve.
2. Inferência: Os embeddings de teste são convertidos em vetores PRDC usando o mesmo conjunto de referência. O detector atribui uma pontuação de anomalia com base no desvio desses vetores PRDC da distribuição "normal" aprendida.
3. Detectores: O framework suporta quatro detectores não supervisionados: Modelos de Mistura Gaussiana (GMM), Estimativa de Densidade de Kernel (KDE), Máquina de Vetores de Suporte de Uma Classe (OCSVM) e uma adaptação da Descrição de Dados de Vetor de Suporte Profunda (DeepSVDD). A adaptação do DeepSVDD utiliza uma atualização de quantil não paramétrica para o raio da hipersfera para estabilizar o treinamento em características PRDC de baixa dimensão.

C. Protocolo de Avaliação Realista

Para abordar as falhas na avaliação anterior, o K4 introduz um protocolo de avaliação baseado em blocos:

• Conjuntos de dados são particionados em blocos disjuntos de tamanho fixo (por exemplo, 1 milhão de logs).
• Dentro de cada bloco, uma janela deslizante com passos configuráveis amostra logs para simular a chegada online.
• Isso garante cobertura abrangente do conjunto de dados, equilibra treinamento/teste através de densidades de anomalias variáveis e previne a violação de "início frio" ao usar conjuntos de dados históricos massivos para treinamento.

3. Principais Contribuições

1. Formulação Inovadora: O K4 é o primeiro a introduzir aprendizado de tipicidade no nível de representação em LogAD, mapeando embeddings arbitrários para descritores PRDC interpretáveis para pontuação não supervisionada.
2. Arquitetura Modular: O framework separa limpa a representação (suportando qualquer modelo de embedding, desde TF-IDF até LLMs como Qwen3) da detecção, permitindo adaptação rápida e integração eficiente de novos componentes.
3. Desempenho em Tempo Real: Ao operar em vetores compactos 4D, o K4 alcança latências de inferência tão baixas quanto 4 µs e tempos de treinamento de detector inferiores a 4 segundos, ordens de magnitude mais rápidos que as bases de comparação competitivas.
4. Benchmark Rigoroso: Os autores conduziram mais de 125.000 experimentos em três conjuntos de dados do mundo real (HDFS, BGL, Thunderbird), seis modelos de embedding e quatro detectores, estabelecendo um benchmark reproduzível para LogAD online.

4. Resultados Experimentais

Avaliado nos conjuntos de dados HDFS, BGL e Thunderbird, o K4 superou consistentemente seis bases de comparação representativas (incluindo DeepLog, LogAnomaly, LogRobust, FastLogAD, Ladle e LLM-AD) em paradigmas supervisionados, semi-supervisionados e não supervisionados.

• Precisão: O K4 alcançou resultados state-of-the-art com pontuações AUROC de 0,995–0,999 e pontuações F1 de 0,989–0,992. Em contraste, muitas bases de comparação performaram perto do acaso aleatório (AUROC $\approx$ 0,5) no conjunto de dados Thunderbird.
• Eficiência:
  • Treinamento: O treinamento do detector foi concluído em menos de 4 segundos (por exemplo, KDE em 0,05s, DeepSVDD em 1,44s).
  • Inferência: A latência de inferência por amostra foi tão baixa quanto 4,4 µs (DeepSVDD) a 8,7 µs (KDE).
  • Comparação: As bases de comparação exigiram horas para treinar (3–6 horas) e tiveram latências de inferência na faixa de milissegundos (por exemplo, 0,23ms a 182ms), tornando-as significativamente mais lentas.
• Robustez: O K4 manteve alto desempenho com tão poucos quanto 500 amostras de treinamento, demonstrando fortes capacidades de início frio. O uso de embeddings simples como TF-IDF combinados com OCSVM ou DeepSVDD produziu os melhores resultados, desafiando a noção de que LLMs complexos são estritamente necessários para alta precisão.

5. Significado e Alegações

O artigo afirma que o K4 estabelece um novo padrão para detecção de anomalias em logs prática, escalável e precisa. Seu significado reside em:

• Eliminar o Gargalo do Analisador: Ao operar diretamente em embeddings de logs brutos, o K4 evita os erros e a latência associados à análise de logs.
• Habilitar Verdadeiro Aprendizado Não Supervisionado: Alcança precisão no nível supervisionado sem exigir dados de anomalias rotulados, abordando uma lacuna crítica na implantação no mundo real.
• Viabilidade Operacional: A combinação de inferência sub-microsegundo e tempo de treinamento mínimo torna o K4 adequado para monitoramento contínuo e online em ambientes de alta vazão onde os métodos existentes são muito lentos ou intensivos em recursos.
• Rigor Metodológico: O protocolo de avaliação baseado em blocos proposto fornece um benchmark mais fiel e reproduzível para LogAD online, corrigindo os resultados excessivamente otimistas das avaliações anteriores de passagem única.

Os autores concluem que o K4 oferece uma solução de alto desempenho, modular e robusta que atende aos requisitos operacionais rigorosos dos sistemas de computação modernos, efetivamente fechando a lacuna entre a detecção teórica de anomalias e a implantação prática.