Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Resumo Técnico: Krone-viz – Análise Interativa de Anomalias em Logs Hierárquicos com Augmentation por LLM

Declaração do Problema
Infraestruturas modernas intensivas em dados dependem fortemente de logs para monitoramento de sistemas e diagnóstico de anomalias. No entanto, os métodos existentes de detecção de anomalias em logs enfrentam limitações significativas. A maioria das abordagens tradicionais opera sobre sequências planas de logs, produzindo uma única pontuação de anomalia para toda a sequência, sem capacidade de interpretar resultados ou localizar segmentos anômalos específicos. Embora abordagens recentes baseadas em Modelos de Linguagem de Grande Escala (LLM) melhorem a interpretabilidade por meio de explicações em linguagem natural, elas ainda operam sobre sequências planas. Além disso, esses métodos baseados em LLM sofrem com limitações de janela de contexto e custos computacionais proibitivamente altos quando aplicados a conjuntos de dados massivos de logs. Há uma falta de sistemas que possam decompor efetivamente os logs em unidades semânticas para permitir localização e explicação precisas, ao mesmo tempo em que gerenciam os custos dos LLMs.

Metodologia: O Framework Krone
O artigo apresenta o Krone, um framework projetado para transformar sequências planas de logs em unidades hierárquicas semanticamente coerentes. O Krone-viz é o sistema de visualização interativa construído sobre este framework para tornar essas capacidades acionáveis para engenheiros. A metodologia repousa sobre três inovações centrais:

1. Modelo de Abstração de Logs Krone (Krone-Tree):
   O Krone introduz uma abstração hierárquica que reconstrói a semântica de execução diretamente a partir dos logs. Ele define uma hierarquia semântica de três níveis:

   • Entidades: Correspondem aos componentes do sistema.
   • Ações: Capturam as operações realizadas.
   • Status: Refletem o resultado de cada ação.
     Utilizando Reconhecimento de Entidades Nomeadas (NER) baseado em LLM em templates de logs, o Krone constrói uma Krone-Tree. Esta árvore permite a decomposição de longas sequências planas de logs em Krone Seqs—segmentos contíguos e semanticamente coerentes representados como sequências de nós nos níveis de entidade, ação e status.

2. Detecção de Anomalias Hierárquica e Modular:
   A detecção de anomalias é formulada como tarefas modulares sobre as Krone Seqs decompostas. O sistema emprega uma estratégia de orquestração de baixo para cima:

   • Filtragem Leve: Um detector de correspondência de padrões (PM) avalia primeiro as Krone Seqs para filtrar eficientemente padrões normais conhecidos.
   • Invocação Seletiva de LLM: Apenas Krone Seqs incertas ou desconhecidas acionam o raciocínio baseado em LLM.
   • Parada Antecipada: O sistema examina primeiro segmentos de nível inferior (Status). Se uma anomalia for detectada em um nível inferior, o processo interrompe imediatamente para evitar computação desnecessária em composições de nível superior, pois as anomalias se propagam para cima.
   • Verificação Contextual: A hierarquia fornece um escopo semântico bem definido, permitindo que o LLM fundamente seu raciocínio em padrões de comportamento normal (por exemplo, transições típicas de ação dentro de uma entidade) usando exemplos no contexto.

3. Base de Conhecimento para Detecção Amortizada:
   Reconhecendo que as Krone Seqs são unidades atômicas de execução que frequentemente se repetem em diferentes sequências de logs, o Krone mantém uma Base de Conhecimento hierárquica.

   • Reutilização: Uma vez que uma Krone Seq é avaliada (seja por PM ou LLM), o resultado e a explicação são armazenados.
   • Redução de Custos: Durante a detecção, o sistema consulta primeiro esta base de conhecimento, invocando o LLM apenas se não houver uma entrada correspondente. Isso reduz significativamente chamadas redundantes ao LLM.
   • Refinamento Contínuo: A base de conhecimento suporta correções com intervenção humana, permitindo que os usuários revisem o conhecimento armazenado para melhorar a qualidade futura de detecção e explicação.

Demonstração do Krone-viz
O artigo apresenta o Krone-viz, uma plataforma interativa demonstrada no amplamente utilizado conjunto de dados de referência HDFS. O sistema visualiza as quatro etapas do fluxo de trabalho do Krone:

1. Extração de Hierarquia: Os usuários carregam templates de logs, e o sistema constrói a Krone-Tree, visualizando as relações semânticas entre entidades, ações e status.
2. Processamento de Dados de Treinamento: Os usuários observam como sequências normais de logs são decompostas em Krone Seqs hierárquicas e armazenadas como unidades de execução verdadeiras.
3. Detecção de Anomalias: Os usuários acionam a detecção em sequências de teste. A interface visualiza o processo modular de baixo para cima, destacando segmentos sinalizados pelo correspondente de padrões e fornecendo explicações geradas por LLM para anomalias confirmadas.
4. Gestão de Conhecimento: Os usuários podem explorar a base de conhecimento acumulada, visualizar estatísticas para nós específicos, inspecionar resultados detalhados de detecção e substituir ou revisar o conhecimento armazenado para orientar análises futuras.

Principais Resultados
O artigo relata melhorias abrangentes do framework Krone sobre métodos anteriores baseados em benchmarks públicos do mundo real:

• Precisão: O escore F1 melhorou de 82,76% (métodos anteriores) para 92,83%.
• Eficiência de Dados: A abordagem reduziu o espaço de dados necessário por um fator de 117,3×.
• Eficiência de Recursos de LLM: O sistema reduziu o uso de LLM para 1,1%–3,3% do tamanho dos dados de teste, aproveitando a base de conhecimento e a invocação seletiva.

Significado
O artigo afirma que o Krone-viz aborda a lacuna crítica na análise de logs, tornando a decomposição hierárquica, a localização de anomalias e a explicação interpretáveis e acionáveis para engenheiros de software e operadores de sistemas. Ao integrar o uso eficiente de LLMs com um framework modular e hierárquico, o Krone permite:

• Localização Precisa: Identificar segmentos anômalos específicos dentro de contextos de execução, em vez de rotular sequências inteiras.
• Escalabilidade Custo-Eficiente: Reduzir drasticamente os custos computacionais e os requisitos de dados em comparação com abordagens de LLM de sequências planas.
• Análise com Intervenção Humana: Capacitar os usuários a revisar, corrigir e refinar insights gerados por IA, mitigando assim riscos de alucinação e construindo uma base de conhecimento reutilizável para melhoria contínua do sistema.

O trabalho é apresentado como uma demonstração de como alcançar análise de logs escalável e interpretável por meio de integração eficiente e consciente de custos com LLMs.