SCOPE: Tree-based Self-Correcting Online Log Parsing via Syntactic-Semantic Collaboration

Resumo Técnico: SCOPE

1. O Problema

A análise automatizada de logs é fundamental para a detecção de anomalias, análise de causa raiz e diagnóstico de sistemas complexos. No entanto, o volume e a diversidade dos dados de logs tornam a análise manual inviável, exigindo parsers de logs (analisadores) automatizados.
Os métodos existentes enfrentam um dilema entre eficiência e precisão:

• Métodos Heurísticos Tradicionais: (Ex: Drain, Brain) São altamente eficientes e rápidos, mas dependem de regras manuais e ignoram o contexto semântico, resultando em baixa precisão em logs complexos ou novos formatos.
• Métodos Baseados em LLM (Large Language Models): Oferecem alta precisão devido à compreensão semântica profunda, mas sofrem com alta latência e custos financeiros elevados devido à necessidade de chamadas frequentes à API do modelo.
• Falta de Integração: Não existe, até o momento, uma abordagem unificada que combine a eficiência dos métodos heurísticos com a precisão semântica dos LLMs de forma adaptativa e online.

2. Metodologia: O Framework SCOPE

O SCOPE (Self-Correcting Online log Parsing with syntactic-Emantic collaboration) é um framework unificado que integra técnicas heurísticas tradicionais com análise semântica de LLMs. Ele opera em quatro componentes principais:

A. Pré-processamento

• Realiza a divisão de tokens (tokenização), tratando pontuações como tokens individuais para enriquecer o contexto sintático.
• Filtra variáveis comuns (como IPs, timestamps, IDs) usando expressões regulares genéricas, substituindo-as por placeholders (ex: <*>).

B. BDPT (Bi-Directional Parse Tree) - Árvore de Análise Bidirecional

• Conceito: Diferente das árvores unidirecionais (que assumem que as constantes estão apenas no início), o BDPT realiza a correspondência de modelos (templates) em duas direções: da esquerda para a direita e da direita para a esquerda.
• Estrutura Dinâmica: A árvore possui profundidade dinâmica baseada no comprimento do log. Se um log não corresponder na direção frontal, o sistema tenta na reversa.
• Auto-correção: Se uma correspondência falha ou é identificada como incorreta posteriormente, o sistema pode atualizar a árvore, marcando ramos antigos como obsoletos e criando novos ramos com nós de curinga (<*>), evitando a fusão indesejada de estruturas.

C. PTMP (Priority-based Template Match Pool) - Pool de Correspondência com Prioridade

• Atua como um mecanismo de "fallback" global quando a BDPT falha (comum quando variáveis aparecem em ambas as metades do log).
• Estratégia de Prioridade: Ordena os templates existentes com base na estabilidade e incerteza. Templates nunca atualizados ou com poucas correspondências têm prioridade alta para verificação, enquanto templates estáveis são verificados depois. Isso otimiza a busca global.

D. NLPE (NLP-based Template Extractor) - Extrator Baseado em NLP
Este é o coração da colaboração sintático-semântica, operando em duas etapas para minimizar o uso de LLMs:

1. Etapa 1 (Sintática - Leve): Utiliza um modelo NLP leve (ex: spaCy) para realizar Part-of-Speech (POS) tagging. Se os tokens diferentes em duas mensagens forem classificados como constantes fixas (ex: verbos, preposições, substantivos específicos) com base na sintaxe, o sistema decide que são templates diferentes sem chamar o LLM.
2. Etapa 2 (Semântica - LLM): O LLM é invocado apenas quando a análise sintática é ambígua (ex: tokens diferentes com a mesma classe gramatical, mas significados contextuais distintos).
   • Prompt Engineering: Utiliza Chain-of-Thought (CoT) para guiar o LLM a extrair templates separadamente antes de compará-los, reduzindo viés e melhorando a precisão na distinção entre constantes e variáveis.

3. Principais Contribuições

1. Primeiro Framework Unificado: Integra técnicas heurísticas eficientes com a precisão de LLMs em um pipeline online e não supervisionado.
2. Árvore de Análise Bidirecional (BDPT): Introduz uma estrutura de árvore dinâmica que busca padrões em ambas as direções, capturando templates que métodos unidirecionais perdem, além de um mecanismo de auto-correção de ramos.
3. Colaboração Sintático-Semântica em Duas Etapas: Reduz drasticamente o custo e a latência ao usar NLP leve para a maioria dos casos e reservar o LLM apenas para os casos complexos e ambíguos.
4. Avaliação Abrangente: Testado em 14 conjuntos de dados de grande escala (Loghub-2.0), superando o estado da arte em precisão e eficiência.

4. Resultados Experimentais

O SCOPE foi avaliado em 14 datasets do Loghub-2.0, comparado com parsers tradicionais (Drain, Brain) e baseados em LLM (LILAC, LogBatcher, LUNAR).

• Precisão (Eficácia):
  • Superou os parsers heurísticos (Drain/Brain) em média em 16,1% (GA) e 49,5% (PA).
  • Superou os melhores parsers baseados em LLM em 3,8% a 13,5% em métricas de precisão e agrupamento.
  • Alcançou uma precisão média de 90,4% (PA) e 96,8% (GA).
• Eficiência e Custo:
  • Velocidade: É mais rápido que o Drain (o parser heurístico mais rápido), completando a análise em 483 segundos (vs 497,6s do Drain) para 3,6 milhões de logs.
  • Uso de LLM: Reduziu o número de chamadas à API de LLM em aproximadamente 6 vezes (apenas ~15% das chamadas necessárias pelos métodos concorrentes) ao usar o filtro sintático.
  • Custo: Embora o uso de tokens seja ligeiramente maior que alguns métodos devido ao CoT, o custo financeiro total é competitivo, especialmente considerando a eliminação da necessidade de anotação manual de dados para treinamento.

5. Significado e Impacto

O SCOPE representa um avanço significativo na análise de logs ao resolver o trade-off clássico entre velocidade e precisão.

• Viabilidade Prática: Ao reduzir drasticamente a dependência de chamadas de LLM, torna a análise semântica de logs viável para ambientes de produção em tempo real, onde latência e custo são críticos.
• Adaptabilidade: A capacidade de auto-correção e a estrutura bidirecional permitem que o sistema se adapte a novos formatos de log sem necessidade de re-treinamento ou ajuste manual de hiperparâmetros.
• Reprodutibilidade: O código e os dados foram liberados publicamente, facilitando pesquisas futuras e adoção industrial.

Em resumo, o SCOPE demonstra que a combinação inteligente de regras sintáticas leves com a inteligência semântica sob demanda dos LLMs é a chave para a próxima geração de ferramentas de observabilidade de sistemas.