VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

Título: VarParser: Desbloqueando o Poder Negligenciado de Variáveis para Análise de Logs Baseada em LLMs

1. Problema Identificado

A análise de logs é fundamental para a detecção de anomalias e diagnóstico de falhas em sistemas de serviço online em larga escala. O parseamento de logs (conversão de logs não estruturados em eventos estruturados) é o primeiro passo crítico para essas tarefas.

Com o avanço dos Modelos de Linguagem Grandes (LLMs), surgiram métodos baseados em LLMs que superam as abordagens tradicionais (baseadas em sintaxe e semântica) em precisão. No entanto, o artigo identifica que os parsers baseados em LLMs existentes adotam uma estratégia centrada em constantes (focando apenas na parte fixa da mensagem do log), ignorando o potencial das variáveis (partes dinâmicas como IPs, IDs, timestamps). Essa abordagem gera quatro problemas principais:

1. Ineficiência no Agrupamento e Amostragem: Agrupar logs apenas por constantes resulta em um número excessivo de grupos, limitando a eficiência da amostragem.
2. Baixa Eficiência de Cache: O cache baseado apenas em constantes falha em capturar posições variáveis dinâmicas, levando a altas taxas de falha de correspondência e, consequentemente, a um número elevado de chamadas ao LLM.
3. Custos Elevados de Invocação: O uso excessivo de tokens de constantes nos prompts (instruções para o LLM) aumenta significativamente o custo e o tempo de processamento.
4. Perda de Visibilidade do Sistema: Os métodos atuais substituem variáveis por placeholders genéricos (ex: <*>), descartando informações críticas (como estados do sistema ou valores específicos) que são essenciais para a integridade do resultado e para a visibilidade do sistema.

2. Metodologia: VarParser

O VarParser é proposto como o primeiro parser de logs baseado em LLM com estratégia centrada em variáveis. O sistema opera através de três módulos principais:

A. Amostragem de Contribuição de Variáveis (Variable Contribution Sampling)

Em vez de agrupar logs por similaridade de texto completo (constantes), o VarParser foca nas variáveis:

• Agrupamento: Identifica e agrupa logs históricos com base em tokens incomuns (variáveis), ignorando o texto constante repetitivo.
• Cálculo de Contribuição: Clusteriza tokens incomuns para formar "clusters de variáveis aproximadas". A contribuição de cada cluster é calculada com base na frequência de sua ocorrência em diferentes posições de logs.
• Amostragem Diversificada Gananciosa: Seleciona logs que maximizam a cobertura de clusters de variáveis únicos, garantindo que a amostra seja diversa e informativa com o menor número de logs possível.

B. Cache de Parseamento Centrado em Variáveis (Variable-Centric Parsing Cache)

O cache armazena não apenas os templates (constantes), mas também unidades de variáveis com seus rótulos e instâncias.

• Tabela de Correspondência Fuzzy (Variable-fuzzed Matching): Cria uma tabela onde o conteúdo dinâmico comum (números, IPs) é mascarado. Isso permite correspondências rápidas antes de consultar o LLM.
• Correspondência com Máscara (Mask Matching): Se uma correspondência fuzzy falhar, o sistema tenta corresponder o log ao cache mascarando as posições das variáveis conhecidas. Isso evita chamadas desnecessárias ao LLM para logs que pertencem a um template já conhecido, mas com variáveis ligeiramente diferentes.
• Correção de Cache: Valida os rótulos atribuídos às variáveis pelo LLM para corrigir "alucinações" (ex: quando o LLM rotula uma constante como variável erroneamente), convertendo-as de volta para constantes se necessário.

C. Aprendizado em Contexto Adaptativo Consciente de Variáveis (Adaptive Variable-aware ICL)

Quando o cache falha e o LLM precisa ser invocado:

• Seleção de Exemplos em Nível de Token: Em vez de fornecer exemplos completos de logs (cheios de texto constante), o sistema seleciona dinamicamente apenas as variáveis incomuns e seus rótulos correspondentes do cache.
• Prompt Otimizado: O prompt enviado ao LLM contém instruções claras e exemplos focados na estrutura das variáveis, reduzindo drasticamente o consumo de tokens e melhorando a precisão da extração.

3. Principais Contribuições

1. Nova Estratégia: Introdução da estratégia "centrada em variáveis", sendo o primeiro parser LLM a explorar sistematicamente o poder das informações variáveis para melhorar o parseamento.
2. Integridade do Resultado: Ao armazenar unidades de variáveis, o VarParser preserva não apenas o template, mas também os rótulos, instâncias específicas, contagens e frequências das variáveis, aumentando a visibilidade do sistema para engenheiros.
3. Eficiência e Custo: Redução significativa no número de chamadas ao LLM e no consumo de tokens, mantendo ou superando a precisão dos métodos atuais.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados de referência Loghub-2.0 (14 conjuntos de dados, ~3,69 milhões de logs) comparando o VarParser com 8 baselines de ponta (baseados em sintaxe, semântica e LLM).

• Precisão: O VarParser alcançou a maior precisão média em todas as métricas (GA, PA, FGA, FTA).
  • Superou os baselines em 3.9% em Precisão de Agrupamento (GA), 8.5% em Precisão de Parseamento (PA) e 5.8% em F1-score de Precisão de Template (FTA) em média.
  • Destacou-se na métrica mais rigorosa (FTA), demonstrando capacidade superior de separar templates de variáveis.
• Eficiência:
  • Amostragem: 2.3x mais rápido que o método LILAC.
  • Parseamento: Redução de 51.2% no tempo de parseamento comparado ao LILAC e 14.8% comparado ao LogBatcher, atingindo níveis de eficiência próximos a parsers baseados em sintaxe (como o Drain).
• Custo de Invocação do LLM:
  • Redução de 56.1% no consumo total de tokens por conjunto de dados comparado ao LILAC.
  • Redução de 13.0% no consumo total comparado ao LogBatcher (que é mais eficiente em tokens, mas não processa fluxos em tempo real da mesma forma).
• Robustez: O desempenho manteve-se estável e superior ao usar diferentes LLMs (GPT-3.5-turbo, Llama3-70b, Qwen-plus).

5. Significância e Impacto

O VarParser representa um avanço significativo na análise de logs automatizada ao corrigir a visão limitada dos métodos anteriores que tratavam variáveis apenas como "ruído" a ser removido.

• Viabilidade Econômica: Ao reduzir drasticamente o custo de tokens e chamadas de API, torna o uso de LLMs viável para ambientes industriais com volumes massivos de logs.
• Visibilidade Operacional: Ao reter informações de variáveis (como IDs de nós, caminhos de arquivos e mensagens de erro específicas), o sistema fornece aos engenheiros dados ricos para diagnóstico, em vez de apenas templates genéricos.
• Escalabilidade: A abordagem permite o processamento eficiente de fluxos contínuos de logs em tempo real, superando as limitações de métodos que exigem processamento em lote ou que sofrem com a instabilidade de saída dos LLMs.

Em resumo, o VarParser demonstra que explorar ativamente a estrutura variável dos logs, em vez de apenas as constantes, é a chave para desbloquear a verdadeira eficácia, eficiência e utilidade dos LLMs na engenharia de software e operações de TI.