Resumo Técnico: LogSemFuse

Declaração do Problema

A detecção de anomalias em logs é essencial para o monitoramento de sistemas de software modernos, porém os detectores baseados em modelos existentes enfrentam duas limitações primárias. Primeiro, embora alcancem um forte desempenho de detecção, eles tipicamente fornecem apenas pontuações de anomalia ou rótulos binários sem fornecer a semântica operacional por trás da decisão. Essa falta de evidência força os operadores a inspecionar manualmente os logs para entender por que uma sessão foi sinalizada, dificultando o diagnóstico eficiente e a resposta a incidentes. Segundo, embora os Grandes Modelos de Linguagem (LLMs) possam recuperar semânticas ricas de logs, utilizá-los como detectores autônomos costuma ser dispendioso, propenso à variabilidade de inferência e pode não fundamentar as explicações na evidência específica subjacente a uma decisão. Além disso, solicitar prompts diretamente aos LLMs para cada sessão é computacionalmente caro e difícil de escalar.

O desafio central abordado é como aprimorar os detectores de base (backbone) existentes, de alto desempenho, com evidências semânticas interpretáveis sem substituir seus pipelines de treinamento ou incorrer em custos de execução proibitivos.

Metodologia: Framework LogSemFuse

O LogSemFuse é proposto como um framework de aumento semântico plug-in. Ele não substitui o detector de base nem altera seu objetivo de treinamento. Em vez disso, opera na etapa de inferência para fundir a predição do detector de base com evidências semânticas estruturadas derivadas de três módulos distintos. O framework mantém um Banco de Conhecimento ($K$) construído durante o treinamento, que armazena artefatos reutilizáveis para minimizar o uso de LLM durante a inferência.

1. Construção de Evidências em Tempo de Treinamento

Antes da inferência, o LogSemFuse processa os dados de treinamento para construir dois tipos de evidências reutilizáveis:

• Banco de Padrões de Eventos Locais ($K_{ngram}$): O sistema minera unigramas, bigramas e trigramas discriminativos de sequências de EventId em sessões anômalas rotuladas. Os padrões são classificados por "lift" (suporte anômalo relativo ao suporte normal) e validados para garantir que não sejam disparados excessivamente em sessões normais. Esses padrões fornecem evidência determinística e interpretável de comportamentos anômalos curtos e contíguos (ex: sequências repetitivas de tentativas de reprocessamento ou exceções).
• Banco de Regras Derivadas de Clusters ($K_{rule}$): Sessões anômalas de treinamento são agrupadas usando HDBSCAN com base em suas distribuições de eventos. Para cada cluster, um LLM é instigado a resumir o comportamento operacional compartilhado e induzir regras estruturadas e executáveis. Essas regras utilizam primitivas como contains_ngram, ordered_subset, min_count e absent_within. As regras resultantes capturam padrões operacionais mais amplos e não contíguos e são armazenadas para correspondência determinística no tempo de inferência.

2. Aumento Semântico em Tempo de Inferência

Para uma sessão de log $x$ recebida, o LogSemFuse agrega quatro sinais binários para produzir uma decisão final e uma explicação:

1. Sinal do Backbone ($s_b$): A pontuação de anomalia ou rótulo original do detector de base (ex: DeepLog, LogBERT).
2. Sinal de Padrão Local ($s_n$): Determinado pela correspondência da sequência de EventId da sessão contra $K_{ngram}$.
3. Sinal de Regra ($s_r$): Determinado pela execução das regras em $K_{rule}$ contra a sessão.
4. Sinal de Raciocínio Semântico de LLM ($s_\ell$): Um LLM analisa a sessão para fornecer uma predição de alto risco, pontuação de confiança e uma justificativa (comportamento esperado vs. observado). Para controlar custos, o LLM é invocado apenas para novas sessões; os resultados são armazenados em cache pelo identificador da sessão para reutilização.

Fusão e Explicação:
Um operador de fusão (selecionado de políticas OR, AND ou vote-$k$ com base nos dados de validação) combina esses quatro sinais para determinar o rótulo final de anomalia. O sistema então gera uma explicação baseada em evidências rastreando os sinais contribuintes: padrões locais correspondidos, regras derivadas de clusters disparadas (com suas explicações de nível de cluster) e a justificativa do LLM.

Principais Contribuições

O artigo apresenta as seguintes contribuições específicas:

• Framework Plug-in: Um método para aprimorar os detectores de log existentes com evidências semânticas executáveis sem modificar seus pipelines originais de treinamento ou inferência.
• Design de Banco de Conhecimento: Um mecanismo para armazenar padrões de eventos locais reutilizáveis e regras derivadas de clusters, juntamente com o raciocínio de sessão em cache de LLM, permitindo a reutilização eficiente e de baixo custo.
• Explicação Baseada em Evidências: Uma abordagem que explica decisões de anomalia usando padrões disparados, regras acionadas e justificativas de LLM, em vez de atribuições de características post-hoc.
• Validação Empírica: Avaliação abrangente em três conjuntos de dados (HDFS, BGL, Liberty) e quatro detectores de base, demonstrando melhoria no desempenho de detecção e na qualidade da explicação com um overhead modesto.

Resultados de Avaliação

O framework foi avaliado nos conjuntos de dados HDFS, BGL e Liberty usando DeepLog, LogAnomaly, LogBERT e NeuralLog como bases.

• Desempenho de Detecção: O LogSemFuse melhorou o F1-score para todos os baselines não perfeitos. Ele recuperou 98,8% dos falsos negativos do backbone nos conjuntos de teste. Notavelmente, preservou o desempenho perfeito em casos onde o backbone já era otimal (ex: LogAnomaly no Liberty).
• Eficiência: O framework adiciona um overhead de tempo de inferência modesto e estável (variando de ~2,3 a 5,8 segundos dependendo do conjunto de dados) ao depender de correspondência de padrões locais e execução de regras em vez de chamadas repetidas de LLM. O uso de tokens de LLM é amortizado através da reutilização de resultados em cache e do banco de conhecimento.
• Avaliação Humana: Um estudo com usuários envolvendo 14 participantes (incluindo desenvolvedores e pesquisadores) mostrou que as explicações do LogSemFuse foram classificadas significativamente acima das explicações diretas de LLM em todas as métricas (Coerência Lógica, Solidez Técnica, Clareza, etc.). O LogSemFuse alcançou uma pontuação de qualidade geral média de 4,13 comparado a 3,06 para o baseline de LLM.
• Estudos de Ablação: A remoção dos padrões de eventos locais causou a degradação de desempenho mais significativa, indicando seu papel crítico na detecção de indicadores de anomalia específicos. O banco de regras derivadas de cluster forneceu evidências reutilizáveis para explicações, enquanto o raciocínio de LLM ofereceu ganhos direcionados em configurações difíceis.

Significância e Alegações

O artigo afirma que o LogSemFuse demonstra que o aumento semântico é uma estratégia prática para fortalecer os detectores de log existentes. Ao tratar LLMs e indução de regras como fontes de evidência reutilizável, em vez de detectores autônomos, o framework alcança:

1. Melhor Eficácia: Recuperando anomalias perdidas que modelos baseados em sequência negligenciam devido a sinais esparsos ou diluídos.
2. Interpretabilidade: Fornecendo aos operadores explicações concretas e baseadas em evidências (padrões, regras e justificativas), em vez de pontuações opacas.
3. Escalabilidade: Mantendo custos de tempo de execução baixos e estáveis ao cachear artefatos semânticos e evitar a inferência de LLM por sessão para cada requisição.

Os autores posicionam o LogSemFuse não como um substituto para os detectores tradicionais ou um novo paradigma centrado em LLM, mas como um método unificado para preencher a lacuna entre detecção de alto desempenho e compreensão semântica acionável na engenharia de confiabilidade de software.