Resumo Técnico: Máquina de Estados Guiando a Geração de Dados Sintéticos Multirelacionais de Logs para Detecção de Anomalias

Formulação do Problema

Sistemas de software modernos geram volumes massivos de logs de execução não estruturados que registram comportamentos, falhas e interações entre componentes. Embora esses logs sejam centrais para a detecção de anomalias, os métodos existentes tratam-nos predominantemente como sequências planas de templates de eventos. Essa abordagem ignora a estrutura relacional de execução latente — o fluxo de controle, as transições de estado e as dependências entre parâmetros, recursos e componentes — que governa como as execuções evoluem.

As técnicas atuais de síntese e aumento de logs operam frequentemente ao nível de template ou sequência, falhando em respeitar a semântica de execução subjacente. Consequentemente, elas produzem frequentemente traços irreais ou estruturalmente inválidos que não se generalizam para modos de falha complexos. Além disso, embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa na compreensão de texto não estruturado, a aplicação deles de maneira única (single-pass) para a síntese de logs é insuficiente devido às limitações da janela de contexto, à falta de garantias estruturais e à suscetibilidade à alucinação ao gerar traços de execução complexos. O desafio central abordado é a descoberta conjunta da estrutura de execução latente a partir de logs brutos e o uso dessa estrutura para guiar a geração principiada de dados sintéticos multirelacionais.

Metodologia: LogSynthFSM

Os autores propõem o LogSynthFSM, um framework de LLM multi-agente coordenado projetado para descobrir estruturas de execução latentes e gerar dados sintéticos multirelacionais. O sistema decompõe a tarefa de síntese em agentes especializados operando em um pipeline de ciclo fechado:

1. Agente de Parsing de Execução: Converte logs brutos e não estruturados em representações de eventos estruturadas ($e_i = (t_i, \theta_i, \tau_i)$), extraindo templates, parâmetros e carimbos de tempo (timestamps). Isso atua como um operador de compressão para reduzir o ruído lexical e mitigar as limitações de contexto do LLM.
2. Agente de Descoberta de Estado: Infere uma Máquina de Estados Finitos (FSM) ($F = (S, A, \delta)$) latente a partir das sequências de eventos estruturadas. Ele agrupa eventos em estados de modo que a sequência resultante satisfaça uma propriedade de Markov, equilibrando expressividade e identificabilidade para recuperar o fluxo de controle que governa o sistema.
3. Agente de Indução de Esquema: Transforma a FSM inferida em um esquema relacional multi-tabela explícito ($R$). Este esquema inclui tabelas para traços, eventos, estados, transições e parâmetros, conectadas por restrições de chave primária e chave estrangeira. Esta fatoração separa o fluxo de controle dos atributos condicionais ao estado, garantindo fidelidade estrutural.
4. Agente de Síntese Relacional: Gera dados relacionais sintéticos amostrando caminhos de estado válidos a partir da FSM inferida e sintetizando registros de eventos/parâmetros condicionados a distribuições específicas de estado. Este agente amplifica comportamentos de execução raros, porém válidos, aderindo estritamente às restrições estruturais e temporais da FSM.
5. Agente de Avaliação de Consistência: Avalia os dados gerados em três dimensões:
   • Consistência Estrutural: Verifica as restrições do esquema (chaves, ordenação, transições válidas).
   • Consistência de Processo: Garante que as execuções correspondam a travessias legais da FSM.
   • Consistência Distribucional: Compara as distribuições de atributos com os dados reais para detectar desvio (drift).
     Este agente fornece feedback para guiar o refinamento iterativo, filtrando saídas inválidas ou alucinadas.

O framework opera como um loop iterativo onde o Agente de Avaliação de Consistência valida lotes de dados sintéticos contra a FSM e o esquema inferidos, garantindo que apenas dados estruturalmente válidos e distribucionalmente realistas sejam retidos para uso subsequente.

Principais Contribuições

• Descoberta de Estrutura Latente: O artigo demonstra que logs de execução codificam implicitamente um banco de dados relacional governado por uma máquina de estados latente, que pode ser recuperada diretamente de logs brutos sem conhecimento prévio da arquitetura do sistema.
• Framework Multi-Agente: Introduz uma arquitetura multi-agente inovadora que decompõe a tarefa complexa de síntese de logs em estágios verificáveis (parsing, descoberta de estado, indução de esquema, síntese e avaliação), superando as limitações da geração de LLM de passagem única.
• Dados Sintéticos Relacionais: Ao contrário do aumento baseado em sequências, o LogSynthFSM gera dados relacionais multi-tabela que preservam a semântica global do processo, a ordenação temporal e as dependências entre entidades.
• Geração Consciente de Restrições: Ao usar a FSM recuperada como um prior generativo, o framework garante que os dados sintéticos adiram a estritas restrições de execução, evitando a criação de traços semanticamente incoerentes.

Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados de logs de sistemas do mundo real (BGL, Thunderbird, Hadoop, OpenStack) utilizando uma Rede Neural de Grafos (GNN) para detecção de anomalias downstream.

• Desempenho de Detecção de Anomalias: O LogSynthFSM alcançou um PR-AUC de 0,742, superando a base mais forte baseada em LLM (GraphMaster com 0,701) e métodos clássicos de aumento.
• Detecção de Eventos Raros: O método melhorou significamente a detecção de comportamentos raros, aumentando o Rare PR-AUC de 0,438 (GraphMaster) para 0,511.
• Fidelidade Estrutural:
  • Taxa de Validade de Transição (TVR): 0,985, indicando que 98,5% das transições sintéticas foram válidas de acordo com a FSM inferida.
  • Similaridade Distribucional: A divergência de Jensen–Shannon de caminhos $k$-gram foi reduzida para 0,091 (comparado a 0,137 para o GraphMaster), mostrando um alinhamento mais próximo com a dinâmica de execução real.
  • Distinguibilidade: O AUC do Teste de Duas Amostras de Classificador (C2ST) foi de 0,503 (próximo ao ideal de 0,50), sugerindo que os traços sintéticos são difíceis de distinguir dos reais.
• Estudos de Ablação: A remoção do Agente de Descoberta de Estado causou a degradação mais severa (Rare PR-AUC caiu para 0,341), confirmando que a modelagem explícita de estado é essencial. A remoção do Agente de Avaliação de Consistência também reduziu o PR-AUC (para 0,703) e aumentou o C2ST AUC (para 0,567), destacando a necessidade de validação em ciclo fechado.
• Eficiência: O sistema roda efetivamente em hardware de consumo (uma única RTX 4080 SUPER) com tempos de execução de 41–52 minutos, demonstrando que não é necessária infraestrutura especializada.

Significância e Alegações

O artigo afirma que os logs de execução codificam implicitamente um banco de dados relacional governado por uma máquina de estados latente. Recuperar essa estrutura permite a geração principiada de dados sintéticos que é tanto robusta quanto interpretável.

Os autores enfatizam que os ganhos de desempenho não se devem meramente ao uso de modelos de linguagem maiores ou ao aumento do volume de dados. Em vez disso, as melhorias derivam da integração arquitetônica do parsing de execução, descoberta de estado, indução de esquema e síntese relacional consciente de restrições dentro de um framework multi-agente de ciclo fechado. Esta abordagem garante correção estrutural e realismo distribucional, abordando a limitação fundamental dos métodos existentes que ignoram a estrutura relacional e de processo das execuções de software. O trabalho sugere uma direção promissora para a geração de dados sintéticos conscientes da execução para melhorar a detecção de anomalias em sistemas de software distribuídos e complexos.