Promoting Simple Agents: Ensemble Methods for Event-Log Prediction

Resumo Técnico: Promoção de Agentes Simples – Métodos de Ensemble para Previsão de Logs de Eventos

1. Problema e Motivação

O artigo aborda o desafio da previsão da próxima atividade em logs de eventos de processos de negócio em tempo real (streaming).

• Contexto: Sistemas modernos geram fluxos contínuos de eventos (ex: registros hospitalares, tickets de serviço). A previsão da próxima atividade é crucial para monitoramento proativo, alocação de recursos e detecção de ameaças.
• Desafio Atual: Modelos de linguagem monolíticos complexos, como Redes Neurais Recorrentes (LSTM) e Transformers, geralmente oferecem alta precisão, mas sofrem com:
  • Custo Computacional: Alto consumo de memória e latência, inviabilizando o processamento em tempo real para grandes volumes de dados.
  • Instabilidade: Sensibilidade extrema ao tamanho da janela de contexto (window size). Janelas muito pequenas perdem informações históricas, enquanto janelas muito grandes podem degradar o desempenho devido à complexidade não treinada ou problemas de atenção (no caso de Transformers).
• Objetivo: Desenvolver uma abordagem que mantenha a precisão dos modelos neurais, mas com a eficiência computacional e estabilidade de modelos mais simples, utilizando técnicas de ensemble (conjunto de modelos).

2. Metodologia

Os autores compararam modelos baseados em autômatos simples (n-grams) com arquiteturas neurais (LSTM e Transformer), propondo uma nova estratégia de ensemble chamada Algoritmo de Promoção.

• Modelos Base:
  • N-grams: Modelos probabilísticos baseados em frequência de sequências de comprimento $n$. São representados como Autômatos Finitos Probabilísticos Determinísticos (PDFAs), permitindo transições de estado incrementais e extremamente rápidas.
  • Redes Neurais: LSTM (Long Short-Term Memory) e Transformer, utilizados como baselines de alta performance.
• Análise de Janela de Contexto:
  • O estudo investigou como o tamanho da janela de histórico afeta a precisão.
  • Descoberta: N-grams mostram uma "mesa" de estabilidade (alta precisão consistente) em uma ampla faixa de tamanhos de janela. Em contraste, LSTMs e Transformers exibem quedas bruscas de desempenho em tamanhos de janela específicos, sendo menos robustos.
• Métodos de Ensemble Propostos:
  1. Votação Suave (Soft Voting): Média das distribuições de probabilidade de vários n-grams com diferentes tamanhos de janela. Requer execução paralela de todos os agentes, aumentando a latência.
  2. Votação Adaptativa: Rastreia a precisão de cada agente durante a execução e seleciona o melhor. Também exige múltiplos agentes ativos.
  3. Algoritmo de Promoção (Promotion Algorithm): A contribuição central do artigo.
     • Mecanismo: Mantém apenas dois agentes ativos em paralelo durante a inferência: um modelo atual ($M_i$) e um candidato de janela maior ($M_{i+1}$).
     • Lógica: O sistema prevê com $M_i$. Se $M_{i+1}$ superar $M_i$ por um número consecutivo de previsões ($\tau$, definido como 20 nos experimentos), o sistema "promove" $M_{i+1}$ a ser o novo modelo ativo.
     • Vantagem: Reduz drasticamente o overhead computacional em comparação com métodos que rodam dezenas de agentes simultaneamente, mantendo a robustez de escolher o tamanho de janela ideal dinamicamente.

3. Resultados Experimentais

Os experimentos foram realizados em:

• Dados Sintéticos: Padrões periódicos determinísticos e aleatórios (para testar contagem, intercalação e discriminação).
• Dados do Mundo Real: 5 conjuntos de dados de mineração de processos (Sepsis, BPI 2012, 2013, 2017, 2018), variando de ~15k a ~2.5 milhões de eventos.

Principais Achados:

• Precisão vs. Complexidade:
  • Em dados sintéticos, n-grams com janelas adequadas atingiram precisão comparável ou superior a LSTMs e Transformers, especialmente em padrões periódicos.
  • Em dados reais, LSTMs tiveram a maior precisão absoluta, mas os ensembles de n-grams (especialmente o Algoritmo de Promoção) alcançaram precisão muito próxima, superando modelos neurais não-janelados em alguns casos.
• Estabilidade: N-grams e o Algoritmo de Promoção demonstraram estabilidade superior frente a variações no tamanho da janela, enquanto modelos neurais sofreram degradação abrupta.
• Desempenho Computacional:
  • Latência: O Algoritmo de Promoção foi significativamente mais rápido que métodos de ensemble tradicionais (votação suave/adaptativa) e comparável a um único n-gram simples.
  • Treinamento: O tempo de treinamento para n-grams é ordens de magnitude menor que o de redes neurais.
• Tabela de Resultados: O Algoritmo de Promoção (usando n-grams de tamanhos 3 a 33) obteve resultados de precisão competitivos com o Soft Voting (que usa 4 agentes), mas com latência de predição muito menor (ex: 62 µs vs 97 µs no dataset Sepsis).

4. Contribuições Chave

1. Validação de Simplicidade: Demonstração de que modelos baseados em n-grams, quando bem calibrados, são robustos e competitivos contra arquiteturas neurais complexas para previsão de logs de eventos.
2. Algoritmo de Promoção: Proposta de um método de ensemble inovador que seleciona dinamicamente o modelo entre dois agentes ativos, eliminando a necessidade de escolher um tamanho de janela fixo como hiperparâmetro e reduzindo o custo de inferência.
3. Análise de Janela: Evidência empírica de que modelos neurais (especialmente Transformers) são instáveis em relação ao tamanho da janela em cenários de streaming, enquanto n-grams oferecem uma faixa de operação estável.

5. Significado e Impacto

• Viabilidade em Tempo Real: A abordagem proposta torna viável a implementação de sistemas de previsão de processos em tempo real em ambientes com restrições de recursos (latência e memória), onde modelos neurais pesados seriam impraticáveis.
• Eficiência Operacional: Ao reduzir a necessidade de múltiplos agentes ativos simultâneos, o Algoritmo de Promoção oferece um equilíbrio ideal entre robustez (capacidade de adaptação a diferentes estruturas de processo) e eficiência.
• Futuro: O trabalho abre caminho para o aprendizado online de tais algoritmos, incluindo a calibração automática do limiar de promoção ($\tau$) e mecanismos de "degradação" (demotion) para lidar com concept drift (mudança no comportamento do processo ao longo do tempo).

Em suma, o artigo defende que, para a previsão de logs de eventos, não é necessário sacrificar a simplicidade e a eficiência em prol da complexidade neural, desde que se utilizem estratégias inteligentes de ensemble, como o Algoritmo de Promoção.