David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Resumo Técnico: Davi contra Golias na Predição da Próxima Atividade

Definição do Problema
A Predição da Próxima Atividade (NAP, do inglês Next Activity Prediction) é uma tarefa fundamental no Monitoramento Preditivo de Processos (PPM), que visa prever a atividade subsequente em um traço de processo de negócio dado o seu prefixo. O campo evoluiu dos modelos clássicos de aprendizado de máquina para arquiteturas de aprendizado profundo como LSTMs, Transformers e, recentemente, Grandes Modelos de Linguagem (LLMs). Embora a literatura recente sugira que LLMs adaptados ao vocabulário e ajustados (fine-tuned) oferecem desempenho superior, há uma falta de benchmarks sistemáticos que comparem diretamente esses modelos complexos com baselines mais simples e arquiteturas treinadas do zero. Especificamente, permanece incerto se o enorme custo computacional e a complexidade do pré-treinamento e do escalonamento de LLMs geram ganhos de desempenho consistentes sobre modelos menores e específicos para a tarefa ou baselines estatísticos simples no contexto de modelagem direta de sequências para NAP.

Metodologia
Os autores conduziram um benchmark sistemático através de sete logs de eventos da vida real do BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP). O estudo empregou uma abordagem de "modelagem direta de sequência", onde os atributos dos eventos são representados como embeddings aprendidos sem converter os dados em texto de linguagem natural.

A configuração experimental comparou quatro categorias de modelos:

1. LLMs Pré-treinados: Versões do GPT-2 (Small, Medium, Large) e Qwen-3 (0.6B, 1.7B, 4B) adaptadas ao vocabulário. Isso envolveu a substituição das camadas de entrada/saída para corresponder ao vocabulário do conjunto de dados, mantendo o backbone fixo ou minimamente adaptado via Ajuste Fino de Parâmetros Eficientes (PEFT).
2. Transformers Treinados do Zero: Modelos "nanoGPT" customizados de vários tamanhos (variando de aproximadamente ~0.1M a ~85M de parâmetros) treinados diretamente nos datasets de NAP.
3. Modelos Destilados: Modelos "alunos" menores treinados via destilação de conhecimento baseada apenas em logits a partir dos modelos "professores" pré-treinados e ajustados, permitindo um estudo controlado de transferência de conhecimento.
4. Baselines:
   • LSTMs: Quatro modelos LSTM de vários tamanhos.
   • Baseline Argmax: Um modelo de transição empírica de primeira ordem simples que prediz a próxima atividade baseando-se apenas nas frequências de transição relativas da atividade atual ($a_{k+1} = \arg\max_a P(a | a_k)$).

A avaliação utilizou duas métricas: Acurácia e Macro-F1, computadas ao nível do prefixo. O estudo controlou hiperparâmetros, vazamento de dados (data leakage) e pré-processamento (incluindo aumento de ciclo de vida e tratamento de prefixos únicos).

Principais Contribuições

• Benchmarking Sistemático: O artigo fornece a primeira comparação conjunta de LLMs adaptados ao vocabulário, Transformers treinados do zero, modelos destilados, LSTMs e um baseline de contagem argmax através de múltiplos datasets.
• Metodologia de Destilação: Introduz um método para comprimir LLMs ajustados em arquiteturas menores para as quais não existem versões pré-treinadas, permitindo um estudo controlado de transferência de conhecimento.
• Inclusão de Baselines: Ao reintroduzir um simples baseline de contagem argmax (ausente em muitos artigos recentes de DL focados em NAP), os autores fornecem um choque de realidade crítico sobre os ganhos de desempenho relatados.
• Questões de Pesquisa: O estudo aborda explicitamente cinco questões relativas ao valor do pré-treinamento, destilação, escalonamento de modelo, modernidade arquitetural e a necessidade de modelos complexos sobre baselines.

Resultados
Os resultados experimentais apresentam uma narrativa de "Davi contra Golias", desafiando a suposição de que modelos maiores e pré-treinados são inerentemente superiores:

• Pré-treinamento (RQ1): Não há um valor agregado consistente do pré-treinamento genérico de LLM. Modelos GPT-2 e Qwen-3 ajustados não superaram sistematicamente seus equivalentes treinados do zero (nanoGPT) de tamanho similar. Em alguns casos, modelos treinados do zero performaram melhor.
• Destilação (RQ2): A destilação baseada apenas em logits de professores ajustados não melhorou o desempenho de arquiteturas de alunos menores em comparação ao treinamento direto do zero. De fato, modelos destilados frequentemente tiveram desempenho inferior.
• Capacidade e Modernidade do Modelo (RQ3 & RQ4): O aumento do tamanho do modelo (de milhões para bilhões de parâmetros) não gerou benefício de desempenho consistente. Da mesma forma, arquiteturas mais novas (Qwen-3) não superaram consistentemente as mais antigas (GPT-2).
• Complexidade vs. Baseline (RQ5):
  • LSTMs vs. LLMs: LSTMs performaram de forma comparável aos LLMs, particularmente em Macro-F1, onde os LLMs mostraram ganhos significativos apenas no dataset BPI12.
  • LLMs vs. Argmax: Na maioria dos datasets (BPI15, BPI19, variantes BPI20), o simples baseline argmax igualou ou aproximou-se do desempenho de LLMs de bilhões de parâmetros. Melhorias significativas sobre o baseline argmax foram observadas apenas em BPI12 e BPI17.
  • Estratégia Ótima: Para datasets com alta variância de prefixo, poucas amostras de treinamento ou alto desequilíbrio de classes, o baseline argmax foi frequentemente a opção mais eficaz. No entanto, modelos Transformer relativamente pequenos treinados do zero frequentemente alcançaram o melhor desempenho preditivo geral, superando tanto o baseline quanto os LLMs ajustados.

Significância e Alegações
O artigo alega ser um "choque de realidade sóbrio" para a comunidade de PPM. Os autores argumentam que a tendência do campo de comparar modelos avançados com outros modelos de aprendizado profundo, em vez de baselines simples, superestimou a relevância prática dos progressos recentes.

• O pré-treinamento não é uma solução mágica: Priores de linguagem genéricos aprendidos durante o pré-treinamento não se transferem efetivamente para NAP via modelagem direta de sequência adaptada ao vocabulário. Os "priores desalinhados" de modelos grandes podem até prejudicar o desempenho em distribuições de processos específicas.
• A simplicidade é competitiva: Um modelo simples baseado em frequência é uma opção altamente competitiva para muitos logs de processo.
• Treinar do zero é preferível: Quando modelos complexos são necessários, treinar modelos Transformer pequenos do zero é mais benéfico do que aumentar o tamanho do modelo ou depender de arquiteturas pré-treinadas/destiladas.
• Direção Futura: As descobertas sugerem que a pesquisa futura deve ir além do escalonamento arquitetural e focar em representações mais ricas e conscientes do processo, transferência de aprendizado e objetivos multitarefa, utilizando os benchmarks estabelecidos e baselines simples como um ponto de partida claro para medir o progresso genuíno.

Os autores concluem que os praticantes devem "não levar um gigante para uma luta onde uma funda bastaria", enfatizando que a complexidade de modelos de bilhões de parâmetros é frequentemente injustificada para tarefas padrão de NAP.