Resumo Técnico: Revisitando o Monitoramento Preditivo de Processos na Era dos Modelos de Fundação

Declaração do Problema

O Monitoramento Preditivo de Processos (PPM) aproveita logs de eventos históricos para prever o futuro de instâncias de processos em execução, abordando tarefas como a previsão da próxima atividade (NA), o tempo restante até a conclusão do caso (RT) e o tempo até o próximo evento (NT). Embora a pesquisa recente em PPM tenha sido dominada por modelos de sequência profundos (ex: LSTMs e Transformers) treinados do zero, a emergência de modelos de fundação apresenta um novo cenário. Especificamente, Grandes Modelos de Linguagem (LLMs) adaptados via ajuste fino de parâmetros eficientes (PEFT) e modelos de fundação tabulares com capacidades de aprendizado em contexto oferecem paradigmas alternativos. No entanto, permanece incerto se os modelos de sequência clássicos permanecem competitivos contra essas abordagens baseadas em fundação, particularmente dado que os modelos de fundação tabulares ainda não foram sistematicamente avaliados para PPM.

Metodologia

Os autores conduzem um benchmark empírico controlado comparando três paradigmas de modelagem distintos através de cinco logs de eventos do mundo real (BPI12, BPI17 e três variantes do BPI20) e três tarefas de predição (NA, RT e NT).

Paradigmas de Modelagem

1. Modelos de Sequência Clássicos: Estes modelos são treinados do zero nos logs de eventos. Eles codificam prefixos como sequências ordenadas de embeddings de eventos (combinando atributos categóricos e numéricos) usando backbones recorrentes (LSTM) ou baseados em atenção (Transformer). Todos os parâmetros são aprendidos via otimização supervisionada.
2. Abordagens Baseadas em LLM: Estas abordagens utilizam LLMs pré-treinados apenas de decodificador (Llama-3.2-1B e Gemma-2-2b) adaptados para processar dados. Elas preservam a representação sequencial do prefixo, mas empregam uma codificação de log de eventos estruturada onde os rótulos de atividade são tratados como tokens nativos do processo. A adaptação é alcançada via Low-Rank Adaptation (LoRA), otimizando apenas um pequeno conjunto de parâmetros enquanto mantém o backbone pré-treinado congelado.
3. Modelos de Fundação Tabulares: Estes modelos (TabPFN-3 e ConTextTab) tratam o PPM como um problema de predição tabular. Eles mapeiam prefixos para vetores de características de comprimento fixo (resumindo propriedades como atividade atual, tempo decorrido e indicadores temporais) em vez de preservar a sequência explícita de eventos. Eles utilizam aprendizado em contexto, não exigindo treinamento baseado em gradiente no momento da inferência, baseando-se, em vez disso, no condicionamento contextual em linhas observadas.

Configuração Experimental

• Dados: Cinco logs de eventos públicos com variados tamanhos, alfabetos de atividades e comprimentos de traço.
• Divisão: Uma divisão temporal que evita vazamento (80/20 por caso) é aplicada, ordenando os casos pelo timestamp de seu primeiro evento.
• Características: Os inputs incluem rótulos de atividade e características numéricas (tempo acumulado, atributos de calendário).
• Métricas de Avaliação: Acurácia para NA; Erro Quadrático Médio (MSE) para RT e NT; tempo de execução (wall-clock runtime) para eficiência computacional.
• Baselines: O estudo compara os três paradigmas entre si e contra um baseline majoritário.

Principais Contribuições

1. Comparação Conceitual: O artigo fornece uma comparação estruturada dos três paradigmas ao longo de dimensões de representação de prefixo, parametrização de backbone e regimes de adaptação.
2. Benchmark Sistemático: Apresenta a primeira avaliação empírica controlada de modelos de fundação tabulares para PPM, juntamente com uma comparação de LLMs ajustados e modelos de sequência clássicos.
3. Análise de Padrões de Falha: O estudo investiga diferenças de desempenho, especificamente analisando como o "ramificamento" (a ambiguidade do próximo passo) afeta o desempenho do modelo e identificando modos de falha específicos, como previsões prematuras de fim de sequência em LLMs.

Resultados

O benchmark produz padrões de desempenho distintos através de tarefas e datasets:

• Predição de Próxima Atividade (NA): Modelos de sequência clássicos (LSTM e Transformer) alcançam consistentemente a maior acurácia em todos os cinco datasets. Modelos de fundação tabulares geralmente apresentam desempenho inferior, com a lacuna aumentando conforme a complexidade de ramificação aumenta. LLMs performam melhor que modelos tabulares em NA, mas geralmente ficam atrás dos melhores modelos de sequência.
• Tarefas Temporais (RT e NT): Os resultados são mais mistos. Modelos de fundação tabulares frequentemente alcançam o melhor desempenho na predição de Tempo Restante (RT). Para o Tempo do Próximo Evento (NT), tanto modelos de sequência quanto tabulares garantem os melhores resultados em diferentes logs. Modelos baseados em LLM geralmente ficam atrás em tarefas temporais, apesar de seu maior custo computacional.
• Tempo de Execução: Modelos de sequência e ConTextTab exibem tempos de execução substancialmente menores comparados aos LLMs ajustados via LoRA. O tempo de execução para LLMs aumenta marcadamente com o tamanho do log. Notavelmente, a ausência de treinamento baseado em gradiente em modelos tabulares não garante automaticamente um menor tempo de execução; o TabPFN-3 é frequentemente mais lento que os baselines de sequência.
• Sensibilidade ao Ramificação: Uma análise por fatias revela que a lacuna de desempenho entre modelos de sequência e tabulares para a predição de NA aumenta com a complexidade de ramificação. Modelos de sequência retêm a ordem dos eventos, permitindo que lidem melhor com cenários de alta ramificação, enquanto modelos tabulares, que codificam prefixos como vetores de estado de comprimento fixo, lutam com alta ambiguidade.
• Problemas Específicos de LLM: LLMs exibem padrões de falha específicos, como prever o token de fim de sequência prematuramente. No dataset BPI12, isso representou 23–25% dos erros de NA para LLMs, comparado a 0% para baselines de sequência.

Significância e Alegações

O artigo alega que, embora os modelos de fundação ofereçam alternativas promissoras, eles não superam universalmente os modelos de sequência clássicos em PPM. O estudo conclui que:

• Modelos de sequência permanecem como o estado da arte para predição de próxima atividade, particularmente em processos complexos e de alta ramificação.
• Modelos de fundação tabulares são competitivos para tarefas de predição temporal (RT/NT), oferecendo uma alternativa viável que não requer treinamento, embora tenham dificuldades com NA em logs complexos.
• LLMs incorrem em altos custos (tempo de execução e recursos computacionais) sem entregar consistentemente uma precisão superior, frequentemente sofrendo de problemas de adaptação dependentes do dataset e modos de falha específicos como terminação prematura.

Os autores enfatizam que a escolha do paradigma depende fortemente da tarefa de predição específica e da complexidade estrutural (ramificação) do log do processo. Eles observam que sua avaliação utilizou LLMs relativamente pequenos e não explorou representações de características alternativas para modelos tabulares, sugerindo estes como áreas para investigação futura.