Resumo Técnico: Aprendizado de Políticas Ótimas de Logs de Eventos através de Aprendizado por Reforço

Definição do Problema

O artigo aborda o desafio do Monitoramento de Processos Prescritivo (PPM), focando especificamente no aprendizado de políticas comportamentais ótimas diretamente de logs de eventos históricos. Diferente das abordagens de PPM existentes, que recomendam intervenções pré-definidas ou atividades subsequentes específicas baseadas em regras de especialistas, este trabalho visa descobrir estratégias gerais que determinam a melhor sequência de ações para maximizar um Indicador Chave de Desempenho (KPI) específico.

Uma restrição crítica do problema é o ambiente de múltiplos atores. Em muitos processos do mundo real (ex: solicitações de empréstimo), o proprietário do processo (o agente) controla apenas um subconjunto de atividades, enquanto outras são impulsionadas por atores externos (ex: clientes) ou fatores exógenos. O objetivo é aprender uma política para o agente que otimize o KPI, apesar de ter controle parcial sobre a execução do processo.

Os autores identificam dois desafios primários ao aplicar o Aprendizado por Reforço (RL) neste domínio:

1. Aprendizado Baseado em Dados: Evitar a dependência de amplo conhecimento de domínio para definir manualmente espaços de estados ou conjuntos de intervenção.
2. Segurança de Avaliação: A impraticidade de testar políticas em sistemas vivos devido ao risco de interrupção. Portanto, é necessário um mecanismo de avaliação robusto antes da implementação.

Metodologia

O artigo propõe e compara duas abordagens distintas baseadas em IA para aprender políticas ótimas a partir de dados de eventos, ambas operando em um cenário de múltiplos atores onde o agente controla atividades específicas.

1. Abordagem Baseada em Modelo (RL baseado em MDP)

Esta abordagem constrói um Processo de Decisão de Markov (MDP) explícito a partir do log de eventos e o resolve usando Programação Dinâmica (DP).

• Construção do MDP:
  • Ações: Definidas como atividades controladas pelo agente.
  • Estados: Construídos codificando o histórico de traços (traces). Os autores utilizam agrupamento k-means em prefixos codificados (frequências de atividades, posições e recompensas de prefixos normalizados) para gerenciar a dimensionalidade do espaço de estados e evitar a explosão. Um estado é definido como o par da última atividade realizada e o cluster atribuído.
  • Transições e Recompensas: Construídas através do replay dos traços para estimar probabilidades de transição e recompensas médias.
• Aprendizado de Política: A política ótima é derivada usando Iteração de Valor.
• Tratamento de Escassez de Dados: Para evitar que o agente explore transições raras de alta recompensa (overfitting), os autores introduzem uma função de escala $h(s, a)$ aplicada ao valor Q. Eles testam funções degrau e funções sigmoides parametrizadas pela frequência de pares estado-ação (usando quartis de contagens de ocorrência) para penalizar transições de baixa frequência.

2. Abordagem Sem Modelo (Deep RL Offline)

Esta abordagem emprega o Conservative Q-Learning (CQL), uma técnica de ponta de Deep RL Offline, que aprende diretamente de dados históricos sem interação com o ambiente.

• Arquitetura: Uma Rede Neural Recorrente (RNN) com células Long Short-Term Memory (LSTM) é usada para aproximar a função de valor estado-ação, lidando com a natureza sequencial dos logs de eventos.
• Preparação de Dados: As transições são extraídas dos traços. Crucialmente, transições envolvendo ações controladas pelo ambiente são removidas, e suas recompensas são transferidas para a transição válida precedente do agente para alinhar o conjunto de dados com a perspectiva do agente.
• Treinamento: O modelo é treinado offline usando o algoritmo CQL para minimizar o viés de superestimação comum no RL offline.

Estrutura de Avaliação

Para avaliar as políticas aprendidas sem arriscar o desempenho de sistemas vivos, os autores utilizam Simulação de Processos de Negócio (BPS).

• Logs Sintéticos: Gerados a partir de um modelo BPMN para testar a robustez em diferentes tamanhos de log e taxas de sucesso.
• Logs do Mundo Real: Os conjuntos de dados BPIC2012 e BPIC2017 são utilizados.
• Modelos de Simulação: Dois tipos de modelos de simulação são empregados:
  1. Probabilidade Fixa ($M_\pi$): Utiliza probabilidades padrão para pontos de decisão.
  2. Árvore de Decisão ($M^\pi_{DT}$): Utiliza árvores de decisão treinadas em dados históricos para modelar as respostas do ambiente de forma mais sensível ao histórico do processo.
• Baselines: Comparações são feitas contra a política costumeira (o comportamento inerente aos logs originais) e uma heurística informada (um baseline forte usando conhecimento privilegiado da lógica de simulação, disponível apenas para logs sintéticos).

Principais Contribuições

1. Aprendizado Direto de Política: O artigo demonstra um método para aprender políticas comportamentais gerais diretamente de logs de eventos com mínimo conhecimento de domínio, distinguindo entre atividades controláveis e incontroláveis.
2. Construção de MDP a partir de Logs: Propõe um pipeline específico para construir um MDP a partir de logs de eventos usando agrupamento para lidar com a abstração de estado, superando a dificuldade de definir manualmente estados de MDP para mineração de processos.
3. Função de Escala para Robustez: A introdução de funções de escala baseadas em frequência ($h$) para o valor Q na abordagem de MDP mitiga efetivamente o overfitting para transições raras, melhorando significativamente a estabilidade da política.
4. Comparação Abrangente: Fornece uma comparação sistemática entre uma abordagem clássica de DP baseada em modelo e o moderno Deep RL Offline (CQL) no contexto de mineração de processos.
5. Avaliação Baseada em Simulação: O trabalho adapta a BPS para avaliar políticas de seleção de próxima atividade em cenários de múltiplos atores, oferecendo um ambiente controlado para testes A/B de estratégias aprendidas.

Resultados

A avaliação foi conduzida em oito logs sintéticos (variando em tamanho e taxas de sucesso) e dois logs do mundo real (BPIC2012 e BPIC2017).

• Desempenho: Ambos os métodos aprenderam políticas com sucesso que melhoraram consistentemente o KPI alvo (lucro) em comparação com a política costumeira.
  • Nos logs sintéticos, a abordagem baseada em MDP (especificamente com funções de escala como $h_{sig}^{Q1}$ e $h_{step}^{Q1}$) geralmente superou a abordagem de Offline Deep RL, alcançando KPIs comparáveis à heurística informada na maioria dos casos.
  • Nos logs do mundo real, ambos os métodos mostraram desempenho sólido, com a abordagem baseada em MDP apresentando uma vantagem leve ou comparável ao CQL.
• Robustez: A abordagem baseada em MDP demonstrou maior estabilidade através de diferentes características de log. A abordagem MDP ingênua (sem escala) foi instável, enquanto a abordagem CQL nunca apareceu entre as políticas de melhor desempenho na avaliação sintética.
• Eficiência Computacional: A abordagem baseada em MDP foi significativamente mais eficiente. Os tempos de treinamento para métodos baseados em MDP variaram de segundos a poucos minutos, enquanto o Offline Deep RL exigiu aproximadamente 30 minutos por época (totalizando horas para políticas eficazes). O tempo da abordagem MDP escalou com o tamanho do log devido ao agrupamento, enquanto o tempo por época do Deep RL permaneceu constante, porém alto.

Significância e Alegações

O artigo alega que aprender políticas comportamentais ótimas diretamente de dados de eventos é viável e eficaz, mesmo em cenários complexos de múltiplos atores onde o agente tem controle parcial.

• Praticidade: Os resultados sugerem que a abordagem baseada em MDP oferece um equilíbrio favorável entre simplicidade, interpretabilidade, eficiência computacional e desempenho. Os autores argumentam que, para cenários de mineração de processos, onde os dados são estruturados e os pontos de decisão são bem definidos, modelos complexos de deep learning podem não ser estritamente necessários para alcançar políticas de alta qualidade.
• Descoberta Baseada em Dados: O trabalho valida que é possível descobrir intervenções e estratégias eficazes apenas a partir de dados históricos, sem predefinir o conjunto de ações possíveis ou depender de amplo conhecimento especializado da dinâmica do domínio.
• Potencial Futuro: Os autores posicionam essas políticas aprendidas como inicializações fortes para frameworks de otimização mais amplos que poderiam posteriormente incorporar interação online ou feedback. Eles reconhecem limitações relativas à dependência de informações de fluxo de controle e a necessidade de representações de estado mais ricas (ex: atributos de dados) em trabalhos futuros.

O artigo conclui que, embora ambos os paradigmas sejam viáveis, a abordagem clássica baseada em modelo, quando aumentada com a devida abstração de estado baseada em dados e regularização, fornece atualmente uma solução mais eficiente e robusta para o monitoramento de processos prescritivo nos contextos estudados.