Resumo Técnico: Análise de Explicabilidade Baseada em Atribuição de Características em Monitoramento de Processos Preditivo

1. Definição do Problema

O Monitoramento de Processos Preditivo (PPM) utiliza modelos de aprendizado profundo, como Redes Neurais Recorrentes (RNNs) e Transformers, para prever resultados, tempo restante ou sequências de atividades futuras de processos de negócio em andamento. Embora esses modelos alcancem alto desempenho preditivo ao capturar dependências sequenciais em logs de eventos, sua natureza de "caixa-preta" dificulta a confiança e a adoção em ambientes operacionais de alto risco.

Métodos de explicabilidade existentes, particularmente técnicas de atribuição de características como SHAP (Shapley Additive Explanations) e LIME, enfrentam um dilema quando aplicados ao PPM:

• Explicações ao nível do evento: Atribuir importância a eventos individuais frequentemente resulta em insights fragmentados que falham em revelar o comportamento significativo do processo ou o contexto mais amplo da execução.
• Explicações ao nível do traço (trace): Agregar todo o traço em uma única unidade introduz perda de informação e obscurece quais partes específicas da execução impulsionam a previsão.
• Limitações de séries temporais: Embora a literatura de séries temporais ofereça métodos de segmentação para agrupar observações adjacentes, essas abordagens genéricas frequentemente falham em respeitar as restrições específicas de fluxo de controle, semânticas de atividade e a temporalidade irregular inerentes aos logs de eventos de processos de negócio. Elas podem dividir estágios coerentes do processo ou fundir comportamentos não relacionados.

Consequentemente, há uma necessidade de uma abordagem de explicabilidade que equilibre eficiência computacional com a preservação do contexto de fluxo de controle local, permitindo que as partes interessadas compreendam quais fases do processo influenciam uma previsão.

2. Metodologia

Os autores propõem um método de explicabilidade post-hoc local que integra um algoritmo de segmentação consciente do fluxo de controle com a computação de valores SHAP ao nível de segmento.

2.1 Segmentação de Traço Consciente do Fluxo de Controle

O núcleo da metodologia é um algoritmo que particiona um traço em subsequências coerentes (segmentos) baseadas em mudanças nas probabilidades de transição.

• Relação de Seguimento Direto (DFR): O algoritmo primeiro constrói um Grafo de Seguimento Direto (DFG) a partir do log de eventos para derivar probabilidades de transição empíricas entre atividades.
• Função de Custo: Para um determinado traço, o algoritmo atribui um custo a potenciais segmentos. Transições que são frequentes no log contribuem com baixo custo, enquanto transições raras ou não vistas incorrem em uma penalidade ($\gamma$). O custo de um segmento $s$ é definido como a soma dos log-probabilidades negativas de suas transições:
  $$C(s) = \sum_{i=1}^{m-1} c(a_i, a_{i+1})$$
  onde $c(a_i, a_{i+1}) = -\log T[a_i, a_{i+1}]$ se a transição existir, e $\gamma$ caso contrário.
• Detecção de Pontos de Mudança: O algoritmo emprega o método PELT (Pruned Exact Linear Time) para detectar pontos de mudança que minimizam uma função de objetivo penalizada. Esta função equilibra o custo total de segmentação contra um termo de penalidade ($\beta k$) para o número de segmentos, evitando a sobre-segmentação. O hiperparâmetro $\beta$ é selecionado via busca em grade (grid search) para minimizar o Critério de Informação de Akaike (AIC).
• Resultado: O traço é particionado em segmentos onde cada segmento representa uma fase de comportamento de fluxo de controle local consistente.

2.2 Computação de SHAP ao Nível de Segmento

Uma vez segmentados os traços, o método trata cada segmento como uma unidade interpretável única para o cálculo do valor SHAP, em vez de eventos individuais.

• Definição de Coalizão: Um vetor de coalizão $z \in \{0, 1\}^k$ é definido para $k$ segmentos. $z_l=1$ indica que o segmento retém seus valores originais, enquanto $z_l=0$ indica que ele é substituído por um valor de referência (derivado da moda de atributos categóricos e da média de atributos numéricos nos dados de treinamento).
• Perturbação: O modelo é avaliado em traços perturbados onde segmentos específicos são mascarados e substituídos pelo valor de referência.
• Valores SHAP: O KernelSHAP é aplicado para computar os valores de Shapley para cada segmento, satisfazendo a propriedade de eficiência onde a soma das atribuições dos segmentos é igual à diferença entre a previsão do modelo e a previsão de referência.

3. Configuração Experimental

O estudo avalia o método proposto utilizando:

• Datasets:
  • Um dataset sintético gerado pelo simulador SimBank, apresentando pontos de mudança de verdade fundamental (ground-truth) conhecidos (cancelamento vs. aceitação de resultados) para validar a precisão da segmentação.
  • Dois benchmarks do mundo real: BPIC15 (processos administrativos de municípios holandeses) e BPIC17 (solicitações de empréstimos de instituições financeiras).
• Modelo Preditivo: Classificadores de sequência baseados em LSTM treinados em prefixos de comprimento fixo (30 eventos) para prever resultados binários (ex: aceito vs. cancelado).
• Baselines:
  • Atribuição por evento: SHAP padrão ao nível de evento.
  • Segmentação baseada em distribuição: Um método que agrupa eventos com base em janelas de tempo e definições de sessão (adaptado de sistemas de recomendação).
• Métricas de Avaliação:
  • Qualidade da Segmentação: RandIndex, Precisão, Recall e F1-score (sintético); Relevância Entrópica (ER) e cobertura de padrão (mundo real).
  • Fidelidade da Explicação: Mudança de Previsão Relativa (RPC) via perturbação. Isso mede o quanto a previsão muda quando segmentos importantes (alto SHAP) são perturbados versus segmentos não importantes (baixo SHAP).

4. Principais Resultados

4.1 Qualidade da Segmentação

• Dados Sintéticos: O algoritmo proposto alcançou alta concordância com os pontos de mudança reais, com pontuações RandIndex superiores a 0,9 e F1-scores de 89% (casos cancelados) e 87,4% (casos aceitos).
• Dados do Mundo Real (BPIC17): O método identificou fases de processo coerentes. Para casos aceitos, os 10 principais padrões de segmentação cobriram 81,4% dos traços, indicando estruturas de fluxo de controle estáveis. A Relevância Entrópica (ER) caiu significativamente de 37,81 (log completo) para 6,68 (segmentado), indicando que os segmentos capturam padrões determinísticos e compressíveis altamente consistentes.
• Dados do Mundo Real (BPIC15): Devido à alta variabilidade e baixas probabilidades de transição entre muitos pares de atividades, o algoritmo produziu segmentos finos (média de 2 eventos por segmento). Isso sugere que logs com alta variabilidade de fluxo de controle limitam a capacidade de formar padrões de segmentação generalizáveis.

4.2 Fidelidade da Explicação

• Análise de Perturbação: Os valores SHAP ao nível de segmento demonstraram alta fidelidade. Perturbar os top-k segmentos mais importantes (cobrindo ~40% do traço) resultou em mudanças significativas na previsão (alto RPCI), enquanto perturbar segmentos não importantes teve efeito mínimo (baixo RPCU).
• Comparação: Embora a atribuição por evento tenha mostrado uma granularidade ligeiramente superior, os métodos de nível de segmento (tanto baseados em distribuição quanto conscientes do fluxo de controle) forneceram uma separação mais clara entre partes importantes e não importantes do traço. Métodos por evento às vezes interrompiam dependências locais ao perturbar eventos isolados, levando a mudanças de previsão inesperadas.

4.3 Insights Qualitativos

• Casos Aceitos (BPIC17): Segmentos contendo transições suaves (ex: Concept $\to$ Complete application) consistentemente empurravam as previsões para a aceitação (valores SHAP negativos).
• Casos Cancelados (BPIC17): Segmentos envolvendo a criação repetida de ofertas receberam altos valores SHAP positivos, empurrando fortemente as previsões para o cancelamento. Isso identificou um gargalo específico (geração repetida de oferta) associado à falha.
• Interpretabilidade: O método vinculou com sucesso as previsões do modelo a fases concretas do processo (ex: "conclusão da solicitação" vs. "criação de oferta") em vez de eventos isolados.

5. Significância e Alegações

O artigo afirma que o método proposto oferece um meio-termo útil entre explicações de nível de evento finas e explicações de nível de traço grosseiras.

• Preservação de Contexto: Ao agrupar atividades com base na dinâmica do fluxo de controle, o método preserva o contexto local necessário para interpretar por que uma atividade influencia um resultado.
• Compreensibilidade: Mitiga o "entrelaçamento" de eventos importantes e não importantes, tornando as explicações mais compreensíveis para os stakeholders do processo.
• Dependência da Estrutura do Log: Os autores observam modestamente que a eficácia do método é contingente à estrutura do log de eventos. Logs com variabilidade moderada de fluxo de controle (como BPIC17) produzem segmentos significativos e comparáveis, enquanto logs altamente variáveis (como BPIC15) resultam em segmentação de caso específico e de grão fino, o que limita a generalização.
• Utilidade Prática: A abordagem permite a identificação de fases específicas do processo (pontos de mudança) que direcionam os casos para os resultados previstos, apoiando a tomada de decisão direcionada e a detecção de gargalos sem exigir transparência total do modelo.

O estudo conclui que, embora as atribuições por evento permaneçam ligeiramente mais fiéis devido à sua granularidade, as explicações por nível de segmento aumentam significamente a interpretabilidade de modelos de aprendizado profundo em PPM ao alinhar-se com as restrições estruturais dos processos de negócio.