Neuro-Symbolic Learning for Predictive Process Monitoring via Two-Stage Logic Tensor Networks with Rule Pruning

Este artigo apresenta uma abordagem neuro-simbólica inovadora para monitoramento preditivo de processos, que integra regras de domínio como restrições lógicas diferenciáveis em Redes Tensoriais Lógicas através de uma estratégia de otimização em duas etapas (pré-treinamento com perda ponderada e poda de regras), demonstrando melhorias significativas na precisão e conformidade em cenários com dados limitados comparado a métodos puramente baseados em dados.

O essencial

Imagine que você está tentando ensinar um robô muito inteligente, mas um pouco "ingênuo", a prever o futuro de um processo complexo, como o tratamento de um paciente em um hospital ou a aprovação de um empréstimo bancário.

O robô é um aprendiz de dados: ele olha para milhares de casos passados e aprende padrões. Se 99% das vezes que o médico pede um exame, o paciente fica bem, o robô aprende: "Exame pedido = Tudo bem".

O problema é que o mundo real tem regras rígidas que o robô ingênuo não entende. Por exemplo:

• Regra do Hospital: "Nunca se pode operar um paciente se ele não tiver feito o exame de sangue antes."
• Regra do Banco: "Nunca se pode transferir dinheiro para uma conta nova sem verificar a identidade primeiro."

Se o robô apenas olhar os dados, ele pode ver um caso raro onde alguém operou sem exame (talvez um erro humano no passado) e achar que é normal. Quando ele tentar prever o futuro, ele pode sugerir algo perigoso ou ilegal, porque "os dados diziam que era possível".

A Solução: O "Mestre" e o "Estudante" (Neuro-Simbólico)

Os autores deste paper criaram uma equipe de dois para resolver isso:

1. O Estudante (Rede Neural): É o robô que aprende com os dados, rápido e esperto com padrões.
2. O Mestre (Lógica Simbólica): É um especialista que conhece as regras do manual (as leis, os protocolos de segurança).

A ideia é fazer o Estudante aprender com os dados, mas sempre sob a supervisão do Mestre. Se o Mestre diz "Isso viola a regra 5", o robô não pode ignorar.

O Grande Problema: O Mestre que "Engana"

Aqui entra a parte genial do artigo. Quando você coloca o Mestre e o Estudante juntos, às vezes o Mestre é tão rígido que o robô fica confuso.

Imagine que o robô precisa aprender a prever se um empréstimo será aprovado. O Mestre diz: "Se o cliente tem nome sujo, não aprova". Mas e se, nos dados, houver 100 casos de clientes com nome sujo que foram aprovados por erro do sistema?
O robô, tentando agradar o Mestre e os dados ao mesmo tempo, pode entrar em pânico. Para não violar a regra do Mestre, ele pode começar a dizer "Nunca aprovo nada" (uma solução fácil, mas inútil). Ou pior, ele pode "trapacear" e encontrar jeitos de satisfazer a regra do Mestre sem realmente aprender a prever o futuro corretamente. Isso é chamado de "satisfação vazia": ele cumpriu a regra, mas não aprendeu nada útil.

A Inovação: O Treinamento em Duas Etapas

Para evitar essa confusão, os autores criaram um método de treinamento em duas etapas, como se fosse uma escola com um currículo especial:

Etapa 1: O Robô Aprende Primeiro (Pré-treinamento Ponderado)
Nesta fase, deixamos o robô focar quase 100% nos dados. O Mestre (as regras) está lá, mas ele é um "mestre gentil". Ele sussurra as regras, mas não grita. Isso garante que o robô aprenda a entender o mundo real primeiro. Se o robô tentar "trapacear" para agradar o Mestre, nós damos uma "chicotada" (uma penalidade no treinamento) para forçá-lo a olhar os dados de verdade.

Etampa 2: A Grande Limpeza (Poda de Regras)
Depois que o robô já entendeu o básico, olhamos para todas as regras que o Mestre trouxe.

• Algumas regras são ótimas e ajudam o robô a acertar mais.
• Outras regras são ruins, contraditórias ou apenas confundem o robô (como regras que nunca acontecem na prática).

Nesta etapa, fazemos uma "poda". Jogamos fora as regras que não estão ajudando ou que estão causando confusão. Mantemos apenas as regras que realmente fazem sentido e que o robô consegue seguir sem perder a capacidade de prever o futuro.

Etapa 3: O Refinamento Final
Agora, com um robô esperto e um conjunto de regras limpo e útil, treinamos tudo junto novamente. O resultado é um sistema que sabe os dados de cor e sabe as regras de coração.

Por que isso é incrível? (Os Resultados)

Os autores testaram isso em situações reais, como:

• Prever complicações em cirurgias: Onde seguir a ordem certa dos passos é vital.
• Detecção de fraudes: Onde seguir regras de compliance é obrigatório.

O resultado foi surpreendente:

1. Sem o método: Se você apenas jogasse todas as regras no robô de uma vez, ele ficava pior do que se não tivesse regras nenhuma (ele "quebrava").
2. Com o método: O robô ficou muito mais preciso, especialmente em situações difíceis onde há poucos exemplos de "casos perfeitos" para aprender.

Resumo em uma Analogia Final

Pense no robô como um jovem piloto de avião.

• Os dados são as horas de voo que ele já fez.
• As regras são o manual de segurança da aviação.

Se você colocar o manual inteiro na cabeça do piloto antes de ele decolar, ele pode ficar paralisado de medo ou tentar voar de um jeito que "parece" seguro no papel, mas não funciona na prática.

O método deste artigo é como um instrutor de voo:

1. Primeiro, ele deixa o piloto voar e sentir o avião (aprender com os dados).
2. Depois, ele revisa o manual, rasga as páginas que são irrelevantes para aquele tipo de avião (poda de regras).
3. Por fim, ele ensina o piloto a usar as regras certas para evitar acidentes, garantindo que ele voe bem e com segurança.

Essa abordagem garante que a inteligência artificial não seja apenas "esperta com dados", mas também "segura e obediente às regras", algo crucial para hospitais, bancos e indústrias.

Resumo técnico

Resumo Técnico: Aprendizado Neuro-Simbólico para Monitoramento Preditivo de Processos

1. O Problema

O monitoramento preditivo de processos (PPM) visa antecipar resultados e detectar anomalias em fluxos de trabalho (como saúde, finanças e manufatura) analisando dados de eventos sequenciais. Embora as abordagens baseadas puramente em dados (como LSTMs e Transformers) tenham avançado na captura de padrões sequenciais, elas enfrentam limitações críticas:

• Falta de Conformidade: Elas não incorporam explicitamente restrições de domínio, regras de negócio ou requisitos de conformidade (ex: "uma cirurgia só pode ocorrer após a alta do paciente").
• Risco de Violação: Em cenários críticos, violar regras lógicas pode ser inaceitável, mesmo que os dados históricos sugiram tal padrão.
• Dados Escassos: Em cenários onde exemplos de conformidade são raros nos dados de treinamento, os modelos puramente estatísticos falham em generalizar comportamentos críticos.

Existe uma lacuna entre os padrões aprendidos estatisticamente e os requisitos lógicos formais do domínio, levando a previsões que podem ser precisas estatisticamente, mas ilógicas ou ilegais na prática.

2. Metodologia

Os autores propõem uma abordagem Neuro-Simbólica que integra redes neurais com raciocínio lógico utilizando Redes de Tensores Lógicos (Logic Tensor Networks - LTNs). O método segue um pipeline estruturado em quatro etapas principais (Figura 2 do artigo):

1. Extração de Características e Regras:

   • Recursos: Extração de recursos de fluxo de controle (sequência), temporais (durações, tempos de espera) e carga útil (atributos estáticos/dinâmicos).
   • Formalização: As regras de domínio são formalizadas usando Lógica de Primeira Ordem (FOL) e Lógica Temporal Linear (LTL). Exemplos incluem restrições de precedência e regras condicionais baseadas em tempo ou atributos.

2. Construção da Base de Conhecimento:

   • As regras são convertidas em axiomas lógicos dentro do framework LTN.
   • A base de conhecimento ($K$) é dividida em:
     • $K_D$: Axiomas de dados (rótulos de classificação).
     • $K_P$: Axiomas de conhecimento (regras de domínio).

3. Estratégia de Otimização em Duas Etapas (Contribuição Central):
   O artigo identifica que os LTNs tradicionais tendem a satisfazer fórmulas lógicas de forma "vazia" (vacuous satisfaction), sacrificando a precisão preditiva. Para resolver isso, propõe-se:

   • Fase 1: Pré-treinamento Ponderado e Seleção:
     • Utiliza uma função de perda ponderada: $L = 1 - (\alpha \cdot Sat(K_D) + \beta \cdot Sat(K_P))$, onde $\alpha > \beta$. Isso prioriza o aprendizado dos dados inicialmente, evitando que regras não confiáveis dominem a otimização prematuramente.
     • Após o pré-treinamento, aplica-se um mecanismo de poda de regras (Rule Pruning). Calcula-se um "escore de porta" ($g_i$) para cada regra baseado na sua satisfação média e variância. Apenas regras consistentes e contributivas são mantidas na base de conhecimento refinada ($K'_P$).
   • Fase 2: Ajuste Fino (Fine-tuning):
     • O modelo é re-treinado utilizando a base de dados original combinada apenas com as regras podadas ($K_D \cup K'_P$), refinando a precisão preditiva enquanto mantém a conformidade lógica.

3. Principais Contribuições

1. Formalização Sistemática: Uma abordagem para categorizar e formalizar conhecimento de processos (fluxo, tempo, carga) em LTL e FOL para integração em modelos neurais.
2. Estratégia de Otimização Híbrida: A introdução de uma estratégia de duas etapas (perda ponderada + poda de regras) que resolve o conflito fundamental entre satisfazer lógica e manter precisão preditiva em LTNs.
3. Robustez em Cenários de Conformidade: Demonstração de que a injeção de conhecimento, quando gerenciada corretamente, supera abordagens puramente baseadas em dados, especialmente quando há poucos exemplos de conformidade nos dados de treinamento.

4. Resultados Experimentais

Os autores avaliaram a abordagem em quatro logs de eventos reais (Sepsis, BPIC2012, BPIC2017, Multas de Trânsito) comparando com baselines puramente baseados em dados (LSTM, Transformer) e variantes LTN sem otimização.

• RQ1 (Impacto do Conhecimento): A injeção de conhecimento melhorou consistentemente o desempenho (F1-score), especialmente em conjuntos de dados menores. Por exemplo, no conjunto Sepsis, a abordagem proposta superou o LSTM puro em 5,23% no F1-score.
• RQ2 (Ablação da Otimização): Sem a estratégia de duas etapas, a simples adição de regras (LTN-NoP) degradou drasticamente o desempenho (ex: queda de ~70% para ~19% no F1-score em Sepsis). Isso confirma que a otimização ponderada e a poda são essenciais para evitar que o modelo "trapaceie" satisfazendo a lógica em detrimento da previsão.
• RQ3 (Generalização em Conformidade): Em cenários de teste onde os exemplos conformes eram raros no treinamento (apenas 4% no Sepsis), a abordagem neuro-simbólica alcançou 89,96% de F1-score, superando significativamente os modelos puramente baseados em dados (73,26%). Isso demonstra a capacidade de generalizar regras lógicas mesmo com dados insuficientes.

5. Significado e Conclusão

Este trabalho demonstra que a integração de conhecimento de domínio em modelos de monitoramento de processos não é apenas benéfica, mas necessária para aplicações críticas. No entanto, a integração direta de regras lógicas pode ser prejudicial se não for gerenciada.

A principal lição é que a otimização neuro-simbólica requer um equilíbrio dinâmico. A estratégia proposta de "aprender dados primeiro, refinar com lógica depois" (via perda ponderada e poda) permite que os modelos sejam:

1. Precisos: Mantendo alta acurácia preditiva.
2. Conformes: Respeitando regras de negócio e restrições de segurança.
3. Robustos: Funcionando bem mesmo quando os dados de treinamento são escassos ou enviesados.

O estudo estabelece um novo padrão para o uso de LTNs em processos de negócios, mostrando como superar as limitações de satisfação lógica vazia para criar sistemas de IA mais confiáveis e interpretáveis.