Structured Neural Marked Point Processes for Interpretable Event Interaction Modeling

Resumo Técnico: Processos Pontuais Marcados Neurais Estruturados para Modelagem Interpretável de Interação de Eventos

Enunciado do Problema
Fluxos de eventos multiclasse são ubíquos em domínios como redes sociais, cadeias de suprimentos e registros médicos. Um desafio central na modelagem desses fluxos é equilibrar alta precisão preditiva com a necessidade de descobrir relações estruturadas e interpretáveis entre eventos. Modelos neurais de processos pontuais existentes (por exemplo, Processos Hawkes Neurais, Processos Hawkes com Transformer) oferecem alta expressividade ao utilizar redes neurais profundas para parametrizar intensidades condicionais. No entanto, eles codificam interações de eventos de maneira "caixa preta" dentro de representações latentes, impedindo a descoberta explícita de dependências estruturadas, como excitação, inibição ou efeitos atrasados. Por outro lado, modelos clássicos, como os processos Hawkes padrão, são interpretáveis, mas frequentemente restritos a efeitos excitatórios e assumem decaimento imediato de influência, falhando em capturar picos atrasados ou dinâmicas inibitórias comuns em sistemas do mundo real.

Metodologia: Processo Pontual Marcado Neural Estruturado (SNMPP)
Os autores propõem o SNMPP, um framework projetado para alcançar flexibilidade de modelagem enquanto permite a descoberta explícita e orientada por dados de estruturas de interação por evento e por classe.

• Arquitetura do Modelo:
  O núcleo do SNMPP é um núcleo de influência neural em forma de produto que decompõe a influência de um evento passado do tipo $k_n$ sobre a intensidade do tipo $k$ em dois componentes neurais distintos:
  $$f(e_{k_n}, e_k, \Delta t) = \psi(e_{k_n}, e_k) \cdot \phi(e_{k_n}, e_k, |\Delta t - d_{k_n, k}|)$$

  1. Rede de Interação com Sinal ($\psi$): Este componente recebe como entrada os embeddings dos tipos de evento de origem e destino e produz um escalar com sinal. Ele caracteriza explicitamente a topologia de interação: valores positivos indicam excitação, valores negativos indicam inibição e valores próximos de zero indicam neutralidade. Isso permite que o modelo aprenda relações direcionadas sem parâmetros separados para cada par ordenado.
  2. Rede Temporal Monotônica Consciente de Atraso ($\phi$): Este componente modela a evolução temporal da força da influência. É projetado para ser monotonicamente decrescente em relação ao atraso temporal para capturar padrões de decaimento. Crucialmente, a entrada desta rede é a diferença de tempo absoluta deslocada por um parâmetro de atraso aprendível ($d_{k_n, k}$). Esta formulação permite que o modelo capture efeitos de pico atrasados, onde a influência é inicialmente fraca, atinge um pico em um atraso específico e depois decai.
  3. Restrições: Para garantir interpretabilidade e estabilidade, a saída da rede temporal é restringida ao intervalo limitado $[0, 1]$ usando uma transformação diferenciável de recorte suave (soft-clipping). Isso separa a magnitude/sinal (tratada por $\psi$) da forma temporal (tratada por $\phi$).

• Algoritmo de Treinamento:
  A verossimilhança das sequências de eventos observadas envolve termos integrais que carecem de soluções em forma fechada. Os autores desenvolvem um estimador de Monte Carlo estratificado para treinamento eficiente. Em vez de amostrar uniformemente de todo o intervalo inter-evento, o intervalo é partitionado em $Q$ segmentos não sobrepostos, com uma amostra extraída de cada um. Essa estratificação reduz a variância do estimador de verossimilhança, preservando a sensibilidade a variações locais na função de intensidade, permitindo um descenso de gradiente estocástico estável.

Principais Contribuições

1. Descoberta Explícita de Interação: Diferentemente de modelos neurais de caixa preta, o SNMPP recupera explicitamente a topologia de interação (excitação, inibição, neutralidade) e as dinâmicas temporais (padrões de decaimento, parâmetros de atraso) diretamente dos dados.
2. Modelagem Temporal Flexível: O modelo acomoda comportamentos temporais diversos, incluindo efeitos atrasados onde a influência atinge o pico após um atraso temporal, uma característica frequentemente observada em tratamentos médicos e reposição de cadeias de suprimentos, mas perdida por kernels exponenciais padrão.
3. Aprendizado Eficiente: O estimador de Monte Carlo estratificado proposto fornece uma aproximação não enviesada e de baixa variância das integrais de verossimilhança, facilitando um treinamento robusto em conjuntos de dados complexos.

Resultados Experimentais
O artigo valida o SNMPP através de três configurações experimentais distintas:

• Dados Sintéticos: Em conjuntos de dados sintéticos com gatilhos atrasados e interações inibitórias, o SNMPP recupera com precisão as intensidades condicionais verdadeiras, sinais de interação, parâmetros de atraso e formas de kernel. Supera os processos Hawkes padrão (que falham em inibição/atraso) e baselines neurais (que falham em recuperar explicitamente a estrutura).
• Benchmarks do Mundo Real: Avaliado em cinco conjuntos de dados (MIMIC, Amazon, Retweet, Taxi, StackOverflow), o SNMPP alcança desempenho state-of-the-art na previsão do tempo do próximo evento (menor RMSE) em todos os conjuntos de dados. Embora a precisão na previsão do tipo de evento seja competitiva com as melhores baselines neurais, nem sempre as supera, demonstrando que o viés indutivo estruturado não compromete o poder preditivo.
• Simulação de Cadeia de Suprimentos: Em um ambiente simulado governado por restrições físicas e regras de decisão (em vez de um processo pontual predefinido), o SNMPP descobre com sucesso a estrutura de interação subjacente. Identifica corretamente excitação (pedidos acionando reposição), inibição (chegadas de estoque suprimindo novos pedidos), bloqueio rígido (rupturas de estoque suprimindo demanda) e o parâmetro de atraso específico (aprox. 4,0 unidades de tempo) correspondente aos tempos de entrega.

Significado e Alegações
O artigo alega que o SNMPP conecta com sucesso a lacuna entre a alta expressividade dos processos pontuais neurais e a interpretabilidade dos modelos clássicos. Ao introduzir um núcleo de influência neural estruturado, o método permite a descoberta explícita de relações estruturadas (incluindo inibição e efeitos atrasados) sem sacrificar a precisão preditiva. Os autores argumentam que essa parametrização estruturada atua como um viés indutivo eficaz, regularizando o problema de aprendizado e melhorando a generalização temporal. O trabalho demonstra que é possível ir além de representações de caixa preta para descobrir mecanismos interpretáveis — como efeitos de pico atrasados e topologias inibitórias — em fluxos de eventos complexos e multiclasse. Observa-se que trabalhos futuros podem potencialmente estender o modelo para perfis de influência temporal assimétricos.