Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

Resumo Técnico: CIR para Representações Invariantes em Grafos Dinâmicos de Tempo Contínuo

Formulação do Problema
Grafos Dinâmicos de Tempo Contínuo (CTDGs) modelam sistemas relacionais em evolução onde nós e arestas são adicionados ou removidos em pontos temporais arbitrários, capturando mudanças estruturais e temporais detalhadas. Embora os métodos existentes de aprendizado de representação para CTDGs tenham alcançado sucesso em cenários de distribuição interna (in-distribution), eles exibem robustez limitada sob deslocamentos de distribuição fora da distribuição (OOD). Especificamente, modelos padrão frequentemente exploram correlações espúrias — como padrões temporais específicos ou motivos estruturais que aparecem frequentemente nos dados de treinamento, mas que não estão causalmente ligados à interação alvo. Quando essas correlações mudam em ambientes de teste (por exemplo, devido a mudanças no processo subjacente de geração de dados), o desempenho do modelo degrada significamente.

O desafio central abordado neste trabalho é a escassez de métodos capazes de aprender representações invariantes para CTDGs sob deslocamentos OOD. Abordagens causais existentes, que dependem de modelos causais estruturais (SCMs) e intervenções, são projetadas primariamente para grafos estáticos ou de tempo discreto. Aplicá-las a CTDGs é computacionalmente proibitivo devido à explosão combinatória de possíveis subgrafos estruturais e temporais, tornando a intervenção exaustiva inviável.

Metodologia: O Framework CIR
Para enfrentar esses desafios, os autores propõem o CIR (Representação Invariante de Tempo Contínuo), um framework fundamentado em um novo Modelo Causal Estrutural (SCM) denominado Modelo Causal Independente e Confundido (ICCM).

1. O Framework ICCM:
   O ICCM modela explicitamente os mecanismos causais em CTDGs, distinguindo entre:

   • Subgrafos Causais Invariantes: $C_s$ (estrutural) e $C_t$ (temporal), que são codificados em representações latentes $H_S$ e $H_T$.
   • Confundidores: Confundidores estruturais ($D_s$) e temporais ($D_t$) que introduzem correlações espúrias, particularmente em ambientes OOD.
   • Mecanismos de Predição: O modelo define uma predição de distribuição interna $Y^I$ baseada apenas em características invariantes, e uma predição OOD $Y^C$ que considera os confundidores. O objetivo é realizar intervenções causais (usando a operação $do$ de Pearl) para bloquear caminhos de backdoor induzidos por confundidores, isolando assim o efeito causal invariante.

2. Intervenção Eficiente via NWGM:
   Intervir diretamente em todos os possíveis subgrafos estruturais e temporais é computacionalmente intratável. Para superar isso, o CIR utiliza a aproximação por Média Geométrica Ponderada Normalizada (NWGM). Esta técnica permite que o modelo aproxime eficientemente o resultado intervencional esperado ao mover o operador de expectativa para dentro da não-linearidade (ex: sigmoide), evitando a necessidade de enumeração exaustiva de configurações de subgrafos.

3. Arquitetura Neural:
   O ICCM é instanciado dentro de uma arquitetura de aprendizado profundo composta por:

   • Extratores de Subgrafos Duplos: Módulos dedicados extraem padrões causais estruturais e temporais.
     • Extração Temporal: Utiliza codificação de tempo contínuo (baseada em cosseno) e atenção entre nós para identificar arestas temporalmente relevantes que suportam causalmente um link alvo, separando-as de ruídos temporais não causais.
     • Extração Estrutural: Codifica características de nós baseadas em vizinhanças de $n$-saltos dentro de uma janela de tempo, usando mecanismos de atenção para filtrar nós de fundo que introduzem correlações espúrias.
   • Banco de Memória de Ambiente: Para aproximar as distribuições dos confundidores latentes ($D_s, D_t$) sem observá-los diretamente, o modelo mantém um banco de memória de vetores protótipos. Esses protótipos representam clusters de subgrafos não causais e fatores não observados. O banco é atualizado via alinhamento autossupervisionado e perdas de diversidade para garantir que os protótipos capturem modos de confusão distintos.
   • Fusão e Predição: Um módulo de atenção multi-cabeça agrega as entradas do banco de memória para estimar a contribuição esperada dos confundidores. Essas estimativas são fundidas com as representações invariantes ($H_S, H_T$) para produzir a predição OOD final. O modelo é treinado para otimizar simultaneamente os objetivos de distribuição interna e intervencional (OOD).

Principais Contribuições

• Primeira Investigação de OOD em CTDGs: O artigo afirma ser o primeiro a investigar o aprendizado de representação invariante especificamente para CTDGs sob deslocamentos OOD, abordando uma lacuna onde métodos causais existentes falham devido à natureza contínua e não estacionária dos dados.
• ICCM e Aproximação NWGM: Os autores introduzem o ICCM para caracterizar subgrafos causais invariantes em CTDGs e desenvolvem uma estratégia de intervenção eficiente usando NWGM. Isso evita a explosão combinatória associada às intervenções causais tradicionais em ambientes dinâmicos.
• O Framework CIR: Uma arquitetura prática de aprendizado profundo é projetada para instanciar o ICCM, permitindo o aprendizado conjunto de representações estruturais/temporais invariantes e características específicas do ambiente via mecanismo de banco de memória.

Resultados Experimentais
Experimentos extensivos foram conduzidos em quatro conjuntos de dados de referência (MOOC, REDDIT, WIKI, UCI) com deslocamentos de distribuição simulados (introduzidos via perturbações estruturais).

• Desempenho: O CIR supera consistentemente os baselines de estado da arte, incluindo modelos específicos de CTDG (TGN, TGAT, GraphMixer) e modelos robustos de DTDG (DIDA, EAGLE, Ada-DyGNN).
• Robustez: Sob níveis crescentes de deslocamento de distribuição (razões de atalho de 0.2 a 0.6), os modelos existentes sofrem degradação significativa de desempenho (ex: o AUC do GraphMixer cai mais de 50% no MOOC). Em contraste, o CIR mantém altos escores de AUC e AP com baixa variância, demonstrando generalização superior.
• Eficiência: O CIR alcança alta eficiência de inferência (aprox. $5.4 \times 10^{-4}$ segundos por aresta no REDDIT), comparável ou até melhor que baselines complexos como TGAT e TGN, e significativamente mais rápido que o DIDA, que requer a construção de conjuntos de intervenção para cada snapshot.
• Ablação: Remover componentes chave (codificadores estruturais/temporais, o ramo de predição OOD $Y^C$ ou o banco de memória) leva a quedas substanciais de desempenho, validando a necessidade da arquitetura completa.

Significância
O artigo posiciona o CIR como um passo significativo para o desenvolvimento de Redes Neurais de Grafos robustas e autointerpretáveis para sistemas de tempo contínuo. Ao mudar o foco de apenas modelar a dinâmica temporal para identificar estruturas causais invariantes sob deslocamentos de distribuição, o trabalho fornece uma solução teórica e prática para cenários onde as distribuições de dados são não estacionárias. Os autores afirmam que o CIR mitiga efetivamente as correlações espúrias, garantindo que as predições dependam de mecanismos causais estáveis em vez de artefatos ambientais transitórios, aumentando assim a confiabilidade dos modelos de grafos dinâmicos em aplicações do mundo real.