Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

Resumen Técnico: CIR para Representaciones Invariantes en Grafos Dinámicos de Tiempo Continuo

Formulación del Problema
Los Grafos Dinámicos de Tiempo Continuo (CTDG, por sus siglas en inglés) modelan sistemas relacionales en evolución donde los nodos y las aristas se añaden o eliminan en puntos temporales arbitrarios, capturando cambios estructurales y temporales de grano fino. Si bien los métodos existentes de aprendizaje de representaciones para CTDG han logrado éxito en entornos de distribución in-distribution, exhiben una robustez limitada bajo desplazamientos fuera de la distribución (OOD). Específicamente, los modelos estándar suelen explotar correlaciones espurias —como patrones temporales específicos o motivos estructurales que aparecen frecuentemente en los datos de entrenamiento pero que no están vinculados causalmente a la interacción objetivo. Cuando estas correlaciones cambian en los entornos de prueba (debido a cambios en el proceso subyacente de generación de datos), el rendimiento del modelo se degrada significamente.

El desafío central abordado en este trabajo es la escasez de métodos capaces de aprender representaciones invariantes para CTDG bajo desplazamientos OOD. Los enfoques causales existentes, que dependen de modelos causales estructurales (SCM) e intervenciones, están diseñados principalmente para grafos estáticos o de tiempo discreto. Aplicar estos a CTDG es computacionalmente prohibitivo debido a la explosión combinatoria de posibles subgrafos estructurales y temporales, lo que hace que la intervención exhaustiva sea inviable.

Metodología: El Marco de Trabajo CIR
Para abordar estos desafíos, los autores proponen CIR (Representación Invariante de Tiempo Continuo), un marco basado en un nuevo Modelo Causal Estructural (SCM) denominado Modelo Causal Independiente y Confundido (ICCM).

1. El Marco ICCM:
   El ICCM modela explícitamente los mecanismos causales en CTDG distinguiendo entre:

   • Subgrafos Causales Invariantes: $C_s$ (estructural) y $C_t$ (temporal), que se codifican en representaciones latentes $H_S$ y $H_T$.
   • Confundidores: Confundidores estructurales ($D_s$) y temporales ($D_t$) que introducen correlaciones espurias, particularmente en entornos OOD.
   • Mecanismos de Predicción: El modelo define una predicción in-distribution $Y^I$ basada únicamente en características invariantes, y una predicción OOD $Y^C$ que tiene en cuenta los confundidores. El objetivo es realizar intervenciones causales (usando la operación $do$ de Pearl) para bloquear las rutas de puerta trasera inducidas por los confundidores, aislando así el efecto causal invariante.

2. Intervención Eficiente mediante NWGM:
   Intervenir directamente sobre todos los posibles subgrafos estructurales y temporales es computacionalmente intratable. Para superar esto, CIR aprovecha la aproximación de la Media Geométrica Ponderada Normalizada (NWGM). Esta técnica permite al modelo aproximar eficientemente el resultado intervencional esperado moviendo el operador de esperanza dentro de la no linealidad (por ejemplo, la sigmoide), evitando la necesidad de una enumeración exhaustiva de las configuraciones de subgrafos.

3. Arquitectura Neuronal:
   El ICCM se instancia dentro de una arquitectura de aprendizaje profundo que comprende:

   • Extractores de Subgrafos Duales: Módulos dedicados que extraen patrones causales estructurales y temporales.
     • Extracción Temporal: Utiliza codificación de tiempo continuo (basada en coseno) y atención entre nodos para identificar aristas temporalmente relevantes que apoyan causalmente un enlace objetivo, separándolas del ruido temporal no causal.
     • Extracción Estructural: Codifica las características de los nodos basándose en vecindarios de $n$-saltos dentro de una ventana de tiempo, utilizando mecanismos de atención para filtrar los nodos de fondo que introducen correlaciones espurias.
   • Banco de Memoria de Entorno: Para aproximar las distribuciones de los confundidores latentes ($D_s, D_t$) sin observarlos directamente, el modelo mantiene un banco de memoria de vectores prototipo. Estos prototipos representan clústeres de subgrafos no causales y factores no observados. El banco se actualiza mediante alineación autosupervisada y pérdidas de diversidad para asegurar que los prototipos capturen distintos modos de confusión.
   • Fusión y Predicción: Un módulo de atención multi-cabezal agrega las entradas del banco de memoria para estimar la contribución esperada de los confundidores. Estas estimaciones se fusionan con las representaciones invariantes ($H_S, H_T$) para producir la predicción OOD final. El modelo se entrena para optimizar simultáneamente los objetivos in-distribution e intervencionales (OOD).

Contribuciones Clave

• Primera Investigación de OOD en CTDG: El artículo afirma ser la primera investigación en investigar el aprendizaje de representaciones invariantes específicamente para CTDG bajo desplazamientos OOD, abordando un vacío donde los métodos causales existentes fallan debido a la naturaleza continua y no estacionaria de los datos.
• ICCM y Aproximación NWGM: Los autores introducen el ICCM para caracterizar los subgrafos causales invariantes en CTDG y desarrollan una estrategia de intervención eficiente utilizando NWGM. Esto evita la explosión combinatoria asociada con las intervenciones causales tradicionales en entornos dinámicos.
• El Marco de Trabajo CIR: Se diseña una arquitectura de aprendizaje profundo práctica para instanciar el ICCM, permitiendo el aprendizaje conjunto de representaciones estructurales/temporales invariantes y características específicas del entorno a través de un mecanismo de banco de memoria.

Resultados Experimentales
Se realizaron experimentos extensos en cuatro conjuntos de datos de referencia (MOOC, REDDIT, WIKI, UCI) con desplazamientos de distribución simulados (introducidos mediante perturbaciones estructurales).

• Rendimiento: CIR supera consistentemente a los modelos base del estado del arte, incluyendo modelos específicos de CTDG (TGN, TGAT, GraphMixer) y modelos robustos de DTDG (DIDA, EAGLE, Ada-DyGNN).
• Robustez: Bajo niveles crecientes de desplazamiento de distribución (ratios de atajo de 0.2 a 0.6), los modelos existentes sufren una degradación significativa del rendimiento (el AUC de GraphMixer cae más del 50% en MOOC). En contraste, CIR mantiene puntuaciones altas de AUC y AP con baja varianza, demostando una generalización superior.
• Eficiencia: CIR logra una alta eficiencia de inferencia (aproximadamente $5.4 \times 10^{-4}$ segundos por arista en REDDIT), comparable o incluso mejor que bases complejos como TGAT y TGN, y significativamente más rápido que DIDA, que requiere construir conjuntos de intervención para cada instantánea.
• Ablación: Eliminar componentes clave (codificadores estructurales/temporales, la rama de predicción OOD $Y^C$, o el banco de memoria) conduce a caídas sustanciales en el rendimiento, validando la necesidad de la arquitectura completa.

Significado
El artículo posiciona a CIR como un paso significativo hacia el desarrollo de Redes Neuronales de Grafos robustas y auto-interpretables para sistemas de tiempo continuo. Al cambiar el enfoque de modelar únicamente la dinámica temporal a identificar estructuras causales invariantes bajo desplazamientos de distribución, el trabajo proporciona una solución teórica y práctica para escenarios donde las distribuciones de datos son no estacionarias. Los autores afirman que CIR mitiga eficazmente las correlaciones espurias, asegurando que las predicciones dependan de mecanismos causales estables en lugar de artefactos ambientales transitorios, mejorando así la fiabilidad de los modelos de grafos dinámicos en aplicaciones del mundo real.