DURENDAL: Graph deep learning framework for temporal heterogeneous networks

Resumen Técnico de DURENDAL: Marco de Aprendizaje Profundo de Grafos para Redes Heterogéneas Temporales

Declaración del Problema
Las Redes Heterogéneas Temporales (THN, por sus siglas en inglés) son estructuras en evolución que se encuentran en diversas aplicaciones del mundo real, incluyendo redes de citas, sistemas de recomendación y grafos de conocimiento. Si bien las Redes Neuronales de Grafos (GNN) han logrado el éxito en grafos estáticos y homogéneos, su aplicación a las THN enfrenta desafíos significativos. Las arquitecturas de GNN dinámicas existentes están diseñadas principalmente para grafos homogéneos. Los pocos modelos que intentan manejar la heterogeneidad en entornos dinámicos sufren de limitaciones en el diseño del modelo, las estrategias de evaluación y la escalabilidad del entrenamiento. Específicamente, las soluciones actuales suelen tener dificultades para incorporar diseños de GNN estáticos de vanguardia (por ejemplo, conexiones de salto o mecanismos de atención), dependen de divisiones fijas de entrenamiento-prueba que no reflejan la naturaleza evolutiva de los datos, y están fuertmente especializadas para tareas específicas como la completitud de bases de conocimiento, lo que limita su capacidad para generar embeddings de propósito general. Además, existe una escasez de conjuntos de datos de referencia estándar para las THN que cumplan con criterios rigurosos de evaluación temporal y heterogénea.

Metodología: El Marco DURENDAL
Para abordar estas limitaciones, los autores proponen DURENDAL, un marco de aprendizaje de grafos profundo diseñado para convertir fácilmente cualquier modelo de aprendizaje de grafos heterogéneos en redes dinámicas y evolutivas. Inspirado en el marco ROLAND para grafos homogéneos dinámicos, DURENDAL integra principios de modelos basados en instantáneas (snapshots) y de paso de mensajes multirelacionales.

• Estados de Nodo Jerárquicos: El marco trata los embeddings de los nodos en diferentes capas de GNN como estados de nodo jerárquicos. Estos estados se actualizan recurrentemente a través del tiempo mediante módulos de embedding personalizables.
• Manejo de la Heterogeneidad: DURENDAL introduce estados de nodo jerárquicos heterogéneos y esquemas de agregación semántica personalizables. Esto permite que opciones arquitectónicas modernas, como las conexiones de salto y los mecanismos de atención, se incorporen de manera fluida.
• Dos Esquemas de Actualización: El artículo propone y analiza dos estrategias distintas para actualizar los estados de nodo heterogéneos temporales:
  1. Actualizar-Luego-Agregar (UTA, Update-Then-Aggregate): Los estados de los nodos se actualizan a lo largo del tiempo para cada tipo de relación individualmente antes de ser agregados. Esto preserva estados de nodo parciales y captura la dinámica temporal relacional, lo que lo hace adecuado para el aprendizaje continuo y escenarios que requieren actualizaciones parciales. Sin embargo, incurre en una mayor huella de memoria.
  2. Agregar-Luego-Actualizar (ATU, Aggregate-Then-Update): Primero se agregan las representaciones parciales, y el estado de nodo resultante se actualiza utilizando un único módulo. Esto reduce el número de parámetros aprendibles y el uso de memoria, mitigando el sobreajuste, aunque pierde la heterogeneidad de la información pasada al nivel de agregación semántica.
• Entrenamiento y Evaluación: El marco emplea un procedimiento de entrenamiento incremental y un entorno de evaluación de actualización en vivo. En este entorno, el modelo se ajusta y se prueba en cada nueva instantánea del grafo ($G_t$) utilizando la información hasta el tiempo $t-1$, en lugar de depender de divisiones históricas fijas. Este enfoque asegura que la evaluación refleje la naturaleza evolutiva de los datos.

Contribuciones Clave
Los autores detallan cuatro contribaciones principales:

1. Un Nuevo Marco: DURENDAL permite la fácil conversión de cualquier GNN heterogénea a un entorno dinámico, incluyendo la adaptación de las estrategias de entrenamiento y los protocolos de evaluación.
2. Esquemas de Actualización: La introducción de dos esquemas de actualización distintos (UTA y ATU) para embeddings de nodos heterogéneos temporales, con una discusión detallada de sus compensaciones entre escalabilidad, memoria y potencia de aprendizaje.
3. Extensión de Benchmarks: La definición de requisitos mínimos para que los conjuntos de datos sirvan como terrenos de prueba válidos para modelos THN (heterogeneidad, temporalidad y evolutividad). Basándose en estos criterios, los autores introducen dos nuevos conjuntos de datos de grafos heterogéneos temporales de alta resolución: TaobaoTH (derivado de comportamientos de usuarios de comercio electrónico) y SteemitTH (derivado de una plataforma social de la Web3 de la cadena de bloques).
4. Evaluación Exhaustiva: Una evaluación experimental del marco en cuatro conjuntos de datos de THN (incluyendo GDELT18 e ICEWS18) para tareas de predicción de enlaces futuros, utilizando el entorno de actualización en vivo.

Resultados Experimentales
El marco fue evaluado en tareas de predicción de enlaces futuros (tanto monorelacionales como multirelacionales) en cuatro conjuntos de datos: GDELT18, ICEWS18, TaobaoTH y SteemitTH. El rendimiento se midió mediante el Área Bajo la Curva de Precisión-Recall (AUPRC) y el Rango Recíproco Medio (MRR).

• Rendimiento: DURENDAL logró un rendimiento superior comparado con las soluciones actuales para grafos evolutivos y dinámicos en tres de los cuatro conjuntos de datos.
  • En GDELT18 e ICEWS18 (grafos de conocimiento de eventos), DURENDAL superó a los modelos de referencia, mostrando el esquema UTA una fortaleza particular en GDELT18 debido a su capacidad para capturar la dinámica temporal relacional en datos altamente variables.
  • En SteemitTH, DURENDAL alcanzó puntuaciones altas de AUPRC (0.982) y MRR (0.891), aprovechando los atributos de los nodos y las relaciones semánticas.
  • En TaobaoTH, donde la evolutividad era baja, DURENDAL funcionó bien utilizando una actualización de combinación convexa simple, lo que sugiere que para conjuntos de datos de baja evolución, el modelado temporal complejo puede ser menos crítico que los patrones estructurales.
• Efectividad del Diseño del Modelo: La conversión de modelos heterogéneos estáticos (RGCN, HAN, HGT) dentro del marco DURENDAL mejoró consistentemente su rendimiento en entornos dinámicos. Los esquemas de agregación basados en atención (como en HAN y HGT) resultaron particularmente efectivos.
• Comparación de Esquemas de Actualización: El esquema UTA generalmente dominó, particularmente en conjuntos de datos con granularidad temporal más gruesa y mayor evolutividad. Sin embargo, el esquema ATU siguió siendo una opción rentable para conjuntos de datos con granularidad más fina o donde las restricciones de memoria eran una prioridad. Ambos esquemas de DURENDAL superaron al esquema de actualización de ROLAND (que carece de manejo de heterogeneidad).

Significancia y Reivindicaciones
El artículo afirma que DURENDAL cierra eficazmente la brecha entre el aprendizaje de grafos heterogéneos estáticos y el análisis de redes dinámicas. Al proporcionar un marco flexible que soporta diversos diseños arquitectónicos y estrategias de actualización, permite a los investigadores adaptar modelos existentes a datos evolutivos sin estar limitados por diseños específicos de tareas. La introducción de nuevos benchmarks de alta resolución (TaobaoTH y SteemitTH) y el riguroso protocolo de evaluación de actualización en vivo abordan la falta actual de terrenos de prueba estandarizados para las THN. Los resultados demuestran que preservar la información heterogénea a través de esquemas de actualización específicos (como UTA) mejora significativamente el poder de predicción en entornos dinámicos, validando los principios de diseño del marco.