Résumé technique : Prédiction de liens dynamique avec des réseaux de neurones à graphes signés améliorés temporellement

1. Énoncé du problème

Les réseaux signés temporels (RST) modélisent l'évolution des relations coopératives et adverses dans des domaines tels que les médias sociaux, les systèmes de confiance et les transactions financières. Bien que les réseaux de neurones à graphes (GNN) aient fait progresser la prédiction de liens statique et non signée, l'apprentissage efficace dans les graphes signés temporels reste un défi. Les méthodes existantes traitent souvent les réseaux comme des instantanés statiques ou ne parviennent pas à prendre en compte l'interaction complexe entre les relations signées (polarité positive/négative), les structures évolutives et les contraintes de la théorie de l'équilibre.

Plus précisément, les approches actuelles peinent face à quatre défis clés :

1. Déclin de l'information temporelle : L'influence des interactions signées historiques diminue au fil du temps, pourtant les GNN signés (SGNN) statiques manquent de mécanismes adaptatifs pour pondérer les preuves récentes par rapport aux anciennes.
2. Structures d'équilibre évolutives : Les motifs d'équilibre structurel (par exemple, la stabilité triadique) ne sont pas fixes ; ils nécessitent un recalibrage continu à mesure que les réseaux se développent.
3. Dynamiques temporelles hétérogènes : Différents nœuds présentent des comportements temporels distincts (par exemple, des nœuds centraux conservant une pertinence à long terme par rapport à des nœuds périphériques dont l'influence décline rapidement), ce qui nécessite une pondération adaptative plutôt qu'uniforme.
4. Interprétabilité : L'intégration de mécanismes temporels réduit souvent la transparence essentielle pour les applications critiques en matière de confiance, et les modèles d'attention temporelle existants offrent un aperçu limité de la manière dont les facteurs temporels pilotent les prédictions signées.

2. Méthodologie

Les auteurs proposent un cadre d'amélioration temporelle modulaire conçu pour intégrer le contexte historique dans des architectures SGNN par ailleurs statiques, sans modifier leurs codages structurels fondamentaux. Le cadre est agnostique à l'architecture, mais il est ici mis en œuvre en utilisant le Transformateur de graphe signés auto-explicatif (SE-SGformer).

Composant principal : Module d'intégration du contexte historique (HCIM)

Le HCIM extrait des représentations informées temporellement à partir des plongements de graphes historiques via un processus en trois étapes :

1. Pondération temporelle adaptative :

   • Applique une pondération apprenable et consciente de la récence aux plongements de nœuds historiques $\{Z(t-T), \dots, Z(t-1)\}$.
   • Utilise un coefficient de pondération $w_\tau$ défini par un facteur de décroissance exponentielle $\lambda$ et un paramètre d'accentuation de la récence $\gamma$.
   • Formule : $w_\tau = \frac{\lambda^{T-1-\tau} \cdot e^{\tau/\gamma}}{\sum_{i=0}^{T-1} \lambda^{T-1-i} \cdot e^{i/\gamma} + \epsilon}$.
   • Cela permet au modèle de prioriser de manière adaptative les interactions historiques informatives plutôt que de traiter tous les instantanés passés de manière égale.

2. Modélisation des motifs séquentiels :

   • Les plongements pondérés sont empilés en une séquence temporelle et traités par un réseau LSTM.
   • Cette étape capture les dépendances séquentielles et les trajectoires temporelles à long terme dans les relations signées.

3. Intégration de contexte basée sur l'attention :

   • Un mécanisme d'auto-attention multi-têtes est appliqué aux sorties du LSTM pour mettre sélectivement l'accent sur les motifs temporels historiquement informatifs.
   • La représentation correspondant au dernier pas de temps est projetée pour générer la représentation finale du contexte historique ($H_{context}$).

Stratégies de fusion temporelle

Le contexte historique extrait est fusionné avec les plongements de nœuds actuels ($Z_{current}$) en utilisant l'une des deux stratégies suivantes :

• Pondération globale : Applique un seul paramètre apprenable $\alpha$ uniformément à tous les nœuds. Adapté aux réseaux synthétiques présentant des motifs temporels homogènes.
• Pondération adaptative aux nœuds : Utilise un Perceptron multicouche (MLP) pour générer des poids de fusion spécifiques aux nœuds $\alpha_{node}$. Cela permet de gérer les dynamiques temporelles hétérogènes dans les données réelles en permettant à différents nœuds d'ajuster dynamiquement l'importance des informations historiques par rapport aux informations actuelles.

Les plongements améliorés finaux ($Z_{enhanced}$) remplacent les plongements originaux dans les couches de prédiction, tandis que la formulation originale de la perte et les objectifs de prédiction signée restent inchangés.

3. Contributions clés

• Cadre HCIM : Un cadre temporel systématique en trois étapes combinant une pondération apprenable consciente de la récence, une modélisation de trajectoire basée sur LSTM et une attention temporelle multi-têtes.
• Double pondération temporelle : Introduction de stratégies de pondération à la fois globale et adaptative aux nœuds pour gérer à la fois les motifs synthétiques homogènes et les dynamiques réelles hétérogènes.
• Préservation de l'interprétabilité : Le cadre maintient l'explicabilité du modèle en utilisant des paramètres apprenables explicites pour le biais de récence et les poids de fusion, permettant aux praticiens de valider les facteurs de décision temporels.
• Conception agnostique à l'architecture : L'approche étend les SGNN existants (démontré sur SE-SGformer) sans redessiner le socle, préservant les fondations structurelles telles que les codages de marche aléatoire signée et les biais d'attention structurelle.

4. Résultats expérimentaux

Le cadre a été évalué sur des jeux de données réels (Bitcoin OTC, Bitcoin Alpha, Reddit Hyperlink) et des réseaux synthétiques (Barabási-Albert, Watts-Strogatz).

• Gains de performance : Le SE-SGformer amélioré temporellement a systématiquement surpassé la ligne de base statique sur tous les jeux de données avec des améliorations statistiquement significatives ($p < 0.001$).
  • Bitcoin OTC : +3,79 % d'amélioration relative de l'AUC ; réduction de l'erreur de 30,32 %.
  • Bitcoin Alpha : +5,76 % d'amélioration relative de l'AUC ; réduction de l'erreur de 40,06 %.
  • Réseaux synthétiques : Le modèle a montré les gains les plus spectaculaires sur les données synthétiques, avec des améliorations relatives de l'AUC dépassant 13 % et des réductions d'erreur allant jusqu'à 41,77 % sur les réseaux Barabási-Albert et Watts-Strogatz.
• Robustesse : Malgré l'hétérogénéité structurelle extrême et la domination des hubs dans le sous-ensemble Reddit Hyperlink, le cadre a atteint une amélioration de l'AUC de 1,37 %, démontrant son efficacité même dans des topologies hautement irrégulières.
• Efficacité : Bien que le HCIM introduise une surcharge de calcul supplémentaire (s'échelonnant linéairement avec les nœuds et quadratiquement avec les instantanés temporels), les augmentations de temps d'exécution empiriques étaient modérées (de 1,48 % à 24,80 %), restant traitables pour les jeux de données évalués.

5. Importance et affirmations

L'article positionne ce travail comme un pont crucial entre l'apprentissage de graphes temporels et les réseaux de neurones à graphes signés. Sa signification principale réside dans :

• Combler le fossé : Il aborde le manque de modélisation temporelle explicite dans l'apprentissage de graphes signés, permettant une prédiction précise de liens signés dans des environnements dynamiques et adverses.
• Préservation de l'interprétabilité : Contrairement aux approches qui redessinent entièrement les architectures, cette méthode injecte une conscience temporelle dans des SGNN existants et interprétables, maintenant la capacité d'expliquer les prédictions basées sur les théories de l'équilibre structurel et du statut.
• Évolutivité et flexibilité : En étant agnostique à l'architecture, elle fournit une base évolutive pour les futures recherches sur les SGNN temporels.
• Impact des applications : Le cadre fait progresser les capacités dans des domaines où la compréhension de l'évolution des relations coopératives et adverses est essentielle, tels que la détection de fraude financière et la modération des communautés en ligne.

Les auteurs concluent que les interactions signées temporelles contiennent des informations prédictives au-delà de la seule structure de graphe statique, et que la séparation des représentations historiques et structurelles avant une fusion adaptative est une stratégie bénéfique pour l'apprentissage de graphes temporels.