Résumé Technique : DynaSTy

Formulation du Problème

L'article aborde le défi de la prédiction d'attributs de nœuds multi-étapes et multi-dimensionnels sur des graphes dynamiques. Contrairement aux Réseaux de Neurones Graphiques Spatio-Temporels (STGNN) traditionnels qui supposent une matrice d'adjacence statique partagée entre toutes les étapes temporelles et les échantillons d'entraînement, DynaSTy cible des configurations où la structure du graphe (les arêtes) évolue au fil du temps et varie d'un échantillon d'entrée à l'autre.

Le problème est défini comme suit : Étant donnée une séquence de matrices de caractéristiques de nœuds $\{X_1, \dots, X_L\}$ et une séquence correspondante de matrices d'adjacence $\{A_1, \dots, A_L\}$ représentant un graphe dynamique $G_t = (V, E_t)$, l'objectif est de prédire les caractéristiques futures des nœuds $\{X_{L+1}, \dots, X_{L+H}\}$. Le cadre suppose un ensemble fixe de nœuds $V$ (une ontologie de nœuds partagée) mais permet à l'ensemble des arêtes $E_t$ de changer dynamiquement à chaque étape temporelle et de différer entre les échantillons d'entraînement (par exemple, différents sujets dans une étude de réseaux cérébraux ou différents jours dans un réseau de trafic).

Méthodologie

DynaSTy est un modèle spatio-temporel end-to-end biaisé par les arêtes dynamiques, composé d'un encodeur spatial et d'un décodeur temporel.

1. Vue d'ensemble de l'Architecture

• Représentation d'Entrée : Chaque échantillon d'entraînement consiste en un tenseur d'historique d'attributs de nœuds $X_{hist} \in \mathbb{R}^{N \times D \times L}$ et une séquence de graphes dynamiques $A_{hist} \in \mathbb{R}^{N \times N \times L}$.
• Encodeur Spatial (Attention Biaisée par les Arêtes) :
  • L'encodeur utilise une pile de couches de transformateurs.
  • Mécanisme Central : Au lieu d'apprendre un graphe statique ou d'utiliser une adjacence fixe, le modèle injecte la matrice d'adjacence observée $A_t$ à chaque étape temporelle sous forme de biais additif apprenable dans les scores d'attention.
  • Le score d'attention entre le nœud $i$ et le nœud $j$ à l'instant $t$ est calculé comme suit :
    $$\text{score}_{ijt} = \frac{Q_{it}^\top K_{jt}}{\sqrt{d}} + \text{Bias}_{ijt}(A_t)$$
  • Le terme de biais est calculé via un petit Perceptron Multicouche (MLP) sur l'entrée d'adjacence $A_t[i, j]$. Cela permet au modèle d'adapter l'attention spatiale à la topologie actuelle tout en conservant la flexibilité de l'auto-attention. Le terme basé sur le contenu ($Q^\top K$) peut outrepasser le biais du graphe si la similarité des caractéristiques suggère une relation différente.
  • L'encodeur est équivariant par permutation et prend en charge les graphes par échantillon en fournissant simplement la séquence $A_t$ spécifique à cet échantillon.
• Décodeur Temporel :
  • Les caractéristiques encodées sont transmises à un décodeur basé sur GRU qui fonctionne de manière autorégressive sur l'horizon de prévision $H$.
  • Échantillonnage Programmé : Pour atténuer la divergence entraînement-test (où la vérité terrain n'est pas disponible lors de l'inférence), le décodeur utilise un échantillonnage programmé. Pendant l'entraînement, l'entrée pour l'étape suivante est choisie de manière probabiliste entre la vérité terrain et la prédiction précédente du modèle, la probabilité d'utiliser la prédiction du modèle augmentant au fil des époques.
  • Pondération de l'Horizon de la Perte : Le modèle emploie une fonction de perte combinant l'Erreur Absolue Moyenne (MAE) avec des poids décroissant exponentiellement pour mettre l'accent sur la précision à court terme.
  • Perte de Variation : Un terme de perte secondaire pénalise les différences dans les dérivées temporelles (changements d'image à image) entre les prédictions et la vérité terrain, empêchant des prédictions trop lissées.

2. Améliorations de l'Entraînement

• Pré-entraînement Masqué Nœud/Temps : Inspiré par la modélisation de langage masquée, le modèle est pré-entraîné pour reconstruire des entrées masquées aléatoirement dans le tenseur de caractéristiques d'entrée $X_{hist}$ en utilisant la séquence d'adjacence correspondante $A_{hist}$. Cet objectif auto-supervisé améliore l'apprentissage de représentations, en particulier pour des structures bruyantes ou irrégulières.
• Apprentissage par Curriculum : L'horizon de prévision est augmenté progressivement au cours des premières étapes de l'entraînement supervisé.

Contributions Clés

1. Prévision de Graphes Dynamiques par Échantillon : L'article formule et résout la tâche de prédiction d'attributs de nœuds multi-étapes où chaque exemple d'entraînement fournit sa propre topologie évolutive, dépassant l'hypothèse d'un unique graphe global statique.
2. Encodeur Spatial Portable sur les Graphes : L'introduction d'un mécanisme d'attention biaisé par les arêtes qui injecte la matrice d'adjacence fournie comme un biais additif. Cela préserve l'équivariance par permutation tout en intégrant la dynamique des arêtes sans exiger que le modèle apprenne la structure du graphe à partir de zéro.
3. Prévision Robuste à Long Terme : La combinaison de l'échantillonnage programmé, de la perte pondérée par l'horizon et de la perte de variation adresse l'accumulation d'erreurs dans les prévisions multi-étapes.
4. Validation Empirique : La méthode est validée sur des ensembles de données hétérogènes (réseaux de confiance Bitcoin, trafic de Los Angeles et réseaux cérébraux fMRI), démontrant des améliorations constantes par rapport à des bases de référence solides.

Résultats Expérimentaux

Les auteurs ont évalué DynaSTy sur plusieurs ensembles de données :

• Bitcoin-OTC et Bitcoin-Alpha : Réseaux de confiance dynamiques où les arêtes représentent des évaluations évoluant dans le temps.
• METR-LA et PEMS-BAY : Réseaux de capteurs de trafic (utilisés ici avec des graphes dynamiques semi-synthétiques pour tester la robustesse).
• Réseaux Cérébraux (ABIDE) : Données fMRI où les profils de connectivité varient selon le sujet.

Performance :

• DynaSTy a constamment surpassé des bases de référence solides (incluant STGCN, DCRNN, Graph WaveNet, MTGNN, DGCRN et PDFormer) en termes d'Erreur Quadratique Moyenne Racine (RMSE) et d'Erreur Absolue Moyenne (MAE) sur tous les ensembles de données.
• Études d'Ablation :
  • La suppression du mécanisme de biais d'arête a provoqué une chute substantielle des performances sur les ensembles de données avec de vrais graphes dynamiques (Bitcoin et Cerveau), confirmant la nécessité de conditionner sur l'adjacence par étape temporelle.
  • La suppression du pré-entraînement masqué ou de la perte de variation a entraîné une dégradation modérée, indiquant leur rôle en tant que régularisateurs efficaces.
  • Expériences de Mélange : Lorsque les graphes dynamiques d'entrée ont été mélangés (découplant la dynamique des nœuds de la structure de graphe spécifique), les performances sur les ensembles de données Bitcoin et Cerveau ont chuté significativement, prouvant que le modèle dépend de la structure de graphe spécifique à chaque échantillon. En revanche, les ensembles de données de trafic (qui utilisent des graphes statiques partagés) n'ont montré aucune telle baisse.
• Analyse de Cohorte : Dans une expérience de réseau cérébral impliquant des cohortes neurotypiques et neurodivergentes, DynaSTy (conditionnant sur des graphes par sujet) a maintenu une haute précision lors d'un entraînement conjoint, tandis qu'une base de référence (Graph WaveNet) apprenant une unique matrice d'adjacence partagée a subi une dégradation significative des performances lors de l'entraînement conjoint, échouant à capturer les motifs de connectivité spécifiques à la cohorte.

Importance et Revendications

L'article revendique que DynaSTy comble une lacune critique dans la littérature en permettant la prévision d'attributs de nœuds dans des contextes multi-systèmes où les structures de graphes sont non seulement variables dans le temps, mais aussi spécifiques à l'échantillon. Alors que les travaux antérieurs se concentrent sur la prédiction de liens ou la classification de nœuds sur des graphes dynamiques, ou supposent des graphes statiques pour la prévision d'attributs, DynaSTy cible explicitement le régime des graphes dynamiques par échantillon.

Les auteurs affirment que leur approche généralise les STGNN à des domaines plus larges, tels que la prévision de signaux de régions cérébrales basée sur l'IRMf, où les sujets individuels partagent les mêmes régions anatomiques (nœuds) mais présentent des profils de connectivité distincts et évolutifs (arêtes). Les résultats suggèrent que modéliser la structure de graphe dynamique spécifique à chaque échantillon est crucial pour la précision, en particulier dans les populations hétérogènes, et que le mécanisme d'attention biaisé par les arêtes proposé intègre efficacement ces informations structurelles sans sacrifier la flexibilité de l'auto-attention.