Résumé Technique : Ne sautez jamais un batch : Apprentissage dense des GNN temporels via la pseudo-supervision adaptative

1. Énoncé du problème

Les réseaux de graphes temporels (TGN - Temporal Graph Networks) sont des modèles de pointe pour les tâches de graphes dynamiques, pourtant leur efficacité d'entraînement est sévèrement entravée par la rareté de la supervision dans les jeux de données du monde réel. Dans de nombreux problèmes appliqués (ex. : recommandation, détection de fraude), les interactions étiquetées constituent moins de 2 % du total des événements. Par conséquent, les implémentations standards des TGN traitent les batches selon deux modes distincts :

1. Batches supervisés : Étapes d'entraînement complètes impliquant des mises à jour de gradients et des mises à jour de mémoire.
2. Batches non supervisés : Seules les mises à jour de la mémoire et de l'échantillonneur de voisins ont lieu ; aucune mise à jour de paramètres basée sur le gradient n'est effectuée car les étiquettes de vérité terrain sont absentes.

Ce comportement de « saut de batch » crée un goulot d'étranglement significatif. Le modèle saute les mises à jour de paramètres pour la vaste majorité des données, ce qui entraîne des mises à jour de gradients à haute variance lorsque les étiquettes sont enfin disponibles, et une convergence lente en temps réel. L'article postule que les préférences des nœuds évoluent lentement, suggérant que les signaux de supervision historiques peuvent être exploités pour générer des pseudo-cibles informatives pour ces batches autrement inactifs.

2. Méthodologie : Étiquettes à moyenne mobile (MAL - Moving-Averaged Labels)

Les auteurs proposent les Étiquettes à moyenne mobile (MAL), un schéma de pseudo-étiquetage qui génère des cibles douces (soft targets) pour les batches non supervisés en se basant sur les signaux de supervision historiques. Cette approche est orthogonale à l'architecture du modèle sous-jacent (ex. : TGNv2, DyRep) et n'introduit aucun paramètre apprenable supplémentaire.

Mécanisme central

Pour un nœud $v$ dans un batch $B_t$ dépourvu d'étiquettes de vérité terrain, MAL construit une pseudo-cible $\tilde{y}^{(v)}_t$ en utilisant les cibles observées par le passé. La pseudo-cible est définie comme :
$$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$$
Où :

• $\bar{y}^{(v)}_t$ est un agrégat des cibles historiques.
• $\epsilon$ est un bruit de moyenne nulle échantillonné à partir d'une distribution uniforme, normalisé pour garantir que $\tilde{y}^{(v)}_t$ reste une distribution de probabilité valide (la somme est égale à 1).
• $\gamma$ est un facteur d'échelle du bruit agissant comme un régularisateur.

Stratégies d'agrégation

L'article évalue trois stratégies pour calculer l'agrégat historique $\bar{y}^{(v)}_t$ :

1. Prévision persistante (PF - Persistent Forecast) : Réutilise l'étiquette la plus récemment observée pour le nœud.
2. Moyenne mobile (MA - Moving Average) : Met à jour de manière incrémentale la pseudo-étiquette en utilisant une taille de fenêtre $w$. Lorsqu'une nouvelle cible $y^{(v)}_t$ arrive, l'agrégat est mis à jour comme suit :
   $$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$$
3. Moyenne historique (HA - Historical Average) : Agrège toutes les cibles passées avec un poids égal (ligne de base théorique).

Pipeline d'entraînement

La méthode modifie la boucle d'entraînement standard des TGN. Lorsqu'un batch arrive sans étiquettes de vérité terrain, le modèle calcule les pseudo-cibles $\tilde{y}$ en utilisant la stratégie d'agrégation choisie. Le modèle effectue ensuite une passe avant complète, calcule la perte d'entropie croisée par rapport à ces pseudo-étiquettes, et effectue une rétropropagation pour mettre à jour à la fois les paramètres du GNN et les modules de mémoire. Cela transforme le calcul « inactif » en étapes d'entraînement productives.

3. Analyse théorique

L'article fournit une justification théorique de la raison pour laquelle MAL améliore la vitesse de convergence en réduisant la variance des gradients stochastiques.

• Réduction de la variance : Sous l'hypothèse de préférences d'utilisateurs constantes (ou évoluant lentement), les auteurs modélisent la génération d'étiquettes comme un processus où les étiquettes réelles sont des vecteurs de type "one-hot". Ils prouvent qu'agréger $h$ étiquettes historiques (Moyenne Historique) réduit la variance de l'estimateur d'étiquette par rapport à une observation unique.
• Borne de convergence : Pour la descente de gradient stochastique (SGD) avec une perte $\mu$-fortement convexe, la borne de regret $R_T$ est proportionnelle à la variance du gradient $\sigma^2$. Les auteurs dérivent que pour les Étiquettes de Moyenne Historique (HA), la variance évolue selon $\frac{1}{\min(h, k)}$, où $h$ est la longueur de l'historique et $k$ est le nombre de classes d'interaction possibles.
• Résultat : Cela implique une accélération théorique de la convergence d'un facteur $\min(h, k)$ par rapport à l'entraînement vanilla, à condition que l'hypothèse de cohérence temporelle soit respectée.

4. Résultats expérimentaux

Les auteurs ont évalué MAL sur le Temporal Graph Benchmark (TGB) en utilisant quatre jeux de données à grande échelle : tgbn-trade, tgbn-genre, tgbn-reddit, et tgbn-token. Ils ont implémenté MAL sur TGNv2 et une version modifiée de DyRepv2 (incorporant l'identification source-cible de TGNv2).

Principales conclusions

• Performance prédictive : MAL a systématiquement surpassé l'entraînement vanilla et les autres lignes de base. Sur le modèle TGNv2, la Moyenne Mobile (MA) a obtenu des améliorations de l'NDCG@10 allant de 3 % à 17 % sur les jeux de données par rapport à l'entraînement vanilla.
• Vitesse de convergence : Le gain le plus important concerne l'efficacité de l'entraînement. MAL a réduit le temps nécessaire pour atteindre la précision (temps pour atteindre le score maximal) d'un facteur moyen de 6× sur tous les jeux de données. Dans certains cas (ex. : tgbn-token), la méthode a atteint la performance d'un modèle vanilla pleinement convergé en une fraction du temps.
• Comparaison avec les lignes de base :
  • Modèles Vanilla : De nombreuses architectures existantes (JODIE, TGAT, CAW-N, etc.) se sont effondrées vers des solutions triviales (performant de manière similaire à une ligne de base de cible moyenne) sur les jeux de données TGB sans les améliorations architecturales spécifiques de TGNv2.
  • Pseudo-étiquetage alternatif : MAL a surpassé la Prévision Persistante (PF), le Lissage d'étiquette (Label Smoothing) et les stratégies de prédiction de l'arête suivante en Auto-supervision (SSL).
  • Taille de la fenêtre : Une étude d'ablation a montré que les tailles de fenêtre optimales varient selon le jeu de données (ex. : $w=3$ pour trade, $w=9$ pour Reddit), mais une valeur par défaut de $w=7$ offre généralement des performances robustes.
• Robustesse :
  • Bruit : La méthode est restée stable à travers différents facteurs de bruit ($\gamma$).
  • Mélange temporel (Temporal Shuffling) : Lorsque les étiquettes d'entraînement ont été mélangées (détruisant la cohérence temporelle), les performances ont chuté de manière significative pour toutes les méthodes, confirmant que les gains proviennent de la cohérence temporelle plutôt que d'une simple régularisation.
  • Rareté (Sparsity) : Sous un contrôle de suppression d'étiquettes, l'avantage relatif de MAL sur l'entraînement vanilla augmentait à mesure que la supervision devenait plus rare.

5. Signification et revendications

L'article affirme s'attaquer à une inefficacité fondamentale de l'apprentissage sur les graphes dynamiques : le gaspillage des ressources de calcul sur les batches non supervisés.

• Changement de paradigme : Ce travail déplace le paradig�me de « entraîner uniquement quand supervisé » vers « toujours entraîner, en extrapolant intelligemment ».
• Efficacité sans complexité : La méthode atteint des résultats de pointe (SOTA) et des accélérations significatives sans modifier l'architecture du modèle, sans ajouter de paramètres apprenables, ni nécessiter d'étape de pré-entraînement séparée.
• Fondement théorique : Elle fournit une preuve théorique que l'agrégation de la supervision historique réduit la variance du gradient, conduisant à une convergence plus rapide sous de légères hypothèses de stabilité temporelle.
• Impact pratique : En permettant un apprentissage dense sur des données éparses, MAL rend l'entraînement des modèles de graphes temporels à grande échelle nettement plus rapide et plus efficace, particulièrement dans les domaines où les événements étiquetés sont rares.

Les auteurs concluent que la cohérence temporelle est un signal de supervision inexploité qui, lorsqu'il est utilisé via de simples moyennes mobiles, offre une solution fondée sur des principes et légère face à la rareté des gradients dans l'apprentissage de graphes temporels.