\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

Résumé Technique : DRIFT : Une Référence pour l'Apprentissage Continu de Graphes Sans Tâche avec Des Décalages de Distribution Continus

Énoncé du Problème
L'apprentissage continu de graphes (CGL) vise à permettre aux modèles d'apprendre à partir de graphes en évolution dynamique tout en atténuant l'oubli catastrophique. Cependant, la recherche existante en CGL repose principalement sur une formulation basée sur les tâches, où le flux de données est artificiellement partitionné en tâches discrètes avec des frontières connues et des décalages de distribution abrupts. Les auteurs soutiennent que ces hypothèses sont rarement vérifiées dans des environnements réels (par exemple, les systèmes de recommandation, les réseaux de citations et les graphes de connaissances), où les distributions de données évoluent continuellement, l'identité de la tâche est inobservable et les transitions sont progressives plutôt qu'instantanées. Par conséquent, il reste incertain de savoir si les méthodes CGL actuelles peuvent se généraliser à des contextes de streaming réalistes et non stationnaires.

Méthodologie
Pour combler ce vide, les auteurs proposent une perspective sans tâche pour l'apprentissage continu de graphes, introduisant une formulation unifiée et une nouvelle référence, DRIFT.

1. Formulation Unifiée : Le flux de données est modélisé comme un mélange temporel variable de distributions de tâches latentes plutôt que comme une séquence de tâches isolées. À tout instant $t$, la distribution $D_t$ est définie par :
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   où $D_k$ représente une distribution de tâche latente et $\alpha_k(t)$ est un coefficient de mélange. Contrairement aux paramètres basés sur les tâches où $\alpha_k(t) \in \{0, 1\}$, le paramètre sans tâche permet $\alpha_k(t) \in [0, 1]$, permettant un chevauchement continu.

2. Paramétrisation Gaussienne : Pour simuler des dynamiques de transition réalistes, les auteurs paramètrent les coefficients de mélange $\alpha_k(t)$ en utilisant un noyau gaussien centré en $\mu_k$ (la position temporelle de la tâche $k$) :
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   Le paramètre $\sigma$ contrôle le degré de chevauchement temporel. Un petit $\sigma$ retrouve des commutations de tâches rigides, tandis qu'un grand $\sigma$ induit des distributions lisses et globalement mélangées. Cela permet à la référence de couvrir un spectre allant des transitions rigides à la dérive entièrement continue au sein d'un cadre unique.

3. Construction de la Référence (DRIFT) :

   • Ensembles de données : Quatre ensembles de données de graphes standards (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) sont décomposés en tâches latentes en utilisant des splits incrémentaux par classe.
   • Échantillonnage : Les mini-lots sont construits en échantillonnant des instances de toutes les tâches latentes selon les coefficients de mélange $\alpha_k(t)$, en utilisant soit des stratégies avec remise, soit sans remise.
   • Évaluation : Puisque les frontières explicites des tâches ne sont pas disponibles, la référence utilise l'Aire sous la Courbe de Précision (AAUC) pour mesurer les performances sur le flux et une métrique modifiée d'Oubli Moyen (AFs) qui ne repose pas sur une segmentation explicite des tâches.

Contributions Clés

• C1 : Identification des limites des formulations CGL existantes basées sur les tâches et argument selon lequel le CGL devrait être étudié dans des contextes de streaming sans tâche.
• C2 : Introduction d'une formulation unifiée modélisant les transitions de tâches comme des distributions de mélange temporel variable.
• C3 : Proposition de la référence DRIFT, qui couvre un spectre continu de dynamiques de transition via des courbes de mélange gaussiennes.
• C4 : Démonstration empirique que les méthodes d'apprentissage continu existantes se dégradent considérablement dans des contextes non stationnaires réalistes où l'identité de la tâche n'est pas disponible.

Résultats Expérimentaux
Les auteurs ont évalué des méthodes CGL représentatives (basées sur la répétition, basées sur la régularisation et spécifiques aux graphes) sur quatre ensembles de données avec des degrés variables de lissage de transition ($\sigma$).

• Dégradation des Performances : Les méthodes existantes subissent des baisses de performances substantielles lorsque la structure explicite des tâches est supprimée. Par exemple, sur l'ensemble de données Arxiv-CL, la meilleure méthode sans tâche n'a atteint que 34,9 % d'AAUC par rapport à une borne supérieure de 71,6 % (entraînement conjoint), laissant un écart d'environ 37 points de pourcentage.
• Contraction de l'Avantage : L'avantage relatif des méthodes d'apprentissage continu par rapport à une base « Bare » (entraînement en ligne sans stratégies de CL) diminue à mesure que les transitions deviennent plus lisses. Sur Arxiv-CL, l'amélioration par rapport à la base est passée de +43,3 % sous des transitions rigides à seulement +5,5 % sous un mélange gaussien à fort chevauchement.
• Échec des Hypothèses Dépendantes des Tâches : Les méthodes qui reposent implicitement sur les frontières des tâches (par exemple, MAS*, SSM, SEM) échouent de manière catastrophique sous des transitions lisses. MAS*, qui repose sur la détection de décalages basée sur la perte, se comporte de manière compétitive sous des transitions rigides mais se dégrade à des niveaux proches de la base sous un mélange gaussien car les signaux de décalage deviennent peu fiables.
• Compromis Adaptation-Oubli : Un chevauchement accru (un $\sigma$ plus élevé) améliore l'adaptation en ligne (AAUC plus élevé) en raison de la répétition implicite (lots mélangés) mais augmente simultanément l'oubli (AFs plus mauvais) car le signal d'entraînement effectif pour n'importe quelle distribution latente unique est affaibli.
• Robustesse : Les méthodes basées sur la répétition (par exemple, ER, A-GEM) et la méthode DMSG pilotée par la diversité ont montré une plus grande stabilité, bien que DMSG ait présenté le comportement d'oubli le plus stable à travers les différents niveaux de chevauchement.

Signification et Revendications
L'article affirme que la dégradation des performances observée indique que de nombreuses approches CGL existantes reposent implicitement sur des hypothèses de frontières irréalistes et ne se généralisent pas bien aux environnements de streaming réels. Le travail souligne l'importance d'étudier l'apprentissage continu de graphes dans des conditions non stationnaires réalistes où l'identité de la tâche est inobservable.

Les auteurs positionnent modestement DRIFT comme une étape vers des « contextes de graphes en monde ouvert », notant que les méthodes actuelles sont fondamentalement liées à des structures partitionnées par tâches. Ils concluent que la recherche future doit dépasser les formulations dépendantes des frontières pour développer des techniques qui prennent explicitement en compte la dérive continue des distributions et les structures de tâches chevauchantes. L'article reconnaît des limites, notamment sa restriction à la classification de nœuds, l'utilisation de protocoles de streaming synthétiques sur des ensembles de données statiques et l'utilisation spécifique de dynamiques gaussiennes pour modéliser la dérive, suggérant que des motifs de dérive réels plus complexes restent à explorer.