🤖 machine learning

Temporal Sheaf Neural Networks with Dynamic Orthogonal Transport

Ce document introduit les réseaux de neurones à faisceaux temporels (TSNN), un cadre de prédiction de liens temporels causal qui utilise des cadres orthogonaux dynamiques et spécifiques aux nœuds ainsi qu'un transport explicite pour modéliser l'évolution de la sémantique des interactions, atteignant des performances de pointe sur des graphes hétérogènes en assurant la cohérence géométrique et la descente monotone à travers un nouveau processus de diffusion basé sur les faisceaux.

Auteurs originaux : Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire qui va parler à qui ensuite dans un groupe de discussion massif et chaotique qui ne dort jamais. C'est le problème de la prédiction de liens temporels : regarder un historique d'interactions pour deviner la prochaine connexion.

La plupart des modèles d'IA existants tentent de résoudre cela en plaçant tout le monde dans un seul et même « dictionnaire partagé ». Ils supposent que le mot « ami » signifie exactement la même chose pour un adolescent à Tokyo que pour un PDG à New York, et que ce sens ne change jamais.

L'article soutient que c'est une erreur. Les gens changent de rôles, les contextes évoluent et les relations se transforment. Un « ami » pour un gamer est différent d'un « ami » pour un trader de la bourse. Si vous forcez tout le monde à utiliser le même dictionnaire, vous finirez par être confus.

Les auteurs introduisent le TSNN (Temporal Sheaf Neural Networks), un nouveau système qui corrige cela en donnant à chaque personne son propre dictionnaire personnel qui se met à jour en temps réel.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Dictionnaire Personnel » (Cadres Locaux Dynamiques)

Imaginez que chaque personne dans le réseau possède son propre carnet (un « cadre ») où elle définit la signification de ses relations.

L'ancienne méthode : Tout le monde écrit dans le même carnet. Si la définition de « ami » change pour le groupe, les notes de tout le monde sont brouillées.
La méthode TSNN : Chacun possède son propre carnet. Quand Alice parle à Bob, Alice l'écrit dans son carnet, et Bob l'écrit dans le sien. Leurs définitions peuvent être légèrement différentes, et c'est normal. Ce carnet change au fil de leurs interactions, gardant leur compréhension fraîche et précise.

2. Le « Traducteur » (Transport Orthogonal)

Quand Alice veut comparer ses notes avec celles de Bob pour prédire une interaction future, elle ne peut pas simplement lire directement les notes de Bob parce qu'ils utilisent des langues différentes (systèmes de coordonnées).

La solution : Le TSNN utilise un traducteur intégré (appelé « transport orthogonal »). Avant de comparer les notes, il traduit l'entrée d'Alice dans la langue de Bob parfaitement, sans perdre de sens.
L'analogie : C'est comme si Alice parlait français et Bob espagnol. Au lieu de les forcer à parler anglais (ce qui pourrait faire perdre des nuances), l'IA traduit instantanément la phrase française d'Alice en un espagnol parfait pour que Bob comprenne exactement ce qu'elle a voulu dire, dans son propre contexte.

3. Le « Gardien de la Mémoire » (Report de Coordonnées Cohérent)

Que se passe-t-il lorsqu'Alice met à jour son carnet ? Oublie-t-elle tout ce qu'elle a écrit hier ?

Le problème : Dans les anciens modèles, la mise à jour du dictionnaire entraînait souvent le brouillage des anciens souvenirs.
La solution TSNN : Le système utilise un « report magique ». Lorsque Alice met à jour son carnet, le système déplace mathématiquement ses anciens souvenirs vers le nouveau format afin qu'ils restent parfaitement intacts. C'est comme réécrire un livre avec une nouvelle police de caractères ; les mots (le sens) restent exactement les mêmes, même si l'apparence (les coordonnées) a changé.

4. Le « Mélangeur de Smoothies » (Diffusion de Faisceau)

Après une conversation, le système ne se contente pas de mettre à jour Alice et Bob ; il lisse doucement l'information à travers leur cercle immédiat d'amis pour s'assurer que la compréhension de chacun est cohérente.

L'analogie : Imaginez verser une goutte de colorant dans un verre d'eau. Le colorant se répand. Le TSNN fait cela mathématiquement, mais il le fait avec soin pour que la « couleur » (le sens) ne soit pas diluée ou trouble. Il garantit que si Alice et Bob s'entendent sur quelque chose, la compréhension de leurs amis concernant cet événement est également alignée.

Pourquoi est-ce meilleur ?

L'article a testé le TSNN sur des ensembles de données massifs (comme les modifications sur Wikipédia, les avis Amazon et les votes politiques).

Le résultat : Le TSNN a battu presque toutes les autres méthodes existantes.
Pourquoi a-t-il gagné ? Il a beaucoup mieux géré l'hétérogénéité (les différents types de personnes et de rôles). Dans les graphes où les nœuds ont des rôles très différents (comme un réseau social complexe), forcer tout le monde dans une vue « globale » échoue. Le TSNN a réussi parce qu'il a respecté le fait que chacun a sa propre perspective et n'a comparé les individus qu'après les avoir traduits correctement.

L'essentiel

Considérez le TSNN comme un entremetteur super intelligent qui ne force pas tout le monde à parler la même langue. Au lieu de cela, il donne à chacun un vocabulaire évolutif, traduit parfaitement entre eux avant de faire une comparaison, et s'assure que les souvenirs restent clairs même lorsque le vocabulaire change. Cela lui permet de prédire les connexions futures avec une précision bien plus élevée que les modèles qui tentent de forcer tout le monde dans un système unique et rigide.

Résumé Technique : Réseaux de Neurones à Faisceaux Temporels avec Transport Orthogonal Dynamique

1. Énoncé du Problème

La prédiction de liens temporels consiste à inférer des connexions futures dans des graphes évoluant continuellement sur la base d'un flux chronologique d'événements passés. Un défi fondamental des modèles de graphes à temps continu actuels est le problème d'alignement des représentations. Les architectures existantes opèrent généralement au sein d'un espace d'enchâssement (embedding) global partagé, supposant que les axes de coordonnées définissant l'état d'un nœud restent sémantiquement cohérents au fil du temps. Cependant, dans les systèmes dynamiques, les rôles des nœuds dérivent (par exemple, des utilisateurs changeant de communautés, des protéines acquérant de nouveaux partenaires), provoquant un décalage de la base sous-jacente des représentations apprises. Bien que les vecteurs stockés puissent rester numériquement stables, leur signification sémantique peut se désaligner, entraînant des prédictions incorrectes lors de la comparaison d'états appris dans des contextes locaux différents. Les méthodes existantes, y compris les architectures basées sur la mémoire et les encodeurs centrés sur les événements, héritent de cette hypothèse implicite d'alignement global et manquent d'un mécanisme explicite pour aligner les états en interaction avant la comparaison.

2. Méthodologie : Réseaux de Neurones à Faisceaux Temporels (TSNN)

Le TSNN répond à ce défi en étendant l'apprentissage de représentations basé sur les faisceaux (sheaf-based) aux flux d'interactions à temps continu. Au lieu d'un espace global partagé, le TSNN dote chaque nœud d'un cadre orthogonal variant dans le temps (un système de coordonnées local). Le modèle opère selon un protocole strict de prédiction-puis-mise à jour, garantissant que toutes les computations sont strictement causales et reposent uniquement sur l'historique pré-événement.

Composants Clés

Cadres Locaux Dynamiques : Chaque nœud $v$ maintient un vecteur de tige $h_v(t)$ (mémoire sémantique) et des paramètres de cadre $F_v(t)$ qui paramètrent une application orthogonale $U_v(t) \in \mathbb{R}^{d \times d}$ . Ces cadres sont paramétrés efficacement via des produits de Householder de faible rang, ne nécessitant que $O(kd)$ paramètres par nœud.
Transport Orthogonal Explicite : Pour comparer ou agréger les états de différents nœuds, le TSNN transporte explicitement ces derniers dans un cadre local commun. L'application de transport entre les nœuds $u$ et $v$ est définie par $Q_{uv}(t) = U_u(t)^\top U_v(t)$ . Cela garantit que les interactions sont évaluées sur la base de distances euclidiennes dans un système de coordonnées synchronisé, préservant le contenu sémantique malgré l'évolution des cadres locaux.
Évolution d'État Cohérente avec les Coordonnées : Lorsqu'un cadre de nœud se met à jour, l'état caché stocké n'est pas jeté ou réinitialisé. Au contraire, il est transporté exactement via la transformation $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$ . Cela garantit que le contenu sémantique de la mémoire reste invariant sous les changements de la base de coordonnées locales.
Décodeur Géométrique-Résiduel : Le mécanisme de score combine une branche géométrique, qui ancre les prédictions sur la distance euclidienne au carré transportée entre les états alignés, et une branche résiduelle (MLP) qui apprend des corrections basées sur les types de relations, la récence et les métadonnées des nœuds. Cette conception impose un biais inductif contrastif tout en permettant de la flexibilité pour les déviations systématiques.
Diffusion de Faisceau Pleine-Active : Après un événement, le modèle effectue $K$ cycles de diffusion de faisceau normalisée par mise à l'échelle de caractéristiques sur un graphe actif local à l'événement. Cette diffusion est formulée comme une étape de descente de gradient métrique sur l'énergie de Dirichlet du faisceau combinatoire, garantissant une descente d'énergie monotone et la non-expansivité.

Pipeline Algorithmique

Pour chaque événement entrant $(u, v, t, r, x)$ :

Scoring (Évaluation) : Les destinations candidates sont classées en utilisant uniquement l'historique pré-événement ( $E_{<t}$ ) via le décodeur géométrique-résiduel.
Mise à jour : Lors de l'observation d'un événement positif, les cadres des points terminaux sont mis à jour en utilisant les états des partenaires transportés.
Transfert (Carry-Over) : Les tiges pré-événement sont transformées dans les nouvelles coordonnées locales.
Passage de Messages : Les messages sont calculés dans les nouvelles coordonnées locales et traités par un GRU.
Diffusion : Une diffusion pleine-active est appliquée au voisinage local pour lisser et affiner les états avant de les engager dans le stockage d'état.

3. Principales Contributions

GNN Temporel Structuré par Faisceau : Un nouveau cadre de prédiction de liens causal où chaque nœud possède un cadre orthogonal variant dans le temps. Les liens candidats sont évalués strictement à partir de l'historique pré-événement via un décodeur géométrique-résiduel.
Évolution de Mémoire Cohérente avec les Coordonnées : Un mécanisme qui transporte les états en interaction dans un cadre commun avant l'agrégation et transporte exactement les états cachés stockés à travers les mises à jour de cadres, préservant la signification sémantique à mesure que les coordonnées locales évoluent.
Garanties Spectrales et de Stabilité :
- Le Laplacien de faisceau induit et normalisé par le degré est orthogonalement semblable au Laplacien de graphe normalisé symétrique, avec un spectre borné dans $[0, 2]$ .
- L'opérateur de diffusion pleine-active à mise à l'échelle de caractéristiques est prouvé être une étape de gradient métrique sur l'énergie de Dirichlet du faisceau combinatoire, garantissant une descente monotone indépendante du degré et la non-expansivité.
- La dérive de cadre ne perturbe les mises à jour que linéairement, la stabilité étant contrôlée par un régularisateur de lissage.
Performance Empirique : Le TSNN atteint des résultats de pointe (state-of-the-art) sur les suites de benchmarks TGB v2, les graphes hétérogènes temporels et DGB, excellant particulièrement sur les graphes présentant une forte hétérogénéité des rôles de nœuds.

4. Résultats Expérimentaux

Les auteurs ont évalué le TSNN sur deux pistes :

Piste A (TGB v2) : Comprend des jeux de données de prédiction de liens (tgbl-wiki, tgbl-review) et un graphe hétérogène temporel (thgl-software). Le TSNN égale ou surpasse 15 baselines officielles, atteignant le MRR le plus élevé sur tgbl-wiki (82,82 %) et thgl-software (71,13 %), ainsi que des améliorations significatives sur tgbl-review.
Piste B (DGB) : Couvre 13 benchmarks standards (ex: Wikipedia, Reddit, MOOC, Enron). Le TSNN obtient le rang moyen le plus bas sur les mesures de Précision Moyenne (AP) et d'AUC. Des gains notables incluent +2,97 AP sur MOOC et +6,50 AP sur US Legis. par rapport à la forte baseline TPNet.
Configuration Inductive : En prédiction de liens inductive (nœuds non vus), le TSNN atteint également le rang moyen le plus bas, démontant une généralisation robuste sans dépendre de trajectoires mémorisées.
Études d'Ablation : Les expériences confirment que le scoreur résiduel, le transport orthogonal explicite et les cadres locaux variables sont les principaux moteurs de la performance, le transport et les cadres dynamiques apportant des améliorations constantes sur tous les jeux de données.

5. Signification et Revendications

L'article affirme que le TSNN comble une lacune critique dans l'apprentissage relationnel dynamique : l'absence de mécanisme au niveau de l'opérateur pour préserver la signification des représentations sous des changements de sémantique locale des nœuds. En unifiant l'évolution des cadres locaux des nœuds, le transport explicite et les mises à jour de mémoire causales en ligne, le TSNN fournit une approche cohérente avec la base pour l'apprentissage de graphes temporels.

Les auteurs soulignent que les gains empiriques ne proviennent pas d'un spectre de diffusion plus riche (car les propriétés spectrales sont équivalentes à la diffusion de graphe standard lorsque les cadres sont fixes), mais des cadres locaux dynamiques, du transfert exact lors des changements de cadre, de la diffusion pleine-active locale à l'événement et des mises à jour non linéaires dans les coordonnées locales. Le modèle est décrit comme "cohérent avec la base" plutôt que pleinement équivariant par jauge, car la mise à jour du cadre et les MLP de passage de messages opèrent dans des coordonnées locales choisies, tandis que le transport et le décodage respectent des changements orthogonaux synchronisés. Le travail établit que l'alignement explicite des états en interaction est nécessaire pour une prédiction temporelle précise lorsque les rôles des nœuds dérivent au fil du temps.