🤖 machine learning

Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

Le papier propose CIR, un cadre exploitant un nouveau modèle causal structurel (ICCM) et une approximation par moyenne géométrique pondérée normalisée pour apprendre efficacement des représentations de graphes invariantes pour les graphes dynamiques en temps continu, atteignant ainsi une performance robuste sous des décalages hors distribution là où les méthodes existantes échouent.

Auteurs originaux : Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

Publié 2026-06-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Prédire l'avenir sans se faire duper

Imaginez que vous essayiez de prédire si deux personnes, Alice et Bob, vont devenir amis. Vous examinez leur historique : avec qui ils ont parlé, quand ils ont parlé, et qui d'autre était dans la pièce.

La plupart des programmes informatiques (IA) qui font cela sont très doués pour repérer les modèles dans les données sur lesquelles ils ont été entraînés. Mais ils sont terribles pour gérer le changement. Si les règles du jeu changent légèrement (un « décalage de distribution » ou distribution shift), ces programmes s'embrouillent souvent et font de mauvaises prédictions.

Ce papier présente un nouveau système appelé CIR (Continuous-time Invariant Representation). Son objectif est d'apprendre à une IA à trouver les vraies raisons pour lesquelles les choses arrivent, afin qu'elle puisse faire de bonnes prédictions même lorsque le monde change autour d'elle.

Le Problème : Le piège du « faux indice »

Pour comprendre pourquoi cela est difficile, regardons un exemple spécifique du papier (Figure 1).

Le Scénario :
Vous voulez prédire si Alice et Bob vont créer un lien.

La vraie raison (La vérité invariante) : Alice et Bob deviennent amis parce qu'ils connaissent tous deux un ami commun, Charlie. C'est une « fermeture triadique » (A connaît B, B connaît C, donc A et C se rencontrent). C'est une règle solide et immuable du comportement humain.
Le faux indice (La corrélation fallacieuse) : Dans vos données d'entraînement, chaque fois qu'Alice et Bob devenaient amis, il y avait aussi un étranger au hasard, Dave, qui se trouvait faire un signe de la main à Alice juste avant.

L'Erreur :
Une IA standard regarde les données et dit : « Aha ! Chaque fois que Dave fait un signe de la main, Alice et Bob deviennent amis. Je vais parier sur Dave ! »

Dans le monde de l'entraînement : L'IA a raison 100 % du temps.
Dans le monde réel (OOD - Hors distribution) : Vous testez l'IA sur un nouveau groupe de personnes où Dave ne fait jamais de signe de la main. L'IA, ayant appris la règle de « Dave », échoue complètement car elle a ignoré la vraie raison (Charlie).

Le papier appelle cela une corrélation fallacieuse (spurious correlation). L'IA mémorise des raccourcis au lieu d'apprendre la cause réelle.

La Solution : CIR et le « Détective Voyageur du Temps »

Les auteurs proposent CIR, un système conçu pour être un « Détective Voyageur du Temps ». Il ne se contente pas de regarder ce qui s'est passé ; il demande : « Qu'est-ce qui a causé cela, indépendamment des coïncidences bizarres ? »

Voici comment fonctionne CIR, décomposé en trois étapes simples :

1. Les deux équipes de détectives (Structurelle et Temporelle)

Le papier soutient que dans un monde en constante évolution (Graphes Dynamiques en Temps Continu), il faut examiner deux choses séparément :

L'équipe de la Structure : Qui est connecté à qui ? (ex : le triangle formé par Alice, Bob et Charlie).
L'équipe du Temps : Quand les choses se sont-elles produites ? (ex : la conversation a-t-elle eu lieu juste après un événement majeur ?).

CIR utilise des outils spéciaux pour extraire ces deux types d'indices. Il sépare les « vraies causes » du « bruit de fond ».

2. La machine du « Et si ? » (Intervention)

C'est la partie la plus intelligente. Le papier utilise un concept issu des sciences causales appelé Intervention.

Imaginez que vous avez la photo d'une scène de crime. Une IA normale regarde la photo et devine.
CIR demande : « Et si nous effacions magiquement le signe de la main de Dave de la photo ? Est-ce qu'Alice et Bob deviendraient toujours amis ? »

Si la réponse est « Oui », alors le signe de la main n'était pas la cause. Si la réponse est « Non », alors le signe de la main était la cause.

Le problème avec cette approche :
Dans un graphe réel avec des millions de connexions se produisant chaque seconde, on ne peut pas physiquement effacer chaque « Dave » pour vérifier le résultat. Cela prendrait un temps infini (impossible sur le plan computationnel).

L'astuce (Le NWGM) :
Les auteurs utilisent un raccourci mathématique appelé Moyenne Géométrique Pondérée Normalisée (NWGM).

Analogie : Au lieu d'essayer d'interviewer chaque personne d'une ville pour voir comment elle réagirait à une nouvelle loi, vous interrogez quelques groupes représentatifs et utilisez une formule intelligente pour deviner la réaction moyenne de toute la ville.
Cela permet à CIR de simuler des scénarios de type « Et si ? » instantanément, sans faire les mathématiques impossibles consistant à vérifier chaque possibilité.

3. La « Banque de Mémoire » (Mémoire d'Environnement)

Le monde change. Parfois, les « faux indices » ressemblent à une chose, et parfois à une autre.

CIR possède une Banque de Mémoire. Considérez cela comme un carnet de notes où l'IA note différents « types » de faux indices qu'elle a rencontrés par le passé (ex : « Dave qui fait un signe », « Jours de pluie », « Jours fériés »).
Lorsqu'elle voit une nouvelle situation, l'IA consulte son carnet pour voir si elle fait face à un type de « faux indice » familier. Elle ajuste ensuite sa prédiction pour ignorer ce bruit spécifique.

Pourquoi est-ce meilleur que ce que nous avons actuellement ?

Le papier a testé CIR contre d'autres modèles d'IA de pointe sur quatre jeux de données du monde réel (comme les modifications Wikipédia, les publications Reddit et les interactions de cours universitaires).

Les anciens modèles : Lorsque les « faux indices » (raccourcis) étaient supprimés ou modifiés dans les données de test, les anciens modèles s'effondraient. Leur précision chutait de manière spectaculaire (perdant parfois 30 à 50 % de leurs performances). Ils étaient trop dépendants des schémas spécifiques des données d'entraînement.
CIR : Même lorsque les règles changeaient, CIR continuait de bien performer. Il a réussi à ignorer les « signes de la main de Dave » pour se concentrer sur les « connexions de Charlie ».

Résumé en une phrase

CIR est un nouveau cadre d'IA qui apprend aux ordinateurs à ignorer les schémas coïncidents pour se concentrer uniquement sur les causes réelles et immuables des événements, permettant ainsi de faire des prédictions précises même lorsque le monde change de manière inattendue.

Ce que le papier ne prétend PAS

Il ne prétend pas que ceci est destiné au diagnostic médical ou à l'usage clinique.
Il ne prétend pas que cela fonctionne mieux que les méthodes existantes pour les graphes statiques (graphes qui ne changent pas au fil du temps) ; il est spécifiquement conçu pour les graphes qui évoluent de manière continue.
Il ne prétend pas résoudre tous les problèmes de l'IA, mais seulement le problème spécifique de la prédiction de liens dans les graphes dynamiques lors d'un décalage de distribution des données.

Résumé Technique : CIR pour les représentations invariantes dans les graphes dynamiques en temps continu

Formulation du Problème
Les graphes dynamiques en temps continu (CTDG) modélisent des systèmes relationnels évolutifs où des nœuds et des arêtes sont ajoutés ou supprimés à des instants arbitraires, capturant ainsi des changements structurels et temporels de précision fine. Bien que les méthodes existantes d'apprentissage de représentations pour les CTDG aient connu un certain succès dans les contextes de distribution intra-classe (in-distribution), elles présentent une robustesse limitée face aux décalages de distribution hors-classe (OOD). Plus précisément, les modèles standards exploitent souvent des corrélations spécieuses — telles que des motifs temporels ou structurels spécifiques qui apparaissent fréquemment dans les données d'entraînement mais qui ne sont pas liés causalement à l'interaction cible. Lorsque ces corrélations changent dans les environnements de test (par exemple, en raison de changements dans le processus de génération de données sous-jacent), les performances du modèle se dégradent considérablement.

Le défi central abordé dans ce travail est la rareté des méthodes capables d'apprendre des représentations invariantes pour les CTDG sous des décalages OOD. Les approches causales existantes, qui reposent sur des modèles causaux structurels (SCM) et des interventions, sont principalement conçues pour les graphes statiques ou à temps discret. Les appliquer aux CTDG est informatiquement prohibitif en raison de l'explosion combinatoire des sous-graphes structurels et temporels possibles, rendant toute intervention exhaustive irréalisable.

Méthodologie : Le Cadre CIR
Pour répondre à ces défis, les auteurs proposent CIR (Continuous-time Invariant Representation), un cadre fondé sur un nouveau modèle causal structurel (SCM) nommé Modèle Causal Indépendant et Confondu (ICCM).

Le Cadre ICCM :
L'ICCM modélise explicitement les mécanismes causaux dans les CTDG en distinguant entre :
- Sous-graphes causaux invariants : $C_s$ (structurels) et $C_t$ (temporels), qui sont encodés dans des représentations latentes $H_S$ et $H_T$ .
- Facteurs de confusion (Confounders) : Structurels ( $D_s$ ) et temporels ( $D_t$ ) qui introduisent des corrélations spécieuses, particulièrement dans les environnements OOD.
- Mécanismes de prédiction : Le modèle définit une prédiction intra-classe $Y^I$ basée uniquement sur les caractéristiques invariantes, et une prédiction OOD $Y^C$ qui tient compte des facteurs de confusion. L'objectif est d'effectuer des interventions causales (en utilisant l'opération $do$ de Pearl) pour bloquer les chemins de rétroaction induits par les facteurs de confusion, isolant ainsi l'effet causal invariant.
Intervention Efficace via NWGM :
Intervenir directement sur tous les sous-graphes structurels et temporels possibles est informatiquement intractable. Pour surmonter cela, CIR exploite l'approximation par la Moyenne Géométrique Pondérée Normalisée (NWGM). Cette technique permet au modèle d'approximer efficacement le résultat interventionnel attendu en déplaçant l'opérateur d'espérance à l'intérieur de la non-linéarité (par exemple, la sigmoïde), évitant ainsi le besoin d'une énumération exhaustive des configurations de sous-graphes.
Architecture Neurale :
L'ICCM est instancié au sein d'une architecture de deep learning comprenant :
- Extracteurs de Sous-graphes Duaux : Des modules dédiés extraient les motifs structurels et temporels causaux.
  - Extraction Temporelle : Utilise un encodage temporel continu (basé sur le cosinus) et une attention inter-nœuds pour identifier les arêtes temporellement pertinentes qui soutiennent causalement un lien cible, les séparant du bruit temporel non causal.
  - Extraction Structurelle : Encode les caractéristiques des nœuds basées sur des voisinages à $n$ -sauts dans une fenêtre temporelle, utilisant des mécanismes d'attention pour filtrer les nœuds de fond qui introduisent des corrélations spécieuses.
- Banque de Mémoire d'Environnement (Environment Memory Bank) : Pour approximer les distributions des facteurs de confusion latents ( $D_s, D_t$ ) sans les observer directement, le modèle maintient une banque de mémoire de vecteurs prototypes. Ces prototypes représentent des clusters de sous-graphes non causaux et de facteurs non observés. La banque est mise à jour via des pertes d'alignement auto-supervisées et de diversité pour garantir que les prototypes capturent des modes de confusion distincts.
- Fusion et Prédiction : Un module d'attention multi-têtes agrège les entrées de la banque de mémoire pour estimer la contribution attendue des facteurs de confusion. Ces estimations sont fusionnées avec les représentations invariantes ( $H_S, H_T$ ) pour produire la prédiction OOD finale. Le modèle est entraîné pour optimiser simultanément les objectifs intra-classe et interventionnels (OOD).

Contributions Clés

Première Investigation de l'OOD dans les CTDG : L'article affirme être le premier à étudier l'apprentissage de représentations invariantes spécifiquement pour les CTDG sous des décalages OOD, comblant une lacune où les méthodes causales existantes échouent en raison de la nature continue et non stationnaire des données.
ICCM et Approximation NWGM : Les auteurs introduisent l'ICCM pour caractériser les sous-graphes causaux invariants dans les CTDG et développent une stratégie d'intervention efficace utilisant la NWGM. Cela évite l'explosion combinatoire associée aux interventions causales traditionnelles dans les contextes dynamiques.
Le Cadre CIR : Une architecture de deep learning pratique est conçue pour instancier l'ICCM, permettant l'apprentissage conjoint de représentations structurelles/temporelles invariantes et de caractéristiques spécifiques à l'environnement via un mécanisme de banque de mémoire.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur quatre jeux de données de référence (MOOC, REDDIT, WIKI, UCI) avec des décalages de distribution simulés (introduits via des perturbations structurelles).

Performance : CIR surpasse systématiquement les modèles de base de pointe, y compris les modèles spécifiques aux CTDG (TGN, TGAT, GraphMixer) et les modèles robustes de DTDG (DIDA, EAGLE, Ada-DyGNN).
Robustesse : Sous des niveaux croissants de décalage de distribution (ratios de raccourcis de 0,2 à 0,6), les modèles existants souffrent d'une dégradation significative des performances (par exemple, l'AUC de GraphMixer chute de plus de 50 % sur MOOC). En revanche, CIR maintient des scores AUC et AP élevés avec une faible variance, démontrant une généralisation supérieure.
Efficacité : CIR atteint une grande efficacité d'inférence (environ $5,4 \times 10^{-4}$ secondes par arête sur REDDIT), comparable ou supérieure à des bases complexes comme TGAT et TGN, et nettement plus rapide que DIDA, qui nécessite la construction d'ensembles d'intervention pour chaque instantané.
Ablation : Le retrait des composants clés (encodeurs structurels/temporels, la branche de prédiction OOD $Y^C$ , ou la banque de mémoire) entraîne des chutes de performance substantielles, validant la nécessité de l'architecture complète.

Signification
L'article positionne CIR comme une étape importante vers le développement de réseaux de neurones sur graphes robustes et auto-interprétables pour les systèmes dynamiques en temps continu. En déplaçant l'accent du simple modelage de la dynamique temporelle vers l'identification de structures causales invariantes sous des décalages de distribution, ce travail fournit une solution théorique et pratique pour les scénarios où les distributions de données sont non stationnaires. Les auteurs affirment que CIR atténue efficacement les corrélations spécieuses, garantissant que les prédictions reposent sur des mécanismes causaux stables plutôt que sur des artefacts environnementaux transitoires, améliorant ainsi la fiabilité des modèles de graphes dynamiques dans les applications du monde réel.