🤖 machine learning

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

Cet article présente SIGIL, un cadre entièrement inductif qui surmonte l'hétérogénéité des entrées dans les modèles de fondation de graphes en projetant des graphes attribués arbitraires vers un graphe d'interaction structurelle unifié, permettant ainsi le transfert de représentations de caractéristiques apprises à travers divers graphes et unifiant les approches existantes de raisonnement sur les graphes de connaissances.

Auteurs originaux : Omer Yom Tov, Avigdor Gal

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Omer Yom Tov, Avigdor Gal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde. Dans le monde du texte, nous avons un dictionnaire massif de mots sur lesquels tout le monde s'accorde ; une fois que le robot a appris ce que « chat » ou « courir » signifie, il peut lire un nouveau livre sur les chats ou la course sans avoir besoin d'une nouvelle leçon. Mais dans le monde des graphes — des réseaux de choses connectées comme les amis sur les réseaux sociaux, les molécules chimiques ou les réseaux de citations — il n'existe pas de dictionnaire universel. Chaque graphe possède son propre ensemble unique de « caractéristiques » (comme les attributs spécifiques d'une personne ou d'une molécule) qui peuvent être complètement différentes de la précédente. Un modèle entraîné pour comprendre un réseau de scientifiques pourrait être totalement confus lorsqu'on lui présente un réseau d'acheteurs en ligne car les « mots » (caractéristiques) ne correspondent pas. Cela rend extrêmement difficile la création d'un « modèle de fondation » unique et intelligent capable de passer d'un type de réseau à un autre sans être réentraîné de zéro. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire un traducteur universel pour ces réseaux désordonnés et différents, qui fonctionne sur n'importe quoi, n'importe où, sans avoir besoin d'un dictionnaire pour chaque nouvelle tâche ?

Cet article présente un nouveau cadre ingénieux appelé Sigil (qui signifie Structural Interaction Graphs for Inductive Learning) pour résoudre précisément ce problème. Considérez Sigil comme un chef cuisinier expert qui ne se soucie pas des ingrédients spécifiques que vous lui donnez (qu'il s'agisse de pommes, de carottes ou de fruits extraterrestres). Au lieu d'essayer de mémoriser chaque ingrédient possible, Sigil observe comment les ingrédients interagissent entre eux. Il prend un réseau complexe et désordonné et l'élève vers un nouveau niveau simplifié appelé « Graphe d'Interaction Structurelle » (SIG). Dans cette nouvelle vue, les « nœuds » ne sont plus les personnes ou les molécules ; ce sont les caractéristiques elles-mêmes (comme la « taille », le « prix » ou la « couleur »). Les connexions dans ce nouveau graphe montrent comment ces caractéristiques ont tendance à s'aligner ou à entrer en conflit en fonction de la manière dont le réseau d'origine est connecté.

En exécutant un jeu de passage de messages spécial sur cette nouvelle carte de caractéristiques, Sigil apprend un langage universel pour les caractéristiques. Il traduit n'importe quel graphe, peu importe à quel point ses caractéristiques sont étranges ou différentes, en un format standard de taille fixe qu'une IA en aval peut facilement comprendre. L'article montre que ce n'est pas seulement une nouvelle astuce ; c'est une théorie unificatrice. Lorsque les caractéristiques sont des codes « one-hot » simples (comme des types de relations discrets dans un graphe de connaissances), Sigil récupère parfaitement les modèles existants et puissants. Mais lorsque les caractéristiques sont des nombres continus (comme des données de capteurs à valeurs réelles), Sigil va là où ces anciens modèles ne pouvaient pas aller. Les auteurs ont testé cela sur une grande variété de tâches, incluant la prédiction de liens manquants dans les réseaux et la classification de nœuds. Ils ont constaté qu'un seul modèle Sigil, entraîné sur un seul graphe (comme le réseau de citations Cora), pouvait obtenir des performances incroyables sur des graphes complètement inédits avec des caractéristiques différentes, dépassant souvent d'autres modèles « pleinement inductifs » qui tentent de généraliser. C'est comme apprendre à un étudiant à lire un livre, puis faire en sorte qu'il réussisse un examen sur un livre écrit dans une langue complètement différente, simplement parce qu'il a appris la grammaire sous-jacente de la façon dont les idées se connectent, plutôt que de mémoriser les mots.

Résumé Technique : Passage de Messages Neural sur des Graphes d'Interactions Structurelles pour les Réseaux de Neurones sur Graphes Entièrement Inductifs

1. Énoncé du Problème

Le développement des Modèles de Fondation de Graphes (GFM) fait face à un obstacle central : l'hétérogénéité des entrées. Contrairement au langage naturel, où un vocabulaire de jetons partagé permet aux modèles d'encoder n'importe quel texte, les graphes arrivent avec des espaces de caractéristiques de nœuds uniques qui diffèrent en dimensionnalité, en sémantique de coordonnées et en ensembles d'étiquettes. Par conséquent, un modèle entraîné sur un graphe ne peut généralement pas « lire » un autre.

Les approches existantes traitent une partie de ce défi mais échouent à l'unifier :

GFM de Classification de Nœuds : Des méthodes comme GraphAny gèrent des espaces de caractéristiques et d'étiquettes arbitraires, mais sont conçues uniquement pour la classification de nœuds, manquant de mécanismes pour la prédiction de liens ou le raisonnement relationnel.
Modèles de Fondation de Graphes de Connaissance (KGFM) : Des modèles comme ULTRA atteignent un transfert zero-shot sur les graphes de connaissance en construisant un « graphe de relations » sur des types de relations discrets. Cependant, cette approche est fondamentalement discrète ; elle présume un vocabulaire fini de relations et manque de mécanismes pour les caractéristiques de nœuds ou d'arêtes continues.

Le défi central est de concevoir un modèle de graphe entièrement inductif capable de généraliser simultanément sur trois axes : des structures de graphes inédites, des espaces de caractéristiques inédits (dimensionnalité et sémantique arbitraires) et des espaces d'étiquettes inédits.

2. Méthodologie : Le Cadre Sigil

Les auteurs proposent Sigil (Structural Interaction Graphs for Inductive Learning), un cadre qui projette n'importe quel graphe attribué vers un espace de représentation unifié de dimension fixe. L'innovation centrale est le Graphe d'Interaction Structurelle (SIG).

2.1 Construction du Graphe d'Interaction Structurelle (SIG)

Étant donné un graphe d'entrée $G=(V, E)$ avec des caractéristiques de nœuds $X \in \mathbb{R}^{n \times d}$ , Sigil « élève » le graphe du domaine des nœuds vers le domaine de la dimension des caractéristiques.

Propagation Multi-Ordre : Les caractéristiques sont propagées sur des ordres de voisinage croissants $k$ (de $0 $à$ K$) en utilisant une propagation non paramétrée : $X^{(k)} = A^k X$ .
Opérateurs d'Interaction : Pour chaque ordre $k$ , un opérateur d'interaction $g$ (par exemple, la soustraction ou la multiplication élément par élément) est appliqué aux caractéristiques des nœuds adjacents pour créer des caractéristiques d'arêtes.
Agrégation de Rôle : Ces caractéristiques d'arêtes sont agrégées à nouveau vers les nœuds, séparées par rôle (tête/queue pour les graphes dirigés), créant des matrices de résumé $\bar{X}^{(k)}_h$ et $\bar{X}^{(k)}_t$ . Ces matrices caractérisent la manière dont les valeurs de caractéristiques s'instancient à travers les voisinages locaux.
Construction de la Matrice de Gram : L'alignement entre les dimensions de caractéristiques est capturé par le calcul de matrices de Gram (produits scalaires) de ces vecteurs de résumé : $\bar{A}^{(k)} = (\bar{X}^{(k)})^\top \bar{X}^{(k)}$ .
Le SIG : Les matrices $\bar{A}^{(k)}$ $\overset{ˉ}{A}^{(k)}$ résultantes forment un Graphe d'Interaction Structurelle $G_{struct}$ $G_{s t r u c t}$ . Dans ce graphe :
- Les nœuds sont les dimensions de caractéristiques d'entrée $[d]$ .
- Les arêtes sont pondérées et typées, encodant comment les paires de caractéristiques s'alignent à travers différents ordres de connectivité.
- Pour les graphes dirigés, la construction produit quatre tranches par ordre (tête-tête, queue-queue, tête-queue, queue-tête), capturant les interactions directionnelles.

2.2 Apprentissage des Représentations via le Passage de Messages Relationnel

Une fois le SIG construit, un Réseau de Passage de Messages Relationnel (RMPNN) opère sur celui-ci :

Embedding : Le RMPNN encode chaque dimension de caractéristique $f \in [d]$ dans un espace caché de taille fixe $d_h$ .
Transformation : Les plongements de caractéristiques appris $\Theta^{(T)} \in \mathbb{R}^{d \times d_h}$ sont utilisés pour transformer les caractéristiques de nœuds originales de n'importe quel graphe en une représentation unifiée : $H = X \Theta^{(T)}$ .
Propriété Inductive : Comme les paramètres du RMPNN agissent uniquement sur la largeur cachée fixe $d_h$ et jamais sur la dimension d'entrée $d$ , un seul modèle Sigil entraîné peut traiter des graphes de dimensions de caractéristiques arbitraires.

2.3 Tâches Aval

Prédiction de Liens : Les représentations de nœuds unifiées sont injectées dans des GNN de prédiction de liens expressifs (ex: NBFNet) pour effectuer une inférence zero-shot.
Classification de Nœuds : Les représentations unifiées servent d'entrées à un décodeur aval (ex: un MLP léger ou une solution analytique en forme close) pour prédire les étiquettes.

3. Contributions Clés et Propriétés Théoriques

3.1 Généralisation Stricte des KGFM

L'article prouve que Sigil est une généralisation stricte des KGFM existants (comme ULTRA).

Théorème 1 : Lorsque les caractéristiques d'entrée sont des indicateurs one-hot de relations discrètes, la construction du SIG reproduit exactement le graphe de relation utilisé par les KGFM.
Extension : Contrairement aux KGFM, Sigil accepte des caractéristiques continues. Les matrices de Gram deviennent des matrices d'alignement de caractéristiques continues plutôt que des comptes de cooccurrence entiers. De plus, la propagation multi-ordre de Sigil encode des interactions d'ordre supérieur entre les caractéristiques que les KGFM (limités aux motifs d'un seul saut) ignorent.

3.2 Symétrie et Équivariance

Sigil satisfait les symétries requises pour une généralisation entièrement inductive :

Équivariance à la Permutation des Nœuds : Les représentations de nœuds de sortie sont équivariantes aux permutations des nœuds d'entrée.
Invariance à la Permutation des Caractéristiques : La représentation unifiée est invariante à l'ordre ou à l'identité des dimensions de caractéristiques d'entrée. Cela permet au modèle de lire des graphes avec des espaces de caractéristiques qu'il n'a jamais vus.
Équivariance à la Permutation des Étiquettes : Lorsqu'il est couplé à un décodeur équivariant, le modèle respecte les permutations d'étiquettes.

4. Résultats Expérimentaux

Les auteurs évaluent Sigil à travers trois régimes, en utilisant un modèle pré-entraîné sur le jeu de données Cora (pour la prédiction de liens et la classification de nœuds) ou un mélange de graphes de connaissance (pour le raisonnement KG).

4.1 Prédiction de Liens (Caractéristiques Continues)

Évalué sur 11 benchmarks (7 attribués, 4 non-attribués).

Graphes Attribués : Sigil-lp est la méthode entièrement inductive la plus forte sur chaque jeu de données, surpassant les bases comme UniLP et TFMLinker. Notamment, il surpasse significativement UniLP sur des jeux de données comme CiteSeer et AmazonPhotos, démontant que l'exploitation des espaces de caractéristiques via le SIG est supérieure à leur rejet.
Graphes Non-Attribués : Sigil-lp reste compétitif, se classant deuxième parmi les méthodes entièrement inductives et montrant une grande stabilité.
Efficacité : Sigil-lp termine l'inférence en quelques minutes, tandis que les bases en contexte (in-context) comme UniLP dépassent des budgets de 24 heures.

4.2 Raisonnement sur les Graphes de Connaissance

Évalué sur le benchmark ULTRA (environnements inductifs avec entités et relations inédites).

Reproduction : Sigil(0) (SIG d'ordre 0) reproduit les performances d'ULTRA avec une marge étroite (ex: égalant exactement le MRR sur les graphes de pré-entraînement).
Expressivité : Les SIG d'ordre supérieur (Sigil(1), Sigil(2)) montrent des performances variables selon le jeu de données, suggérant que bien que les interactions d'ordre supérieur ajoutent de l'expressivité, elles n'améliorent pas uniformément les performances sur toutes les tâches.

4.3 Classification de Nœuds

Évalué sur 26 benchmarks avec des dimensions de caractéristiques et des nombres de classes variables.

Performance : Sigil-nc est compétitif, se classant premier ou deuxième sur 10 des 26 jeux de données. Il suit de peu des modèles spécialisés comme RGVT et TAG (optimisés pour des tâches spécifiques), mais surpasse GraphAny et TS-MEAN.
Analyse : Les auteurs attribuent l'écart de performance au « coût de l'unification » : la compression d'espaces de caractéristiques arbitraires dans une dimension fixe $d_h$ rend les coordonnées originales inaccessibles au décodeur, nécessitant plus de supervision. Cependant, les résultats confirment que l'apprentissage sur les SIG est une approche valide pour les modèles de fondation de classification de nœuds.

5. Signification et Revendications

L'article affirme que Sigil unifie plusieurs régimes auparavant séparés dans la conception de modèles de fondation de graphes :

Unification : Il comble le fossé entre les GFM de classification de nœuds (gérant des caractéristiques arbitraires) et les KGFM (gérant le raisonnement relationnel), en fournissant un mécanisme unique pour les deux.
Transférabilité : Il démontre qu'un seul modèle, entraîné sur un graphe, peut délivrer de fortes performances zero-shot sur des graphes ayant des espaces de caractéristiques et des structures entièrement différents.
Généralisation : En formalisant le graphe de relation comme une instance discrète d'un Graphe d'Interaction Structurelle, ce travail fournit une base théorique pour étendre le raisonnement relationnel aux espaces de caractéristiques continus.

Les auteurs concluent que la transférabilité, le raisonnement relationnel et les tâches au niveau des arêtes peuvent découler d'un seul mécanisme (construction du SIG et passage de messages) plutôt que de nécessiter des conceptions distinctes pour différents types de graphes. Des travaux futurs sont suggérés pour affiner les architectures de l'apprentissage sur les SIG et étudier leur puissance expressive.