Résumé technique : Les sous-structures communes sont-elles transférables ? Modèle de fondation de graphes riemannien avec des fibrés vectoriels neuronaux

1. Énoncé du problème

Les modèles de fondation ont révolutionné le traitement du langage naturel et la vision par ordinateur, mais leur application aux graphes reste complexe en raison de la nature unique des données de graphes. Contrairement au texte ou aux images, les graphes possèdent des motifs structurels riches où la fonction d'une sous-structure est dérivée de son voisinage structurel environnant plutôt que de motifs discrets isolés.

Les approches actuelles des modèles de fondation de graphes reposent souvent sur l'identification de sous-structures discrètes communes (ex. : motifs, graphons ou vocabulaires structurels) ou dépendent fortement des graphes dotés d'attributs textuels via des modèles de langage de grande taille (LLM). Cependant, ces méthodes font face à des limites :

1. Discret vs Continu : Les travaux antérieurs se concentrent sur le domaine discret, échouant à caractériser la géométrie intrinsèque sous-jacente aux représentations générées par les modèles de graphes standards.
2. Écart de transférabilité : Il manque un cadre principled pour comprendre quelles de ces de comportements structurels appris lors du pré-entraînement sont réellement transférables à des graphes non vus.
3. Limitations géométriques : Les méthodes existantes d'apprentissage de graphes riemanniens reposent généralement sur des priors géométriques extrinsèques prédéfinis (ex. : espaces hyperboliques ou sphériques) plutôt que sur l'apprentissage de la géométrie intrinsèque induite par les données elles-mêmes.

La question centrale qui motive ce travail est : Les sous-structures communes sont-elles réellement transférables ? Les auteurs soutiennent que la transférabilité doit être comprise à travers le prisme de l'invariance du comportement fonctionnel plutôt que par la correspondance de motifs discrets.

2. Méthodologie

Le papier propose un cadre fondé sur la géométrie riemannienne pour modéliser la transférabilité structurelle. La méthodologie se compose de trois éléments principaux :

A. Fondement théorique : Connecter la transférabilité à la géométrie intrinsèque

Les auteurs établissent un lien théorique entre l'invariance comportementale et la platitude géométrique dans l'espace de représentation.

• Invariance comportementale : Un comportement structurel est considéré comme transférable s'il nécessite peu d'adaptation lorsqu'il est appliqué à de nouveaux graphes. Cela implique que le comportement est invariant au voisinage structurel.
• Représentation par fibré vectoriel : La structure du graphe est modélisée comme une variété de base abstraite, où chaque nœud est équipé d'une fibre (un espace vectoriel) représentant sa structure locale. Cela évite le besoin de priors géométriques prédéfinis.
• Platitude et holonomie : En utilisant le concept d'holonomie en géométrie riemannienne, les auteurs prouvent qu'une sous-structure invariante correspond à une géométrie intrinsèque plate. Plus précisément, si le transport parallèle autour de toute boucle fermée (2-simplex) dans une sous-structure aboutit à l'application identité, la sous-structure est géométriquement plate et donc invariante.

B. Cadre de fibré vectoriel neuronal

Pour implémenter cette théorie, les auteurs introduisent le Fibré Vectoriel Neuronal, un cadre d'apprentissage profond piloté par les données qui analyse la géométrie intrinsèque via des coordonnées locales.

• Trivialisation locale : Le cadre apprend des coordonnées locales paramétriques pour chaque fibre. Il décompose les représentations des nœuds en sous-espaces disjoints et utilise l'attention multi-têtes pour dériver des vecteurs résiduels. Ceux-ci sont ensuite orthonormalisés (via la décomposition QR) pour former une matrice de base locale $Q^{(i)}$ pour chaque nœud.
• Pseudo-transport parallèle : La relation entre les fibres de nœuds adjacents est modélisée via une carte de pseudo-transport parallèle $P^{(i,j)} = (Q^{(i)})^\top Q^{(j)}$. Cette carte capture la « torsion » géométrique lors du passage d'un vecteur de la fibre d'un nœud à celle d'un autre.

C. Architecture GAUGE et perte de Dirichlet

Sur la base du fibré vectoriel neuronal, les auteurs conçoivent GAUGE (Graph Architecture with Universal Geometry Embedding), une architecture pré-entraînable.

• Aplatissement gâté (Gated Flattening) : GAUGE emploie un mécanisme d'agrégation gâté qui aplatit sélectivement les fibres géométriquement compatibles. Les fibres voisines ayant une haute compatibilité (faible torsion dans le transport parallèle) sont agrégées pour affiner les coordonnées locales, aplatissant progressivement le fibré.
• Perte de Dirichlet : Une nouvelle perte de pré-entraînement est formulée basée sur l'énergie de Dirichlet.
  $$\mathcal{L}(G) = \sum_{i=1}^N \left\| (Q^{(i)})^\top \hat{z}_i^{(0)} - \frac{1}{|N_i|} \sum_{j \in N_i} (Q^{(j)})^\top z_j^L \right\|_2^2$$
  Cette perte mesure l'écart entre la représentation locale d'un nœud et la moyenne des représentations de ses voisins dans l'espace de coordonnées locales. Il est prouvé que minimiser cette perte est suffisant pour apprendre des sous-structures de comportement invariant. Théoriquement, l'énergie de Dirichlet sert de borne supérieure pour l'invariance et diminue de manière monotone pendant l'entraînement, assurant l'aplatissement progressif du fibré vectoriel.

D. Stratégie d'adaptation

Pendant l'adaptation en aval (fine-tuning), les paramètres pré-entraînés du fibré vectoriel neuronal sont maintenus gelés. Seuls l'encodage d'entrée et les couches linéaires spécifiques à la tâche sont ajustés. Les auteurs prouvent que pour les sous-structures $\tau$-invariantes (celles avec une faible erreur de prédiction), les mises à jour de gradient pendant le fine-tuning sont contraintes, garantissant que les comportements invariants appris sont préservés.

3. Contributions clés

1. Compréhension géométrique principled : Le papier comble le fossé entre la transférabilité de la structure et la géométrie intrinsèque des graphes. Au lieu de se concentrer sur les sous-structures discrètes, il connecte les structures transférables à la platitude géométrique via l'invariance du comportement.
2. Fibré vectoriel neuronal : Un nouveau cadre pour l'apprentissage de la géométrie intrinsèque qui caractérise les régions locales de la variété sous-jacente à l'aide de coordonnées locales paramétriques, sans dépendre de priors géométriques prédéfinis.
3. Architecture GAUGE : Une nouvelle architecture de pré-entraînement qui construit le fibré vectoriel en aplatissant les fibres compatibles et utilise une perte de Dirichlet pour mesurer l'effort de transfert.
4. Garanties théoriques : Le travail fournit des preuves théoriques liant l'énergie de Dirichlet à l'invariance comportementale, démontant l'aplatissement monotone du fibré, et établissant la stabilité des paramètres lors du fine-tuning pour les sous-structures invariantes.

4. Résultats expérimentaux

Les auteurs ont évalué GAUGE contre 16 bases solides, incluant des GNN supervisés, auto-supervisés et des modèles de fondation de graphes (GFM) existants.

• Apprentissage par transfert cross-domain : Dans des contextes de few-shot (1-shot et 5-shot) à travers divers domaines (biomédical, social, e-commerce), GAUGE surpasse systématiquement toutes les bases. Par exemple, sur le jeu de données PubMed en 1-shot, GAUGE a atteint 61,26 % de précision contre 54,18 % pour le second meilleur (GraphAny).
• Prédiction de liens Zero-Shot : Sans aucun fine-tuning, GAUGE a atteint des performances de pointe sur les tâches de prédiction de liens à travers quatre jeux de données, démontant sa capacité à capturer directement des régularités structurelles transférables à partir du pré-entraînement.
• Isomorphisme de graphes : GAUGE a montré une expressivité supérieure pour distinguer les isomorphismes de graphes (jeux de données CSL, MUTAG, ZINC12K), atteignant 92,56 % de précision sur le jeu de données CSL, surpassant nettement les GNN conventionnels et les autres modèles de fondation.
• Visualisation : Le modèle a identifié avec succès des sous-structures invariantes dans des exemples simples et des graphes réels, s'alignant étroitement avec les motifs structurels réels (ex. : arbres, grilles, étoiles), validant sa capacité à apprendre les mécanismes comportementaux de diverses topologies.

5. Signification et affirmations

Le papier affirme établir un nouveau pilier théorique pour le développement des modèles de fondation de graphes en reliant deux domaines de recherche auparavant distincts : le transfert de connaissances de graphes et la géométrie intrinsèque.

• Impact théorique : En introduisant le concept de fibrés vectoriels (ancré dans les mathématiques d'Élie Cartan et de Shiing-Shen Chern) dans l'apprentissage de graphes, ce travail fournit un cadre rigoureux pour caractériser la géométrie intrinsèque des graphes. Il déplace le paradigme de la correspondance de sous-structures discrètes vers l'invariance du comportement géométrique continu.
• Impact pratique : Les auteurs soutiennent qu'une compréhension profonde du transfert de connaissances de graphes peut réduire le besoin de ré-entraînement intensif des modèles dans les applications réelles. Cette efficacité peut conserver la puissance de calcul et réduire les émissions de carbone, répondant aux préoccupations de durabilité liées à l'entraînement de modèles à grande échelle.
• Modestie : Les auteurs reconnaissent que bien que leur approche soit supérieure dans les scénarios testés, le domaine des modèles de fondation de graphes est encore en pleine évolution. Ils soulignent que leur travail offre une direction principled plutôt qu'une solution finale, notant particulièrement que la géométrie intrinsèque des graphes est complexe et que ses outils de caractérisation sont encore en cours de développement.

Le papier conclut que les sous-structures communes sont transférables si et seulement si elles correspondent à des régions géométriquement plates dans l'espace de représentation, une propriété que GAUGE apprend et exploite avec succès.