Résumé Technique : Généralisation des Modèles de Fondation de Graphes via la Génération Augmentée par Récupération Hyperbolique

1. Énoncé du Problème

Les Modèles de Fondation de Graphes (GFM) se sont imposés comme un paradigme dominant pour l'apprentissage de représentations de graphes, atteignant une forte capacité de généralisation à travers diverses tâches grâce à un pré-entraînement à grande échelle. Cependant, leurs performances sont intrinsèquement contraintes par la distribution de leurs données de pré-entraînement. Face à des changements de distribution lors de l'inférence, les connaissances paramétrées au sein de ces modèles échouent souvent à se généraliser, entraînant des performances dégradées et peu fiables.

Pour remédier à cela, la Génération Augmentée par Récupération (RAG) a été introduite pour permettre aux GFM d'accéder dynamiquement à des connaissances externes lors de l'inférence sans réentraînement. Les cadres RAG existants pour les graphes opèrent toutefois principalement dans un espace euclidien. Les auteurs identifient une limitation géométrique fondamentale dans cette approche : la croissance polynomiale du volume de l'espace euclidien est en décalage avec la croissance exponentielle des bases de connaissances externes structurées en arbres. Ce décalage géométrique entraîne deux problèmes critiques :

1. Perte de Granularité Sémantique : Les espaces euclidiens peinent à distinguer les concepts à grain grossier (globaux) des concepts à grain fin (locaux). Les concepts situés à différentes profondeurs hiérarchiques sont compressés dans des régions proximales, ce qui amène le modèle à les traiter comme étant également informatifs et brouille les rôles sémantiques.
2. Émergence de l'Hubness : En raison d'une capacité de représentation limitée, de nombreuses entités sont forcées dans une petite région de l'espace d'embedding. Cela résulte en un phénomène de « hubness » (centralité), où certaines entités apparaissent fréquemment dans les ensembles de plus proches voisins de diverses requêtes, réduisant la diversité de la récupération et la spécificité des requêtes.

2. Méthodologie : Cadre HyRAG

Les auteurs proposent HyRAG (Hyperbolic Retrieval-Augmented Generation), un cadre conçu pour améliorer la généralisation des GFM en exploitant les propriétés géométriques de l'espace hyperbolique. HyRAG se compose de trois modules principaux :

2.1 Indexation de Connaissances Hyperboliques (HKI)

Ce module construit un espace de représentation conscient de la hiérarchie pour la base de connaissances externes.

• Projection Hyperbolique : Les caractéristiques sémantiques des entités et des relations sont d'abord encodées dans l'espace euclidien (par exemple, via SBERT) puis projetées dans un modèle de boule de Poincaré ($B^d$) à l'aide d'un réseau de mapping apprenable et de la carte exponentielle.
• Optimisation Sensible à la Hiérarchie : Le modèle est entraîné à l'aide d'un objectif conjoint pour préserver à la fois la sémantique relationnelle et l'implication hiérarchique.
  • Perte de Distance : Garantit que les représentations conditionnées par la relation sont géométriquement cohérentes avec les entités de queue (tail entities). Pour les relations hiérarchiques, il emploie une stratégie de rotation sous les contraintes de cône d'implication hyperbolique.
  • Perte d'Angle : Impose que le cône d'implication d'une entité de queue soit géométriquement contenu dans celui de son entité de tête (head entity), préservant ainsi l'ordre partiel.
  • Régularisation : Une pénalité est appliquée aux embeddings dont les normes radiales dépassent un seuil afin d'éviter la dérive vers la frontière de la boule de Poincaré, assurant une représentation hiérarchique stable.

2.2 Récupération Multi-granularité (MR)

Pour remédier à la perte de granularité sémantique, HyRAG récupère les connaissances à deux niveaux distincts :

• Reformulation de la Requête : Un Grand Modèle de Langage (LLM) reformule l'attribut textuel du nœud de requête en une requête à grain grossier (résumant le thème central) et une requête à grain fin (capturant les détails spécifiques).
• Récupération à Grain Grossier : Récupère les $k$ meilleures entités basées sur la distance hyperbolique. Pour garantir la diversité et éviter la redondance, le critère de Pertinence Maximale Marginale (MMR) est appliqué pour sélectionner les entités du voisinage, équilibrant la pertinence par rapport à la requête et la dissimilarité par rapport aux voisins déjà sélectionnés.
• Récupération à Grain Fin : Récupère les $k$ meilleures entités basées sur la distance hyperbolique. L'expansion du voisinage ici se concentre sur la spécificité. Les candidats sont filtrés à l'aide d'un score de violation angulaire dérivé des cônes d'implication hyperboliques, garantissant que les voisins sélectionnés sont des hyponymes (sous-concepts) valides de l'entité récupérée.
• Construction du Graphe : Les deux processus de récupération génèrent des ensembles de graphes (à grain grossier et à grain fin), qui sont résumés en représentations compactes de type graphe via une agrégation de voisinage guidée par la requête.

2.3 Fusion à Double Voie (DF)

Ce module intègre les connaissances récupérées dans le GFM aux niveaux des caractéristiques et de la structure :

• Fusion au Niveau des Caractéristiques : La représentation initiale du nœud de requête est augmentée par l'agrégation des représentations de connaissances à grain grossier et à grain fin. Les poids sont calculés en fonction de la distance hyperbolique entre la requête et les entités centrales des graphes récupérés.
• Fusion au Niveau de la Structure : Pour éviter d'introduire directement des arêtes hétérogènes dans l'ego-graphe de la requête, deux graphes auxiliaires (graphes d'attributs à grain grossier et à grain fin) sont construits. L'encodeur du GFM traite indépendamment l'ego-graphe et ces graphes auxiliaires pour produire des logits de prédiction.
• Injection avec Porte d'Incertitude : Les prédictions des graphes auxiliaires sont fusionnées dans une prédiction de connaissance unifiée, pondérée par l'inverse de l'entropie (confiance) de chaque source. Cette prédiction unifiée est ensuite injectée dans la prédiction originale du GFM, filtrée par une porte (gate) contrôlée par l'entropie de la prédiction originale. Si la prédiction originale est incertaine (entropie élevée), le modèle s'appuie davantage sur la connaissance récupérée ; si elle est confiante, il préserve la prédiction originale.

3. Contributions Clés

L'article revendique les contributions suivantes :

1. Identification des Limitations : Les auteurs identent et analysent deux limitations inhérentes aux paradigmes RAG basés sur l'Euclidien pour les graphes : la perte de granularité sémantique et l'émergence de l'hubness due au décalage géométrique.
2. Cadre HyRAG : Ils proposent HyRAG, le premier cadre de RAG hyperbolique adapté aux modèles de fondation de graphes. Il fournit une refonte du pipeline RAG consciente de la géométrie, englobant l'indexation des connaissances, la récupération multi-granularité et la fusion à double voie.
3. Validation Empirique : Des expériences approfondies sur plusieurs benchmarks de graphes démontrent que HyRAG améliore systématiquement les performances d'inférence zero-shot des GFM sans nécessiter de fine-tuning spécifique à la tâche.

4. Résultats Expérimentaux

Les auteurs ont évalué HyRAG en utilisant GraphCLIP comme GFM de base à travers sept jeux de données couvrant les domaines académique, de l'e-commerce, de Wikipédia et des réseaux sociaux (ex: Cora, CiteSeer, WikiCS, Instagram).

• Classification de Nœuds : Dans le cadre zero-shot, HyRages a obtenu les meilleures performances sur tous les jeux de données, affichant une amélioration moyenne de 2,02 % par rapport aux méthodes auto-supervisées et aux modèles de fondation de graphes de pointe. Comparé spécifiquement à la méthode RAG basée sur l'Euclidien (RAGRAPH), HyRAG montre une amélioration moyenne de 0,82 %.
• Prédiction de Liens : Les expériences sur la tâche de prédiction de liens utilisant AnyGraph comme backbone montrent des améliorations constantes, avec des gains notables de 1,08 % sur Cora et 1,41 % sur CiteSeer.
• Études d'Ablation :
  • Le remplacement de l'Indexation de Connaissances Hyperboliques par un index euclidien standard a entraîné la plus forte chute de performance (baisse moyenne de 1,99 %), validant la nécessité de la géométrie hyperbolique.
  • La suppression de l'un ou l'autre des composants de récupération (grossier ou fin) a conduit à une dégradation significative des performances, confirmant la valeur synergique de la récupération multi-granularité.
  • La fusion au niveau des caractéristiques a été identifiée comme le principal moteur de la généralisation, tandis que la fusion au niveau de la structure apporte des bénéfices complémentaires.

5. Signification et Revendications

L'article positionne HyRAG comme une solution au goulot d'étranglement de la généralisation des GFM causé par les changements de distribution. En alignant les propriétés géométriques de l'espace de récupération (hyperbolique) avec la nature structurelle des connaissances externes (hiérarchies en arbre), le cadre atténne efficacement la perte de granularité sémantique et le hubness. Les auteurs affirment que HyRAG permet aux GFM de tirer parti efficacement des ancres sémantiques globales et des nuances sémantiques locales, offrant une direction prometteuse pour la construction de modèles de fondation de graphes robustes et généralisables qui ne dépendent pas d'un réentraînement extensif pour de nouveaux domaines.