💻 computer science

Billion-Scale Graph Foundation Models

Ce papier présente GraphBFF, un cadre de bout en bout intégrant une architecture Transformer évolutive permettant l'entraînement réussi de modèles de base à plusieurs milliards de paramètres sur des graphes hétérogènes, démontrant des lois d'échelle neuronales prévisibles et des performances supérieures à celles des références existantes sur diverses tâches en aval.

Auteurs originaux : Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une bibliothèque massive et chaotique où chaque livre est relié à tous les autres par des milliers de types de cordes différents. Certaines cordes sont rouges, d'autres bleues, certaines sont faites de corde, et d'autres de soie. Certains livres ont d'énormes piles de notes attachées, tandis que d'autres en ont presque aucune. C'est ainsi qu'un graphe se présente dans le monde des données : un immense réseau de connexions (comme les réseaux sociaux, les transactions financières ou les chaînes d'approvisionnement).

Pendant longtemps, les ordinateurs ont été excellents pour lire du texte (comme des livres) ou regarder des images (comme des peintures), car ces éléments ont une structure très nette et prévisible. Mais essayer d'enseigner à un ordinateur de comprendre ce réseau désordonné et gigantesque de connexions a été incroyablement difficile.

Ce papier présente GraphBFF, une nouvelle « recette » pour construire un Modèle de Fondation de Graphe. Imaginez ce modèle comme un bibliothécaire surdoué qui a lu chaque livre unique de cette immense bibliothèque et a appris comment toutes les cordes les relient.

Voici comment ils l'ont fait, décomposé en concepts simples :

1. Le Problème : Une Taille Ne Convient Pas à Tous

Les tentatives précédentes pour enseigner aux ordinateurs ces réseaux étaient comme essayer de forcer un clou carré dans un trou rond.

L'Approche « Texte » : Certains ont essayé de transformer le réseau en une longue liste de mots. Mais c'est comme essayer de décrire une ville en 3D en énumérant simplement les noms de rues en ligne ; vous perdez la carte.
L'Approche « Image » : D'autres ont essayé de traiter le réseau comme une grille (comme une photo). Mais les réseaux sont désordonnés et irréguliers, pas des grilles nettes.

Les auteurs ont réalisé que pour gérer un réseau d'un milliard de nœuds, il faut un modèle qui comprend que des connexions différentes signifient des choses différentes. Une connexion « ami » est différente d'une connexion « transaction ».

2. La Solution : Le Transformer GraphBFF

Le cœur de leur invention est une nouvelle architecture cérébrale appelée le Transformer GraphBFF. Il utilise une stratégie astucieuse en deux parties pour écouter le réseau :

Partie A : L'Oreille « Spécialiste » (Attention Conditionnée par le Type) : Cette partie écoute attentivement des types spécifiques de connexions. Si vous regardez une connexion « ami », elle ne prête attention qu'aux autres connexions « ami ». C'est comme avoir un traducteur qui ne parle que français lorsque vous êtes dans une conversation française. Cela garantit qu'il ne se confond pas avec le bruit des autres types de connexions.
Partie B : L'Oreille « Généraliste » (Attention Agnostique du Type) : Cette partie écoute tout ce qui est à proximité, indépendamment du type de connexion. C'est comme un sens général de « qui est dans la pièce ? ». Cela aide le modèle à voir le tableau d'ensemble et à ne pas rester bloqué sur un seul type de détail.

En combinant ces deux oreilles, le modèle obtient le meilleur des deux mondes : il comprend les détails spécifiques et le quartier général.

3. Le Défi : L'« Embouteillage »

L'entraînement sur un graphe d'un milliard de nœuds est comme essayer de nourrir un milliard de personnes dans un restaurant avec une seule cuisine. Si vous essayez de servir tout le monde à la fois, la cuisine explose (surcharge de mémoire). Si vous les servez au hasard, le chef se confond car il continue de changer entre servir de la soupe et servir du steak.

Les auteurs ont inventé deux nouvelles stratégies de service :

KL-Batching (Le Menu Intelligent) : Au lieu de saisir des tables au hasard, ils regroupent les clients en fonction de ce qu'ils ont commandé (types de nœuds) pour s'assurer que chaque table reçoit un mélange équilibré de plats. Cela empêche le chef d'être submergé par trop de commandes « steak » à la fois.
Round-Robin Batching (La File d'Attente Équitable) : Ils s'assurent que le chef sert chaque type de client en cercle. S'il n'y a que 5 commandes de « plat rare » mais 1 000 commandes de « plat courant », ils s'assurent que les plats rares reçoivent aussi de l'attention, afin que le chef n'oublie pas comment les cuisiner.

4. Les Résultats : Le « Super Bibliothécaire »

Ils ont testé ce système sur un graphe réel à l'échelle du milliard (comme un immense réseau d'entreprise). Ils ont entraîné le modèle sur un milliard de pièces de données, puis lui ont demandé de résoudre 10 énigmes différentes qu'il n'avait jamais vues auparavant.

Le Test : Ils ont donné au modèle un cerveau congelé (il ne pouvait pas apprendre de nouvelles choses) et lui ont simplement demandé d'utiliser ce qu'il savait déjà pour résoudre de nouveaux problèmes (comme prédire si deux personnes sont amis ou si une transaction est suspecte).
Le Résultat : Le modèle GraphBFF a écrasé la concurrence. Il a battu tous les modèles spécialisés conçus pour ces tâches spécifiques avec d'énormes marges (jusqu'à 31 points de mieux).
La Magie du « Few-Shot » : Même lorsqu'ils ont donné au modèle seulement 1 ou 2 exemples d'une nouvelle tâche (comme lui montrant une seule photo de chat et lui demandant de trouver des chats), il a encore performé incroyablement bien. C'était comme montrer au bibliothécaire un nouveau livre et lui demander de trouver des livres similaires dans toute la bibliothèque, et il l'a fait parfaitement.

5. La Découverte de la « Loi d'Échelle »

Le papier a également découvert une règle empirique pour ces modèles, similaire à ce que nous savons des modèles de langage : Vous devez faire grandir le cerveau et la bibliothèque ensemble.

Si vous rendez le cerveau plus grand mais ne lui donnez pas plus de livres à lire, il cesse de devenir plus intelligent.
Si vous lui donnez plus de livres mais que le cerveau reste petit, il est submergé et cesse d'apprendre.
Pour obtenir les meilleurs résultats, vous devez augmenter simultanément la taille du modèle et la taille des données.

Résumé

En bref, les auteurs ont construit un cerveau universel de graphe capable de lire, comprendre et apprendre à partir de réseaux massifs, désordonnés et réels. Ils ont résolu les problèmes techniques consistant à nourrir ce cerveau sans faire planter l'ordinateur, et ils ont prouvé que ce cerveau est si intelligent qu'il peut résoudre de nouveaux problèmes qu'il n'a jamais vus auparavant, souvent mieux que des experts qui ont passé des années à construire des modèles pour ce seul problème spécifique.

Résumé Technique : Graph Billion-Foundation-Fusion (GraphBFF)

Énoncé du Problème

Les données structurées en graphes sont omniprésentes dans des domaines allant de la sécurité aux systèmes de recommandation, pourtant l'extension du paradigme des modèles de fondation aux graphes réels et généraux reste fondamentalement difficile. Contrairement au langage ou à la vision, où les distributions de données sont relativement uniformes (tokens séquentiels ou grilles 2D fixes), les graphes présentent une hétérogénéité significative dans les types de nœuds/arêtes, les structures topologiques et les échelles. De plus, la rareté des jeux de données publics de haute qualité à l'échelle du milliard a entravé l'étude rigoureuse des Modèles de Fondation pour Graphes (GFMs). Les approches existantes reposent souvent sur de fortes biais inductifs adaptés à des types de graphes spécifiques (par exemple, graphes moléculaires ou graphes de connaissances) ou tentent de réduire les graphes à des séquences de texte pour les Modèles de Langage à Grande Échelle (LLM), ce qui peut entraîner de mauvaises performances, des prédictions instables ou nécessiter des ordres de grandeur de paramètres supplémentaires par rapport au nécessaire.

Méthodologie : Le Cadre GraphBFF

Les auteurs présentent Graph Billion-Foundation-Fusion (GraphBFF), une recette de bout en bout pour construire des GFMs à un milliard de paramètres sur des graphes hétérogènes à grande échelle. Le cadre comprend une architecture novatrice, des stratégies de pré-entraînement spécifiques et des lois d'échelle.

1. L'Architecture Transformer GraphBFF

Conçue pour des graphes hétérogènes à l'échelle du milliard, le Transformer GraphBFF remplace l'attention self-attention standard toutes-paires par deux modules d'attention complémentaires et conscients de l'hétérogénéité :

Attention Conditionnée par le Type (TCA) : Ce composant effectue une attention self-attention masquée au sein de voisinages limités à des sous-ensembles spécifiques de types d'arêtes. Crucialement, il applique un softmax parcimonieux séparément à chaque type de voisin plutôt qu'à tous les voisins à la fois. Cela atténue les goulots d'étranglement de mémoire et d'E/S associés à la matérialisation de matrices d'attention complètes pour des voisinages larges et hétérogènes. Il intègre les caractéristiques des arêtes via des projections spécifiques au type.
Attention Agnostique au Type (TAA) : Pour permettre une attention inter-type et éviter le surapprentissage à des structures de graphes spécifiques (en particulier dans les cas de distributions de degrés hautement irrégulières), ce composant applique une attention partagée sur tous les types de nœuds et d'arêtes. Il utilise un échantillonnage de voisins à degré fixe pour garantir l'efficacité. La TAA partage les matrices d'attention sur tous les types, introduisant peu de paramètres supplémentaires tout en augmentant strictement l'expressivité du modèle.

La représentation finale du nœud est une combinaison apprise des embeddings TCA et TAA, suivie des composants standard de l'encodeur transformer (connexions résiduelles, normalisation de couche et réseaux de neurones feed-forward). Les auteurs prouvent théoriquement qu'un modèle contenant à la fois TCA et TAA est strictement plus expressif qu'un modèle contenant uniquement l'un ou l'autre composant.

2. Stratégies de Pré-entraînement et de Batching

Pour gérer des graphes à l'échelle du milliard avec des distributions de types biaisées, les auteurs introduisent deux stratégies de batching :

KL-Batching (Niveau Stockage) : Pour s'assurer que les lots d'entraînement représentent la distribution globale des types de nœuds et d'arêtes, le graphe est d'abord partitionné en clusters. Les clusters sont ensuite agrégés en lots basés sur leur divergence de Kullback-Leibler (KL) par rapport à la distribution de référence globale. Les lots sont construits en ajoutant de manière gourmande des clusters à faible KL jusqu'à ce qu'un budget de mémoire soit atteint, garantissant que les premières étapes d'entraînement sont représentatives et stables.
Round-Robin Batching (Niveau GPU) : Pour éviter que les mini-lots ne soient dominés par des types d'arêtes courants, les arêtes de supervision sont regroupées par type et itérées dans un ordre cyclique fixe. Cela garantit que tous les types d'arêtes reçoivent une supervision continue, même si certains sont rares.

3. Objectif de Pré-entraînement

Le cadre utilise la prédiction de liens masqués comme seul objectif auto-supervisé. Les arêtes positives sont échantillonnées à partir du graphe, et les arêtes négatives sont échantillonnées uniformément au hasard. Le modèle évalue l'existence d'une arête en concaténant les embeddings des nœuds source et cible et en les faisant passer à travers un MLP à deux couches. Les auteurs émettent l'hypothèse qu'à l'échelle du milliard, le volume sheer de données compense le manque de biais inductifs complexes, rendant cet objectif simple suffisant.

4. Lois d'Échelle Neurales

L'étude établit des lois d'échelle neurales pour les GFMs, démontrant que la perte de validation suit des relations de loi de puissance prévisibles par rapport à la fois à la taille du modèle ( $N$ ) et à la taille des données ( $D$ ). Les résultats indiquent des goulots d'étranglement stricts : augmenter la capacité du modèle sans augmenter les données (ou vice versa) produit des rendements décroissants. Une mise à l'échelle efficace nécessite de faire croître simultanément les paramètres du modèle et les données d'entraînement.

Résultats Clés

Les auteurs ont évalué un Transformer GraphBFF à 1,4 milliard de paramètres pré-entraîné sur un milliard d'échantillons provenant d'un graphe d'entreprise réel (contenant environ 50 milliards de nœuds/arêtes). L'évaluation a couvert dix tâches en aval diverses (classification/régression de nœuds et de liens) sur des graphes non vus pendant l'entraînement.

Performance : Le Transformer GraphBFF figé, couplé à une sonde linéaire ou non linéaire simple, a constamment surpassé les bases spécifiques à la tâche (y compris HGT, HAN et GraphGPS) sur les dix tâches.
Marges : Les améliorations étaient substantielles, avec des gains allant jusqu'à 31 points PRAUC (par exemple, la tâche 9 est passée de 63,66 à 95,19).
Capacité Few-Shot : Le modèle a démontré de fortes performances dans des configurations few-shot (1–10 échantillons), rivalisant souvent ou dépassant les performances en données complètes de modèles spécialisés entraînés sur les mêmes tâches.
Ablation : Le retrait de l'un ou l'autre composant TCA ou TAA a conduit à une dégradation significative des performances, confirmant la nécessité des deux mécanismes. La TCA a été identifiée comme le principal moteur de la capacité, tandis que la TAA fournissait une généralisation essentielle.

Signification et Revendications

Le papier revendique de fournir un plan concret et reproductible pour construire des GFMs efficaces à l'échelle industrielle, soutenu par de solides preuves empiriques. Ses contributions principales sont :

Évolutivité : Démontrer que des modèles à un milliard de paramètres peuvent être entraînés sur des graphes hétérogènes à l'échelle du milliard en utilisant des ressources réalisables (par exemple, 64 GPU pendant 12 heures).
Architecture : Introduire le Transformer GraphBFF, qui équilibre expressivité et efficacité grâce à des mécanismes d'attention duaux et des opérations de softmax parcimonieux.
Méthodologie : Établir des méthodologies pratiques pour le batching de données (KL-Batching, Round-Robin) et le pré-entraînement qui répondent aux défis spécifiques des graphes à grande échelle avec des types biaisés.
Généralisation : Prouver que les GFMs peuvent apprendre des représentations transférables qui se généralisent à travers des tâches et des topologies de graphes diverses, même lorsque les graphes en aval ne partagent aucun nœud ou arête avec les données de pré-entraînement.

Les auteurs reconnaissent les limites, notant que les lois d'échelle sont dérivées d'un jeu de données d'entreprise spécifique et peuvent ne pas se transférer à des graphes avec des distributions de degrés fondamentalement différentes. Ils soulignent également que l'allocation optimale en calcul pour les modèles de graphes reste un problème ouvert en raison de la nature conditionnelle des graphes des coûts d'entraînement. Néanmoins, ce travail positionne les GFMs comme une fondation pratique et principielle pour l'apprentissage de graphes dans des contextes industriels.