🤖 AI

PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

L'article présente PLuRel, un cadre léger pour la synthèse de bases de données relationnelles multi-tables diversifiées qui démontre, pour la première fois, que le passage à l'échelle des données synthétiques conduit à des améliorations de performance prévisibles et une forte généralisation pour les modèles de fondation relationnels.

Auteurs originaux : Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

Publié 2026-07-15

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à comprendre le monde complexe et interconnecté des données d'entreprise. Dans le monde réel, les entreprises stockent leurs secrets dans de gigantesques « bases de données relationnelles » — imaginez cela comme de gigantesques bibliothèques à plusieurs pièces où chaque livre (une table) est relié à d'autres par des fils spécifiques (comme l'ID d'un client reliant son nom à son historique de commandes). Pour rendre un robot vraiment intelligent dans la lecture de ces bibliothèques, nous devons lui montrer des millions d'exemples différents. Mais il y a un hic : les données réelles des entreprises sont privées. Elles sont verrouillées derrière des murs de lois sur la confidentialité et des secrets commerciaux, nous ne pouvons donc pas simplement les donner à notre robot.

C'est ici qu'intervient l'idée des « données synthétiques ». C'est comme construire une réplique parfaite et fausse d'une bibliothèque à partir de zéro, en utilisant les mathématiques pour deviner à quoi les livres et les fils devraient ressembler sans jamais en voir un seul vrai. Les scientifiques ont fait cela pour des tables uniques (comme une simple liste de noms), mais créer une fausse bibliothèque multi-pièces où les connexions entre les pièces font sens a été incroyablement difficile. Si le robot apprend d'une fausse bibliothèque où les connexions sont brisées ou bizarres, il ne sera pas capable de résoudre de vrais problèmes plus tard. Ce document s'attaque à ce puzzle précis : comment construire une usine capable de produire, de façon continue, des bases de données fausses, diverses et parfaitement connectées afin que notre IA puisse apprendre les règles du jeu avant même de voir une seule donnée réelle ?

L'usine PLUREL : Construire des mondes fictifs pour l'IA

Découvrez PLUREL, un nouveau cadre qui agit à la fois comme un maître architecte et un écrivain créatif. Sa mission est de construire des bases de données relationnelles synthétiques en partant de zéro, créant des « mondes fictifs » pour que les modèles d'IA puissent s'entraîner. Les chercheurs derrière PLUREL voulaient voir s'ils pouvaient débloquer un pouvoir secret pour ces modèles d'IA : la capacité de devenir plus intelligents simplement en voyant plus et de plus en plus d'exemples diversifiés, un concept connu sous le nom de « lois d'échelle » (scaling laws).

Pensez à l'entraînement d'une IA comme à l'apprentissage de la conduite pour un adolescent. Si vous ne le laissez pratiquer que dans un seul parking vide (une base de données unique et petite), il pourrait devenir bon dans ce parking spécifique, mais il s'écrasera dès qu'il arrivera sur une rue passante d'une grande ville (une base de données du monde réel). PLUREL résout cela en générant des milliers de « parcours de conduite » différents — certains avec des rues étroites, d'autres avec des ronds-points, d'autres avec un trafic dense, et d'autres encore avec du brouillard. Chaque parcours est une base de données unique avec son propre ensemble de tables (comme « Utilisateurs », « Articles » et « Transactions ») et le réseau complexe de connexions entre elles.

Comment PLUREL construit ces mondes fictifs

PLUREL ne se contente pas de faire du copier-coller de données existantes ; il construit tout de zéro en trois étapes créatives :

Le Plan (Schéma) : D'abord, il dessine la carte de la bibliothèque. Il décide du nombre de pièces (tables) et de la manière dont elles sont connectées. Il utilise un « graphe dirigé » (un terme sophistiqué pour une carte avec des flèches) pour décider quelle pièce mène à quelle autre. Par exemple, il peut décider que la pièce « Utilisateurs » se connecte à la pièce « Commandes », mais pas directement à la pièce « Expéditions ».
Les Fils (Connectivité) : Ensuite, il tisse les fils qui lient les pièces entre elles. Dans une base de données réelle, une commande spécifique appartient à un utilisateur spécifique. PLUREL utilise un « graphe biparti » ingénieux (une façon d'associer deux groupes) pour décider quel utilisateur reçoit quelle commande. Il ne choisit pas au hasard ; il utilise un modèle « hiérarchique », comme un arbre généalogique, pour s'assurer que les connexions semblent naturelles. Peut-être qu'un utilisateur « VIP » reçoit plus de commandes, ou que les commandes d'une région spécifique se regroupent.
Le Contenu (Caractéristiques) : Enfin, il remplit les pièces avec des données. Il utilise des « Modèles Causaux Structurels » (pensez à eux comme des moteurs de logique) pour décider de ce qui entre dans les cellules. Si un utilisateur achète un manteau d'hiver, le système sait que la « date » doit être en hiver et que le « prix » pourrait être plus élevé. Il ajoute même des « motifs temporels », ce qui signifie que les données changent au fil du temps, tout comme dans la vraie vie (par exemple, les ventes augmentent pendant le Black Friday).

La grande découverte : Plus de variété = Une IA plus intelligente

La partie la plus excitante de l'article est ce qui s'est passé lorsqu'ils ont commencé à entraîner un modèle appelé le Relational Transformer (RT) sur les bases de données générées par PLUREL.

Les chercheurs ont testé deux choses :

La Taille : Quelle quantité de données le modèle a-t-elle vue ? (Nombre total de jetons, ou « mots » de données).
La Diversité : Combien de bases de données différentes le modèle a-t-il vues ? (Le nombre de « mondes » uniques).

Ils ont découvert un motif magnifique et prévisible : Plus les données d'entraînement étaient diverses, plus le modèle devenait performant.

Imaginez que vous apprenez une langue. Si vous lisez 10 000 pages du même livre, vous mémoriserez ce livre parfaitement mais vous ne saurez pas parler à un étranger. Mais si vous lisez 10 000 pages réparties sur 1 000 livres différents (genres différents, auteurs différents, styles différents), vous apprendrez les règles de la langue. PLUREL a montré que lorsque l'IA voyait plus de bases de données uniques (augmentant la diversité), sa capacité à prédire des choses sur des données réelles s'améliorait selon une courbe lisse et prévisible. C'est une « loi de puissance », ce qui signifie que l'amélioration suit une règle mathématique constante plutôt que d'être aléatoire.

Cela fonctionne-t-il dans la vraie vie ?

Le test ultime était : « Est-ce que cet entraînement fictif peut aider pour de vrais problèmes ? »

Les chercheurs ont pris leur IA, qui avait été entraînée sur des milliards de jetons des données fictives de PLUREL, et lui ont donné une courte « école de perfectionnement » sur une petite quantité de données réelles (provenant d'un benchmark appelé RelBench). Les résultats sont impressionnants :

L'approche hybride a gagné : Une IA qui a appris sur les données fictives de PLUREL puis a été affinée sur des données réelles a obtenu des performances nettement supérieures à une IA qui n'a appris que sur des données réelles.
Les gains : En moyenne, cette approche « Synthétique + Réel » a amélioré la précision du modèle de 1,2 % pour les tâches de classification (comme deviner si un utilisateur va partir) et de 3,0 % pour les tâches de régression (comme prédire un chiffre de ventes).
Les sommets : Sur certaines tâches spécifiques, l'amélioration a été énorme, atteignant jusqu'à 7,4 % de mieux pour prédire l'engagement des utilisateurs et 5,2 % de mieux pour prédire la valeur de vie du client (customer lifetime value).

Cependant, l'article précise avec prudence que les données synthétiques ne sont pas une solution miracle. S'ils avaient essayé d'utiliser uniquement les données fictives sans jamais voir de données réelles, le modèle aurait eu des difficultés. Les données fictives sont excellentes pour apprendre les règles générales, mais les données réelles sont nécessaires pour s'aligner sur les particularités spécifiques du monde réel.

Ce que cela signifie

PLUREL suggère que nous n'avons pas besoin d'attendre que les entreprises partagent leurs données privées secrètes pour construire de meilleures IA. Au lieu de cela, nous pouvons construire nos propres « salles de sport d'entraînement » en utilisant des données synthétiques. En générant des milliers de bases de données fictives, diverses et mathématiquement cohérentes, nous pouvons enseigner aux modèles d'IA les règles fondamentales de la manière dont les données se connectent. Cela permet aux modèles de généraliser — ce qui signifie qu'ils peuvent prendre ce qu'ils ont appris dans le monde fictif et l'appliquer avec succès au monde réel et désordonné.

L'article conclut que c'est une nouvelle voie prometteuse. Il ne s'agit pas seulement de créer plus de données ; il s'agit de créer des données meilleures et plus variées. En débloquant la capacité de passer à l'échelle la diversité des données d'entraînement, PLUREL nous aide à construire des Modèles de Fondation Relationnels qui sont prêts à relever les défis complexes des données interconnectées du futur, tout en préservant la confidentialité du monde réel.

Résumé Technique : PLUREL – Les données synthétiques débloquent les lois d'échelle pour les modèles de fondation relationnels

1. Énoncé du problème

Les modèles de fondation relationnels (RFM) visent à faciliter la prise de décision basée sur les données en apprenant à partir de bases de données multi-tables complexes. Si les modèles de fondation (FM) pour le texte, l'image et la vidéo ont connu un succès remarquable grâce à un pré-entraînement à grande échelle, les RFM sont confrontés à un goulot d'étranglement critique : la rareté des bases de données relationnelles multi-tables, diverses et publiques. Les données réelles des entreprises sont généralement inaccessibles en raison des contraintes de confidentialité et du secret commercial.

Les méthodes existantes de génération de données synthétiques pour les données tabulaires se concentrent principalement sur la génération de tables uniques via des modèles causaux structurels (SCM). Cependant, ces approches ne parviennent pas à capturer les complexités essentielles des bases de données relationnelles, spécifiquement la connectivité clé primaire–clé étrangère (P→F) entre les lignes de différentes tables. Cette connectivité détermine la localité de l'information et façonne les distributions conjointes de données que les RFM doivent apprendre. De plus, les techniques de génération de données relationnelles existantes (par exemple, les GAN ou les modèles de diffusion) reposent souvent sur des exemples réels existants pour reproduire les propriétés statistiques, plutôt que de générer de nouveaux schémas et structures à partir de zéro. Par conséquent, les RFM actuels sont entraînés sur des jeux de données limités et peu diversifiés (par exemple, seulement quelques bases de données de RelBench), ce qui entrave la réalisation des lois d'échelle et une généralisation robuste.

2. Méthodologie : Le cadre PLUREL

Les auteurs introduisent PLUREL, un cadre léger conçu pour synthétiser des bases de données relationnelles multi-tabulaires à partir de zéro. PLUREL opère à travers trois étapes distinctes d'abstraction pour modéliser les propriétés structurelles et statistiques des données relationnelles :

Étape 1 : Génération de schéma via des graphes orientés

Le schéma de la base de données est modélisé comme un graphe acyclique dirigé (DAG), $G$ , où les nœuds représentent des tables et les arêtes dirigées représentent la connectivité inter-tables.

Échantillonnage de graphes : $G$ est échantillonné à partir d'une famille de DAG aléatoires, incluant Barabasi-Albert (modélisant les tables pivots/hubs), Reverse Random-Tree (modélisant les hiérarchies strictes) et Watts-Strogatz (modélisant le regroupement local).
Classification des tables : Les tables sont partitionnées en tables d'entités (nœuds avec un degré de sortie $\ge 1$ ) et tables d'activité (nœuds restants).
Métadonnées : Le nombre de lignes et de colonnes de caractéristiques pour chaque table est échantillonné indépendamment à partir de distributions spécifiques. Un ordonnancement topologique de $G$ dicte la séquence de génération, garantissant que les tables parentes sont synthétisées avant leurs enfants.

Étape 2 : Génération de clés étrangères via des graphes bipartites

Cette étape peuple les colonnes de clés étrangères en modélisant la connectivité au niveau des lignes entre les tables parentes et enfants.

Regroupement hiérarchique : Les lignes de la table parente ( $\tilde{T}$ ) et de la table enfant ( $T$ ) sont regroupées en une hiérarchie de blocs à l'aide d'un modèle stochastique de blocs hiérarchiques (HSBM).
Probabilités de connectivité : Une matrice de probabilité par niveau $P^{[l]}$ détermine la probabilité qu'une ligne dans $\tilde{T}$ soit liée à une ligne dans $T$ . Cela permet des motifs de connectivité flexibles, allant d'une distribution uniforme à des clusters hautement localisés, imitant les relations de données hiérarchiques du monde réel.

Étape 3 : Génération de caractéristiques via des modèles causaux structurels (SCM)

Une fois le schéma et la connectivité établis, les valeurs des cellules sont générées à l'aide de SCM.

Graphes causaux : Chaque table est associée à un SCM défini par un graphe causal $C_T$ . Les nœuds représentent des variables et les arêtes encodent les relations de cause à effet.
Génération conditionnelle : Les valeurs des caractéristiques sont générées en propageant les valeurs à travers le graphe causal. Pour les tables possédant des clés étrangères, le mécanisme SCM incorpore des nœuds de caractéristiques provenant des tables parentes, permettant aux lignes enfants de dépendre de lignes parentes spécifiques.
Motifs temporels : Pour capturer les corrélations temporelles, les entrées exogènes pour les nœuds sources sont modélisées par une combinaison de tendance (loi de puissance), de cycle (sinusoïdal) et de fluctuation (bruit gaussien). Cela évite l'hypothèse irréaliste selon laquelle les lignes partageant des clés étrangères sont indépendantes et identiquement distribuées (i.i.d.).
Types de données : Le cadre prend en charge les caractéristiques numériques et catégorielles, avec des mécanismes pour projeter et reconstruire les valeurs dans des espaces latents partagés à l'aide de perceptrons multicouches (MLP).

3. Contributions clés

Un nouveau cadre de données synthétiques : PLUREL est le premier cadre capable de synthétiser des bases de données relationnelles multi-tabulaires à partir de zéro, en modélisant explicitement la structure du schéma, la connectivité clé primaire–clé étrangère et les distributions conditionnelles des caractéristiques.
Découverte des lois d'échelle pour les RFM : En supprimant les goulots d'étranglement de données, les auteurs mènent la première analyse d'échelle pour les RFM selon deux axes : la diversité (nombre de bases de données synthétiques, $N$ ) et la taille (nombre total de tokens de pré-entraînement, $S$ ).
Validation de la mise à l'échelle en loi de puissance : L'étude démontre que la perte de pré-entraînement suit une dépendance de type loi de puissance vis-à-vis de $N$ et de $S$ , à condition qu'aucun des deux axes ne serve de goulot d'étranglement.
Amélioration de la généralisation : L'étude montre que le pré-entraînement synthétique améliore la généralisation zero-shot sur des bases de données réelles et sert de fondation robuste pour le pré-entraînement continu sur des données réelles.

4. Résultats expérimentaux

Les auteurs pré-entraînent un Transformer Relationnel (RT) sur des milliards de tokens générés par PLUREL et évaluent ses performances sur le benchmark RelBench (6 jeux de données réels, 18 tâches).

Lois d'échelle :
- Mise à l'échelle de la perte : La perte de validation suit une loi de puissance par rapport au nombre de bases de données synthétiques ( $N$ ) et à la taille du jeu de données ( $S$ ).
- Interaction des axes : Augmenter $N$ avec un $S$ fixe mène à un sous-apprentissage (underfitting), tandis qu'augmenter $S$ avec un $N$ fixe mène à un surapprentissage (overfitting). Une performance optimale nécessite de faire évoluer les deux axes de concert.
Généralisation Zero-Shot :
- Les modèles pré-entraînés sur des jeux de données synthétiques plus larges et plus diversifiés montrent une meilleure performance zero-shot sur des tâches réelles inédites par rapport aux modèles entraînés sur des ensembles synthétiques plus petits ou sur des données réelles seules.
Pré-entraînement continu :
- Synthétique + Réel : Le pré-entraînement sur PLUREL suivi d'un pré-entraînement continu sur des données réelles donne les meilleurs résultats.
- Gains de performance : Cette approche atteint un gain absolu moyen de +1,2 % en AUROC (classification) et de +3,0 % en R² (régression) par rapport aux modèles entraînés uniquement sur des données réelles.
- Améliorations spécifiques aux tâches : Des gains significatifs sont observés dans les tâches de régression (ex: +5,2 % sur item-LTV) et les tâches de classification basées sur le comportement (ex: +7,4 % sur user-engage).
- Limites : Le pré-entraînement "synthétique uniquement" est généralement moins performant que le mode "Réel uniquement" ou "Synthétique + Réel", indiquant que si les données synthétiques fournissent une base solide, le pré-entraînement continu sur des données réelles est crucial pour l'alignement de la distribution, particulièrement pour les tâches exigeant une sémantique de colonne spécifique.

5. Signification et affirmations

L'article positionne PLUREL comme un changement de paradigme pour le développement des modèles de fondation relationnels. Sa principale importance réside dans sa capacité à débloquer l'échelle des données pour les RFM, un domaine auparavant contraint par le manque de données relationnelles publiques et diversifiées.

Développement respectueux de la vie privée : PLUREL permet la création illimitée et diversifiée de bases de données relationnelles sans dépendre de données réelles sensibles, répondant ainsi aux barrières de confidentialité et de secret professionnel.
Fondation pour les lois d'échelle : Ce travail établit que les RFM, tout comme les modèles de langage et de vision, suivent des lois d'échelle où la performance s'améliore de manière prévisible avec l'augmentation de la diversité et de la taille des données.
Synergie de pré-entraînement : Les résultats suggèrent une relation synergique où le pré-entraînement synthétique agit comme un puissant initialisateur, améliorant la capacité du modèle à apprendre des données réelles ultérieures, accélérant ainsi le développement de la prochaine génération de RFM pour les applications d'entreprise.

Les auteurs concluent que, bien que les données synthétiques seules soient insuffisantes pour un transfert zero-shot robuste en raison de l'absence de sémantique spécifique des colonnes, elles constituent un composant nécessaire et puissant pour construire des modèles de fondation relationnels extensibles et généralisables.