🤖 machine learning

RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Ce papier présente RelBench v2, un benchmark et un référentiel considérablement élargis pour l'apprentissage profond relationnel, qui intègre quatre nouveaux jeux de données à grande échelle, de nouvelles tâches de saisie semi-automatique et des intégrations avec des frameworks externes afin de faciliter une évaluation systématique et de démontrer la supériorité des modèles relationnels par rapport aux bases de référence sur table unique.

Auteurs originaux : Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une immense bibliothèque d'informations. Autrefois, si vous vouliez trouver un motif, vous deviez prendre chaque livre, en arracher les pages et les coller toutes sur une seule feuille de papier géante et désordonnée. Vous perdriez le contexte indiquant de quel livre provenait la page, et vous devriez dessiner manuellement des lignes reliant les idées connexes. C'est ainsi que l'apprentissage automatique traditionnel traitait auparavant les données complexes.

L'apprentissage profond relationnel (RDL) est comme un nouveau genre de bibliothécaire qui n'arrache pas les pages. Au lieu de cela, il considère l'ensemble de la bibliothèque comme une carte vivante. Il comprend qu'un « Livre » est connecté à un « Auteur », qui est connecté à une « Université », laquelle est connectée à une « Ville ». Il voit les relations, pas seulement les faits isolés.

Ce papier présente RELBENCH v2, une mise à niveau massive d'une « salle de musculation » d'entraînement pour ces bibliothécaires intelligents. Voici ce qu'ils ont construit :

1. Les nouveaux terrains d'entraînement (Les jeux de données)

L'ancienne salle de musculation (RELBENCH v1) disposait de quelques terrains d'entraînement. RELBENCH v2 a ajouté quatre nouveaux stades immenses, portant le total à 11. Ce ne sont pas de simples petits terrains d'entraînement ; ce sont des mondes de données réels et massifs :

La bibliothèque du savant (rel-arxiv) : Une carte de millions d'articles de recherche, d'auteurs et de citations croisées.
Le bureau d'entreprise (rel-salt) : Une simulation des commandes de vente, des itinéraires d'expédition et des conditions de paiement d'une gigantesque entreprise.
Le forum des amateurs de bière (rel-ratebeer) : Une décennie de notes attribuées par des utilisateurs à des bières, des brasseries et des lieux.
Les dossiers hospitaliers (rel-mimic) : Des dossiers de patients anonymisés d'un grand centre médical (avec des dates décalées vers le futur pour protéger la vie privée).

Ensemble, ils contiennent plus de 22 millions de lignes de données. C'est comme donner à l'IA une bibliothèque de 22 millions de livres à apprendre, tous interconnectés.

2. Les nouveaux jeux (Les tâches)

Le papier introduit un nouveau type de jeu appelé « Autocomplétion ».

L'ancien jeu (Prévision) : Imaginez une boule de cristal. Vous donnez à l'IA les données jusqu'à aujourd'hui, et elle prédit quelque chose qui n'est pas encore arrivé (comme « Ce client partira-t-il le mois prochain ? »).
Le nouveau jeu (Autocomplétion) : Imaginez un formulaire partiellement rempli. L'IA voit certains champs (comme « Nom du client » et « Date de commande ») mais la case « Mode de paiement » est vide. L'IA doit deviner la case manquante maintenant, en utilisant uniquement les indices des autres tables qu'elle peut voir.

Pourquoi est-ce difficile ? C'est comme essayer de deviner la nourriture préférée d'une personne en connaissant seulement son adresse et l'heure de la journée, sans qu'elle vous le dise. L'IA doit regarder le « quartier » (les tables connexes) pour le comprendre. Le papier montre que l'IA est bien meilleure à cela lorsqu'elle comprend les relations entre les tables que lorsqu'elle regarde simplement la ligne unique.

3. Le « Adaptateur universel » (Intégration d'autres benchmarks)

Les auteurs n'ont pas seulement construit de nouvelles salles ; ils ont créé un adaptateur universel permettant à la salle de se connecter à d'autres centres d'entraînement populaires :

La salle de musculation du flux temporel (TGB) : Ils ont traduit des jeux de données qui ressemblent habituellement à une rivière d'événements qui coule vers leur format bibliothèque, afin que l'IA puisse s'y entraîner également.
Le défi des 70 bases de données (ReDeLEx) : Ils se sont connectés à une collection de plus de 70 bases de données réelles, offrant à l'IA la chance de s'entraîner sur presque n'importe quoi.
La boîte à outils 4D (4DBInfer) : Ils ont ajouté un ensemble d'outils qui testent l'IA sous quatre angles différents (données, tâches, structure de graphe et modèles) pour s'assurer qu'elle est véritablement robuste.

4. Les résultats : La puissance de la connexion

Le papier a mené une série de tests comparant le « Bibliothécaire intelligent » (modèles RDL) au « Travailleur de l'ancienne école » (modèles traditionnels qui aplatissent les données).

Le verdict : Le Bibliothécaire intelligent a gagné presque à chaque fois.

Que ce soit pour deviner des valeurs manquantes (Autocomplétion), prédire l'avenir (Prévision) ou recommander l'article suivant (Recommandation), le modèle qui comprenait les relations entre les tables a nettement mieux performé.
Même lorsque les données étaient désordonnées ou que les catégories étaient déséquilibrées, le modèle relationnel a utilisé les connexions pour trouver des signaux que les anciens modèles avaient manqués.

Résumé

Pensez à RELBENCH v2 comme au « permis de conduire » ultime pour l'Intelligence Artificielle tentant de comprendre des bases de données complexes. Il fournit :

Plus de voitures : 11 jeux de données massifs et diversifiés (Académique, Entreprise, Consommateur, Médical).
Nouveaux exercices : Un nouveau défi d'« Autocomplétion » pour tester la capacité de l'IA à remplir les blancs manquants en utilisant le contexte.
Un garage universel : Des outils pour se connecter à d'autres terrains d'essai afin que l'IA puisse apprendre de tout.

La conclusion principale est simple : Lorsque les données sont connectées, vous devez les traiter comme un réseau connecté, et non comme une liste plate. Les modèles qui le font remportent la course.

Résumé Technique : RELBENCH V2

Énoncé du Problème

Les bases de données relationnelles constituent l'abstraction de stockage principale pour les données structurées dans les systèmes d'entreprise, scientifiques et de santé, en organisant l'information via des relations clés primaires–clés étrangères qui capturent des dépendances structurelles et temporelles riches. Bien que l'Apprentissage Profond Relationnel (RDL) ait émergé comme un paradigme pour apprendre directement sur ces bases de données — en les traitant comme des graphes hétérogènes pour éviter l'ingénierie manuelle de caractéristiques et l'aplatissement — il subsiste un besoin critique de benchmarks évolutifs et réalistes pour évaluer les progrès, particulièrement alors que le domaine se tourne vers des modèles de fondation relationnels. Les benchmarks existants manquent souvent d'échelle, de diversité dans les domaines, ou de la capacité à évaluer des tâches au-delà des prévisions traditionnelles construites via des requêtes SQL.

Méthodologie et Cadre

RELBENCH v2 étend le cadre RELBENCH original (Robinson et al., 2024) en introduisant de nouveaux jeux de données, de nouveaux types de tâches et une intégration unifiée de benchmarks externes. La méthodologie centrale repose sur :

Contraintes Temporelles et Prévention des Fuites : Tous les jeux de données utilisent des coupures fixes VAL_TIMESTAMP et TEST_TIMESTAMP. Les modèles sont entraînés sur les données jusqu'à VAL_TIMESTAMP, validés sur les lignes situées entre les coupures, et testés sur les lignes après TEST_TIMESTAMP. Les données au-delà de la coupure de test sont cachées pendant l'inférence pour prévenir les fuites au moment du test, en utilisant des stratégies d'échantillonnage de voisins temporels (Fey et al., 2024).
Architecture RDL : Le benchmark utilise un pipeline RDL standard :
- Encodage : Les données brutes au niveau des lignes sont encodées en embeddings de nœuds initiaux en utilisant PyTorch Frame avec un modèle tabulaire ResNet.
- Échantillonnage : Un échantillonnage de sous-graphes sensible au temps est effectué autour de chaque nœud d'entité à un temps de départ donné.
- Agrégation : Les embeddings sont transmis à un modèle GraphSAGE hétérogène avec une agrégation de voisins basée sur la somme pour mettre à jour itérativement les embeddings de nœuds.
- Prédiction : Des têtes spécifiques à la tâche génèrent les prédictions finales.
Comparaisons de Référence : Les performances sont évaluées par rapport à des références solides, principalement LightGBM (appliqué aux caractéristiques brutes des tables d'entités ou aux caractéristiques jointes) et diverses stratégies d'agrégation (moyenne/médiane globale, moyenne/médiane par entité).

Contributions Clés

1. Expansion des Jeux de Données

RELBENCH v2 introduit quatre nouveaux jeux de données relationnels à grande échelle, portant le total à 11 jeux de données couvrant des domaines divers :

rel-arxiv : Une base de données de publications scientifiques avec 222 000 articles, 1,5 million de liens de citation et des relations auteur-catégorie.
rel-salt : Un jeu de données de planification des ressources d'entreprise (ERP) provenant de SAP AI Research modélisant les commandes de vente, les flux de travail et les transactions commerciales.
rel-ratebeer : Un jeu de données de plateforme de consommation avec plus de deux décennies d'interactions utilisateurs, de notations de bières et d'avis.
rel-mimic : Un jeu de données clinique dérivé des dossiers de santé électroniques MIMIC-IV, présentant un décalage de dates pour la confidentialité.
Échelle : Les nouveaux jeux de données contribuent à plus de 22 millions de lignes répartis sur 29 tables.

2. Introduction de Tâches de Saisie Automatique

Une contribution méthodologique significative est l'introduction de tâches de saisie automatique. Contrairement aux tâches de prévision traditionnelles qui prédisent des résultats futurs via des requêtes SQL, les tâches de saisie automatique exigent que les modèles infèrent des valeurs d'attributs manquantes au sein de tables relationnelles existantes à un timestamp donné.

Mécanisme : Les modèles reçoivent des valeurs observées pour une ligne à un temps de départ et doivent prédire des colonnes cibles en utilisant uniquement le contexte relationnel et temporel disponible jusqu'à ce moment.
Contrôle des Fuites : Pour prévenir les fuites d'information, les colonnes fortement corrélées à la cible (par exemple, review_text pour review-rating) sont identifiées manuellement et supprimées sur la base de connaissances du domaine.
Types : Comprend à la fois des tâches de classification (binaire et multiclasse) et de régression.

3. Intégration de Benchmarks Externes

RELBENCH v2 unifie l'évaluation en intégrant des cadres externes :

Temporal Graph Benchmark (TGB) : Les flux d'événements de TGB sont traduits en schémas relationnels (normalisant les nœuds et les arêtes en tables) pour permettre une comparaison directe entre les GNN temporels et les modèles d'apprentissage profond relationnel.
ReDeLEx : L'intégration fournit un accès uniforme à plus de 70 bases de données réelles adaptées au pré-entraînement.
4DBInfer : L'incorporation des jeux de données et des tâches de 4DBInfer élargit la couverture d'évaluation multi-tables et explore l'espace de conception 4D (jeux de données, tâches, construction de graphes, modèles).

Résultats Expérimentaux

Les résultats expérimentaux sur les nouveaux jeux de données et tâches démontrent que les modèles RDL surpassent constamment les références sur table unique (spécifiquement LightGBM et les références d'agrégation) :

Tâches de Saisie Automatique : Les modèles RDL ont significativement surpassé LightGBM aussi bien dans la classification binaire et multiclasse (par exemple, atteignant ~98 % de précision sur item-shippoint dans rel-salt contre ~5 % pour LightGBM) que dans les tâches de régression (valeurs $R^2$ plus élevées). Les résultats soulignent que le contexte relationnel fournit des signaux informatifs pour prédire les attributs manquants, même en présence de déséquilibre de classes.
Tâches de Prévision : Les modèles RDL ont atteint des performances supérieures dans la classification d'entités (par exemple, la prédiction author-category dans rel-arxiv) et la régression. La tâche de classification multiclasse auteur-catégorie a montré un écart massif, avec un RDL atteignant ~50 % de précision contre ~2 % pour LightGBM, suggérant que les signaux relationnels (co-auteurship, citations) sont cruciaux pour la classification complexe.
Tâches de Recommandation : Les modèles basés sur GNN (GraphSAGE et ID-GNN) ont généralement surpassé des références comme Visite Passée et Popularité Globale. ID-GNN, qui intègre explicitement l'identité du nœud, excellait dans les paramètres spécifiques à l'entité, tandis que les modèles GraphSAGE plus profonds (4 couches) montraient une performance améliorée dans les tâches de raisonnement multi-sauts, bien que limités par les contraintes de mémoire GPU.
Intégration TGB : Dans les jeux de données TGB traduits, les modèles GraphSAGE relationnels « événement-comme-nœud » ont performé de manière compétitive par rapport aux GraphSAGE à arêtes projetées natifs du graphe et aux références temporelles (TGN), avec des performances variant selon la richesse des sémantiques d'événements et la structure du schéma.

Signification

L'article affirme que RELBENCH v2 fournit un benchmark évolutif et réaliste essentiel au développement et à l'évaluation des systèmes RDL et des modèles de fondation relationnels. En étendant l'échelle à plus de 22 millions de lignes, en introduisant le nouveau paradigme de saisie automatique et en unifiant les benchmarks externes, il adresse les limitations des évaluations précédentes sur table unique ou à petite échelle. La performance constamment supérieure des modèles RDL par rapport aux références à travers des domaines divers (académique, entreprise, consommation, clinique) souligne l'importance de modéliser explicitement la structure relationnelle et les dépendances temporelles pour les tâches prédictives. Le benchmark sert d'outil fondamental pour faire avancer le domaine vers des modèles de fondation capables de raisonner sur des données complexes et multi-tables.