Résumé Technique : Vers des Modèles Fondationnels pour les Bases de Données Relationnelles avec des Modèles de Langage et des Réseaux de Neurones à Graphes

Énoncé du Problème

Les bases de données relationnelles (BDR) stockent une vaste quantité d'informations structurées du monde, mais les progrès du deep learning sur ce type de données restent limités. Les approches conventionnelles aplatissent généralement les bases de données multi-tables en tables uniques via un ingénierie de caractéristiques manuelle (jointures et agrégations). Ce processus est laborieux, sujet aux erreurs et, de manière critique, élimine le contexte relationnel encodé par les liens clés primaires-étrangers.

Bien que l'apprentissage profond relationnel (RDL) adresse ce problème en modélisant les bases de données sous forme de Graphes d'Entités Relationnels (REG) pour les Réseaux de Neurones à Graphes (GNN), les modèles RDL existants sont généralement spécifiques à une tâche et à une base de données, manquant de représentations transférables. À l'inverse, les récents modèles fondationnels relationnels (par exemple, Griffin, KumoRFM) montrent des promesses mais sont souvent intensifs en calcul et complexes, entravant leur adoption généralisée. Il existe un besoin d'une architecture légère et accessible combinant la compréhension sémantique des Modèles de Langage (LM) avec le raisonnement structurel des GNN pour servir de fondation à l'apprentissage relationnel à usage général.

Méthodologie

Les auteurs proposent une architecture hybride intégrant un Modèle de Langage (BART) fine-tuné avec un Réseau de Neurones à Graphes (GraphSAGE) opérant sur des REG. Le cadre suit un pipeline en deux étapes :

1. Architecture

• Sémantique au niveau des lignes (Encodeur BART) : Les lignes de la base de données sont linéarisées en séquences conscientes du schéma (par exemple, <table> Nom de la table <attr> Nom de l'attribut <value> Valeur). Un modèle BART pré-entraîné est fine-tuné sur ces séquences pour capturer la sémantique intra-ligne. La sortie est un embedding de 1024 dimensions par ligne, servant de caractéristiques de nœud initiales pour le graphe.
• Contexte relationnel (GNN GraphSAGE) : La base de données est représentée comme un REG hétérogène où les nœuds sont des lignes et les arêtes représentent les relations clés primaires-étrangers. Un modèle HeteroGraphSAGE (implémenté via PyTorch Geometric) traite ces nœuds. Il emploie des couches linéaires spécifiques au type de nœud pour projeter les embeddings BART dans un espace caché (256 dimensions) et des couches SAGEConv partagées pour effectuer le passage de messages à travers les types d'arêtes.
• Sortie : Le GNN enrichit les embeddings initiaux avec le contexte relationnel, produisant un vecteur de 1024 dimensions pour la reconstruction lors du pré-entraînement ou un vecteur de 256 dimensions pour les tâches en aval.

2. Stratégie de Pré-entraînement

Le modèle est pré-entraîné à l'aide d'objectifs auto-supervisés sur six bases de données RelBench (excluant l'ensemble de test) :

• Étape BART : Fine-tuné en utilisant une stratégie de masquage consciente du schéma. Les noms de tables, les noms d'attributs et les valeurs de cellules sont masqués avec des probabilités spécifiques (0,30, 0,20 et 0,40 respectivement) pour forcer le modèle à reconstruire la séquence originale.
• Étape GNN : Entraîné avec un objectif de reconstruction de valeurs masquées. Des dimensions de caractéristiques aléatoires sont masquées, et le modèle doit les inférer via le passage de messages depuis les voisins. La fonction de perte est une combinaison pondérée de l'Erreur Cosinus Mise à l'Échelle et de l'Erreur Quadratique Moyenne (MSE), privilégiant l'alignement directionnel ($\alpha=0,7$).

3. Adaptation en Aval

Pour les tâches en aval (par exemple, classification de nœuds), le cadre construit un nouveau REG pour la base de données cible. Les lignes sont encodées par le modèle BART pré-entraîné, et les couches SAGEConv partagées sont transférées. Deux modes d'adaptation sont testés :

• Figé : Seules les nouvelles couches linéaires spécifiques au type de nœud et la tête de prédiction sont entraînées.
• Fine-tuné : Les couches SAGEConv transférées sont mises à jour conjointement avec la tête de prédiction.

Contributions Clés

1. Architecture Hybride Nouvelle : L'article introduit une intégration transparente d'un encodeur BART pré-entraîné et d'un GNN basé sur GraphSAGE. Cette conception capture la sémantique intra-ligne profonde tout en l'enrichissant avec un contexte relationnel structurel via le passage de messages.
2. Évaluation Empirique Systématique : Les auteurs évaluent l'architecture sur le benchmark RelBench, spécifiquement la tâche de classification de nœuds driver-dnf sur l'ensemble de données rel-f1.
3. Ablation et Analyse : Des études d'ablation extensives démontrent que le GNN est critique pour la performance. L'étude souligne que si BART fournit de fortes caractéristiques sémantiques, il échoue sans contexte relationnel, et que les embeddings aléatoires échouent sans pré-entraînement sémantique.
4. Feuille de Route Stratégique : L'article décrit les orientations futures pour les modèles fondationnels relationnels, incluant l'entraînement conjoint LM-GNN et la mise à l'échelle vers des bases de données diverses.

Résultats

Les expériences ont été menées sur la tâche driver-dnf (prédire si un pilote ne terminera pas une course) utilisant l'ensemble de données rel-f1.

• Performance : Le modèle hybride fine-tuné a atteint un ROC-AUC de 67,40.
• Comparaison avec les Baselines :
  • Méthodes Supervisées : Le résultat est compétitif avec LightGBM (68,86) et l'ingénierie de caractéristiques manuelle par des data scientists (69,80).
  • RDL : Il réduit l'écart avec la baseline RDL entièrement supervisée, spécifique à la base de données (72,62), à moins de 5,22 points.
  • Modèles Fondationnels :
    • Il surpasse la variante Griffin pré-entraînée (59,64) dans le mode figé (61,40), démontrant la valeur du pré-entraînement sur des structures relationnelles plutôt que sur de simples tables uniques.
    • Il reste en dessous de l'état de l'art KumoRFM (82,63), ce que les auteurs attribuent à l'échelle plus grande de KumoRFM, à ses graph transformers avancés et à ses ressources commerciales.
• Insights de l'Ablation :
  • BART + GNN (Fine-tuné) : 67,40 (Meilleur)
  • BART + GNN (Figé) : 61,40
  • BART uniquement (Sans GNN) : 43,90 (Chute significative, indiquant que la tête MLP ne peut compenser l'absence de contexte relationnel).
  • Embeddings Aléatoires + GNN (Fine-tuné) : 58,00 (Confirme la valeur sémantique de BART).

Signification et Revendications

L'article postule que les architectures hybrides légères LM-GNN offrent une voie prometteuse et économe en ressources vers des modèles fondationnels pour les bases de données relationnelles.

• Combler le Fossé : Les résultats suggèrent que de tels modèles hybrides peuvent efficacement combler l'écart entre les méthodes supervisées traditionnelles et les modèles RDL complexes et spécifiques à la base de données, sans nécessiter les ressources de calcul massives des modèles fondationnels commerciaux actuels.
• Le Contexte Relationnel est Critique : L'étude souligne que le passage de messages structurel est essentiel ; les embeddings sémantiques seuls (BART) sont insuffisants pour les tâches relationnelles, et la capacité du GNN à propager la structure sémantique latente est ce qui génère les gains de performance.
• Revendications Modestes : Les auteurs reconnaissent que leur cadre n'est pas encore un "vrai" modèle fondationnel relationnel. Les limites incluent l'échelle de pré-entraînement relativement faible (100k lignes pour BART, 6 bases de données pour le GNN), le pipeline d'entraînement séquentiel (non conjoint) et l'évaluation sur une seule tâche en aval. Ils présentent leur travail comme une preuve de concept qui valide le paradigme hybride et identifie les directions de recherche clés (par exemple, l'entraînement conjoint, la mise à l'échelle) nécessaires pour transformer le cadre en un modèle fondationnel robuste.