Résumé Technique : Encodeurs Universels pour l'Apprentissage Profond Relationnel Modulaire

Énoncé du Problème

Le Relational Deep Learning (RDL) modélise les bases de données multi-tabulaires sous forme de graphes hétérogènes temporels afin de permettre un apprentissage de représentations de bout en bout. Cependant, les approches actuelles de RDL font face à un grave goulot d'étranglement en matière de généralisation. Les méthodes existantes sont généralement spécifiques au schéma, nécessitant que les modèles soient entraînés à partir de zéro pour chaque nouvelle base de données en raison de couches d'entrée et de mécanismes de passage de messages codés en dur pour des tables et des colonnes spécifiques. Alternativement, des tentatives récentes de modèles fondateurs reposent sur des architectures monolithiques qui mêlent l'encodage des caractéristiques au passage de messages sur le graphe. Cet enchevêtrement brouille la frontière entre la sémantique des attributs et la structure relationnelle, affaiblissant le biais inductif nécessaire pour un transfert de schéma robuste et créant des goulots d'étranglement de mémoire lors du passage à l'échelle vers des bases de données larges et diverses. Par conséquent, les praticiens ne peuvent pas facilement transférer les connaissances d'un domaine à l'autre (par exemple, de la vente au détail vers la santé), ce qui limite la scalabilité du RDL.

Méthodologie : Les Quatre Piliers et le Cadre Modulaire

Les auteurs proposent un cadre conceptuel pour les Modèles Fondations Relationnels construits sur quatre piliers centraux :

1. Granularité Sémantique : Gérer divers types de données (texte, numérique, temporel) et les relations intra-lignes sans aplatir la base de données en un contexte global.
2. Topologies Structurelles : Gérer la sémantique Clé Primaire-Clé Étrangère (PK-FK) et naviguer dans les goulots d'étranglement structurels (ex: schémas en étoile) sans lissage excessif (over-smoothing).
3. Causalité Temporelle : Imposer une causalité stricte pour prévenir la fuite temporelle et aligner les dynamiques multi-tables asynchrones.
4. Optimisation Unifiée : Équilibrer les signaux de gradient conflictuels à travers diverses tâches supervisées (classification, régression) et les variances d'échantillonnage.

Pour répondre à ces piliers, l'article introduit un cadre de préentraînement modulaire qui découple l'extraction de caractéristiques sémantiques du passage de messages structurels. L'architecture se compose de trois composants distincts :

1. Encodeur de Ligne Universel ($f_\theta$) : Une interface agnostique au schéma qui transforme n'importe quelle ligne de base de données en un embedding de taille fixe ($h \in \mathbb{R}^d$).
2. Module de Graphe ($g_\phi$) : Un Réseau de Neurones sur Graphes (GNN) en aval qui effectue le passage de messages sur des sous-graphes temporels échantillonnés.
3. Tête de Prédiction ($d_\psi$) : Un décodeur spécifique à la tâche pour les prédictions finales.

L'Encodeur de Ligne Universel

La contribution technique centrale est l'Encodeur de Ligne Universel, un module basé sur les Transformers conçu pour produire des embeddings invariants à la largeur de la table. Il traite une ligne $r$ en construisant des embeddings de colonnes contextualisés ($x_j$) par une combinaison additive de :

• Embeddings de valeurs spécifiques au type : Encodés selon le type sémantique (numérique, catégoriel, horodatage).
• Métadonnées du schéma : Embeddings des noms de colonnes ($c_j$) et des noms de tables ($t$) via la résumé de texte (ex: GloVe agrégé).
• Statistiques de distribution globale ($s_j$) : Statistiques précalculées (moyenne, écart-type, min, max, quartiles pour le numérique ; cardinalité et embeddings textuels pour le catégoriel ; limites temporelles pour les horodatages). Crucialement, celles-ci sont calculées de manière séparée (split-aware) pour éviter toute fuite de données futures.
• Indicateurs d'absence ($\delta_j$) : Drapeaux explicites pour les valeurs manquantes.

Ces embeddings sont traités par un mécanisme d'auto-attention intra-ligne (Transformer) sans encodage de position, garantissant l'équivariance par permutation concernant l'ordre des colonnes. Enfin, l'encodeur agrège les jetons contextualisés via une agrégation par somme, max et attention pour produire un unique embedding de ligne de taille fixe. Cette conception évite le goulot d'étranglement de mémoire $O(N^2)$ des transformers de graphes globaux en gardant le coût de l'attention dépendant uniquement du nombre de colonnes ($m$), et non du nombre de lignes ($n$).

Le cadre supporte deux régimes de préentraînement :

• Encoder-Only : Préentraîner l'encodeur comme un extracteur de caractéristiques polyvalent, puis le figer pour les tâches en aval.
• End-to-End : Préentraîner conjointement l'encodeur, le GNN et les têtes de tâche.

Contributions Clés

1. Cadre Conceptuel : L'établissement des "Quatre Piliers" (Granularité Sémantique, Topologies Structurelles, Causalité Temporelle, Optimisation Unifiée) comme feuille de route pour construire des modèles relationnels fondateurs.
2. Encodeur de Ligne Universel : Un nouveau module basé sur les Transformers qui intègre les données brutes des cellules avec les métadonnées du schéma et les statistiques globales pour produire des embeddings de ligne invariants. Il contextualise nativement les caractéristiques non vues et gère les données creuses sans aplatir la base de données.
3. Architecture Modulaire : Une conception découplée qui permet à l'encodeur préentraîné de servir de "backend" flexible pour toute architecture de graphe en aval (ex: Heterogeneous Graph Transformer, GraphSAGE) et divers décodeurs.
4. Validation Empirique : Implémentation au sein du framework ReDeLEx et évaluation sur les jeux de données RelBench et CTU Relational.

Résultats Expérimentaux

Les auteurs ont évalué le cadre en utilisant un protocole de préentraînement strict de type "leave-one-database-out" (laisser une base de données de côté), où les modèles sont préentraînés sur $N-1$ bases de données et testés sur une base de données tenue à l'écart.

• Transférabilité : L'Encodeur de Ligne Universel a démontré sa capacité à atteindre un transfert few-shot sur des bases de données non vues. Bien que le transfert "head-only" (en gelant l'encodeur et le GNN) ait été difficile, les régimes où le GNN et la tête étaient entraînés sur la nouvelle base de données (avec un encodeur gelé) ont systématiquement égalé ou surpassé les baselines spécifiques à la tâche entraînées à partir de zéro sur des tâches sélectionnées (ex: visites d'utilisateurs, votes sur des posts).
• Convergence : Les backbones GNN homogènes et hétérogènes couplés à l'encodeur universel ont montré une convergence stable à travers divers scénarios de maintien à l'écart.
• Efficacité de la Mémoire : L'approche universelle a réalisé une réduction significative de l'empreinte du modèle (jusqu'à 10 fois plus petite) par rapport aux baselines spécialisées et spécifiques au schéma. Par exemple, sur le jeu de données rel-trial, le modèle universel nécessitait environ 34 Mo contre environ 369 Mo pour le modèle spécialisé.
• Compromis de Performance : Cette efficacité de la mémoire s'est accompagnée d'une légère baisse de la précision prédictive (par exemple, une augmentation relative de ~18 % de l'MAE sur rel-trial). Cependant, les auteurs notent que la plupart des bénéfices de transférabilité sont capturés lors du préentraînement, et que l'entraînement en aval peut se concentrer sur l'adaptation du module structurel.

Signification et Revendications

L'article affirme que l'approche modulaire proposée répond aux obstacles fondamentaux de la généralisation en RDL en séparant la représentation de la sémantique des lignes de la propagation de la structure relationnelle. En introduisant l'Encodeur de Ligne Universel, les auteurs fournissent un composant "plug-and-play" qui permet le transfert de connaissances entre bases de données, réduit la charge de calcul pour entraîner de nouveaux modèles à partir de zéro et diminue considérablement l'empreinte mémoire requise pour le déploiement sur plusieurs bases de données.

Les auteurs positionnent ce travail comme une étape vers les Modèles Fondations Relationnels, offrant un vocabulaire unifié (les Quatre Piliers) pour guider les recherches futures. Ils reconnaissent les limitations actuelles, notant que leur implémentation traite principalement la granularité sémantique et l'agnosticisme du schéma, tandis que la topologie structurelle et la causalité temporelle sont actuellement gérées via des mécanismes de représentation de données (ex: graphes PK-FK explicites et échantillonnage temporellement contraint) plutôt que par une intégration intrinsèque dans l'architecture du modèle. Ce travail suggère que les recherches futures devraient se concentrer sur l'augmentation de la capacité du modèle, l'affinement des mécanismes de contextualisation statistique et l'exploration de l'optimisation unifiée à travers des catégories de tâches plus larges.