Technische Samenvatting: Universele Encorders voor Modulaire Relationele Diepe Leerprocessen

Probleemstelling

Relational Deep Learning (RDL) modelleert multi-tabulaire databases als temporele heterogene grafen om end-to-end representatie-leren mogelijk te maken. Echter, huidige RDL-benaderingen kampen met een ernstige generalisatie-bottleneck. Bestaande methoden zijn doorgaans schema-specifiek, waarbij modellen vanaf nul moeten worden getraind voor elke nieuwe database vanwege hardgecodeerde inputlagen en message-passing mechanismen die gekoppeld zijn aan specifieke tabellen en kolommen. Alternatief leunen recente pogingen tot foundation models op monolithische architecturen die de koppeling tussen feature-encoding en graph message-passing verstrengelen. Deze verstrengeling vertroebelt de grens tussen attribuut-semantiek en relationele structuur, wat de inductieve bias verzwakt die nodig is voor robuuste schema-transfer, en creëert geheugenbottlenecks bij het schalen naar grote, diverse databases. Bijgevolg kunnen beoefenaars niet gemakkelijk kennis overdragen tussen domeinen (bijv. van retail naar gezondheidszorg), wat de schaalbaarheid van RDL beperkt.

Methodologie: De Vier Zuilen en het Modulaire Framework

De auteurs stellen een conceptueel framework voor Relational Foundation Models voor, gebouwd op vier kernzuilen:

1. Semantische Granulariteit: Het afhandelen van diverse datatypen (tekst, numeriek, tijd) en intra-rij relaties zonder de database te plat te slaan tot een globale context.
2. Structurele Topologieën: Het beheren van Primary Key-Foreign Key (PK-FK) semantiek en het navigeren door structurele bottlenecks (bijv. ster-schema's) zonder over-smoothing.
3. Temporele Causaliteit: Het afdwingen van strikte causaliteit om temporele lekkage te voorkomen en het afstemmen van asynchrone multi-tabel dynamiek.
4. Verenigde Optimalisatie: Het balanceren van conflicterende gradiëntsignalen over diverse gesuperviseerde taken (classificatie, regressie) en sampling-varianties.

Om deze zuilen aan te pakken, introduceren zij een modulair pretraining framework dat de extractie van semantische features ontkoppelt van de structurele message passing. De architectuur bestaat uit drie afzonderlijke componenten:

1. Universal Row Encoder ($f_\theta$): Een schema-agnostische interface die elke database-rij transformeert naar een embedding met een vaste grootte ($h \in \mathbb{R}^d$).
2. Graph Module ($g_\phi$): Een downstream Graph Neural Network (GNN) die message passing uitvoert op gesamplede temporele subgrafen.
3. Prediction Head ($d_\psi$): Een taakspecifieke decoder voor uiteindelijke voorspellingen.

De Universal Row Encoder

De kern van de technische bijdrage is de Universal Row Encoder, een transformer-gebaseerde module die is ontworpen om table-width invariante embeddings te produceren. Het verwerkt een rij $r$ door contextuele kolom-embeddings ($x_j$) te construeren via een additieve combinatie van:

• Type-specifieke waarde-embeddings: Geëncodeerd op basis van semantisch type (numeriek, categorisch, timestamp).
• Schema metadata: Embeddings van kolomnamen ($c_j$) en tabelnamen ($t$) met behulp van tekst-samenvatting (bijv. gepoolde GloVe).
• Globale distributie statistieken ($s_j$): Precomputerde statistieken (gemiddelde, standaarddeviatie, min, max, kwartielen voor numeriek; cardinaliteit en tekst-embeddings voor categorisch; temporele grenzen voor timestamps). Cruciaal is dat deze op een split-aware manier worden berekend om toekomstige data-lekkage te voorkomen.
• Missingness indicators ($\delta_j$): Expliciete vlaggen voor ontbrekende waarden.

Deze embeddings worden verwerkt door een intra-row self-attention mechanisme (Transformer) zonder positional encodings, wat permutatie-equivariante eigenschappen garandeert met betrekking tot de kolomvolgorde. Ten slotte aggregeert de encoder de gecontextualiseerde tokens via sum, max, en attentive pooling om een enkele fixed-size rij-embedding te produceren. Dit ontwerp vermijdt de $O(N^2)$ geheugenbottleneck van globale graph transformers door de attention-kosten enkel afhankelijk te maken van het aantal kolommen ($m$), en niet van het aantal rijen ($n$).

Het framework ondersteunt twee pretraining regimes:

• Encoder-Only: Het pretrainen van de encoder als een algemene feature extractor, om deze vervolgens te bevriezen voor downstream taken.
• End-to-End: Het gezamenlijk pretrainen van de encoder, GNN en task heads.

Belangrijkste Bijdragen

1. Conceptueel Framework: De vestiging van de "Vier Zuilen" (Semantische Granulariteit, Structurele Topologieën, Temporele Causaliteit, Verenigde Optimalisatie) als een roadmap voor het bouwen van fundamentele relationele modellen.
2. Universal Row Encoder: Een nieuwe, transformer-gebaseerde module die ruwe celdata integreert met schema metadata en globale statistieken om invariante rij-embeddings te produceren. Het contextualiseert van nature ongeziene features en gaat om met sparse data zonder de database te plat te slaan.
3. Modulaire Architectuur: Een ontkoppeld ontwerp dat de pretrained encoder een flexibele "backend" maakt voor elke downstream graph architectuur (bijv. Heterogeneous Graph Transformer, GraphSAGE) en diverse decoders.
4. Empirische Validatie: Implementatie binnen het ReDeLEx framework en evaluatie op de RelBench en CTU Relational datasets.

Experimentele Resultaten

De auteurs evalueerden het framework met een strikt leave-one-database-out pretraining protocol, waarbij modellen werden getraind op $N-1$ databases en getest op een uitgesloten database.

• Transfereerbaarheid: De Universal Row Encoder demonstreerde het vermogen om few-shot transfer te bereiken op ongeziene databases. Hoewel "head-only" transfer (het bevriezen van zowel de encoder als de GNN) uitdagend was, presteerden regimes waarbij de GNN en de head op de nieuwe database werden getraind (met een bevroren encoder) consistent gelijk aan of beter dan taakspecifieke baselines die vanaf nul zijn getraind op geselecteerde taken (bijv. user-visits, post-votes).
• Convergentie: Zowel homogene als heterogene GNN-backbones gekoppeld aan de universele encoder vertoonden een stabiele convergentie over diverse hold-out scenario's.
• Geheugenefficiëntie: De universele aanpak bereikte een significante reductie in modelvoetafdruk (tot wel 10x kleiner) vergeleken met gespecialiseerde, schema-specifieke baselines. Bijvoorbeeld, op de rel-trial dataset vereiste het universele model ~34 MB versus ~369 MB voor het gespecialiseerde model.
• Performance Trade-off: Deze geheugenefficiëntie ging gepaard met een milde daling in voorspellende nauwkeurigheid (bijv. een relatieve toename van ~18% in MAE op rel-trial). De auteurs merken echter op dat de meeste overdraagbare voordelen tijdens de pretraining worden gevangen, en dat downstream training zich kan richten op het aanpassen van het structurele module.

Betekenis en Claims

Het artikel claimt dat de voorgestelde modulaire aanpak de fundamentele generalisatie-obstakels in RDL aanpakt door de representatie van rij-semantiek te scheiden van de propagatie van relationele structuur. Door de Universal Row Encoder te introduceren, bieden de auteurs een plug-and-play component die cross-database kennisoverdracht mogelijk maakt, de computationele overhead van het trainen van nieuwe modellen vanaf nul vermindert, en de geheugenvoetafdruk die nodig is voor deployment over meerdere databases aanzienlijk verlaagt.

De auteurs positioneren dit werk als een stap richting Relational Foundation Models, waarbij zij een verenigde vocabulaire (de Vier Zuilen) aanbieden om toekomstig onderzoek te sturen. Zij erkennen de huidige beperkingen en merken op dat hun implementatie primair semantische granulariteit en schema-agnosticisme adresseert, terwijl structurele topologie en temporele causaliteit momenteel worden afgehandeld via data-representatiemechanismen (bijv. expliciete PK-FK grafen en temporeel beperkte sampling) in plaats van intrinsiek in de modelarchitectuur te zijn ingebed. Het werk suggereert dat toekomstig onderzoek zich moet richten op het schalen van modelcapaciteit, het verfijnen van statistische contextualisatiemechanismen en het verkennen van verenigde optimalisatie over bredere categorieën taken.