Technische Samenvatting: PLUREL – Synthetische data ontsluit wetmatigheden van schaling voor relationele fundamentenmodellen

1. Probleemstelling

Relationele Fundamentenmodellen (RFM's) beogen het faciliteren van datagestuurde besluitvorming door te leren van complexe, multi-tabel databases. Terwijl Fundamentenmodellen (FM's) voor tekst, beeld en video opmerkelijk succes hebben behaald door grootschalige pretraining, worden RFM's geconfronteerd met een kritieke flessenhals: de schaarste aan diverse, publieke multi-tabel relationele databases. Real-world enterprise data is doorgaans ontoegankelijk vanwege privacybeperkingen en zakelijke vertrouwelijkheid.

Bestaande methoden voor synthetische datageneratie voor tabeldata richten zich primair op single-table generatie met behulp van Structurele Causale Modellen (SCM's). Deze benaderingen falen echter in het vastleggen van de essentiële complexiteiten van relationele databases, specifiek de primaire–vreemde sleutel (P→F) connectiviteit tussen rijen in verschillende tabellen. Deze connectiviteit bepaalt de informatie-lokaliteit en vormt de gezamenlijke datadistributies die RFM's moeten leren. Bovendien vertrouwen bestaande technieken voor relationele datageneratie (bijv. GAN's, diffusiemodellen) vaak op bestaande real-world voorbeelden om statistische eigenschappen te reproduceren, in plaats van nieuwe schema's en structuren vanaf nul te genereren. Bijgevolg worden huidige RFM's getraind op beperkte, niet-diverse datasets (bijv. slechts enkele databases uit RelBench), wat de realisatie van wetmatigheden van schaling en robuuste generalisatie belemmert.

2. Methodologie: Het PLUREL-framework

De auteurs introduceren PLUREL, een lichtgewicht framework ontworpen om multi-tabulaire relationele databases vanaf nul te synthetiseren. PLUREL opereert via drie afzonderlijke abstractieniveaus om de structurele en statistische eigenschappen van relationele data te modelleren:

Fase 1: Schema-generatie via gerichte grafen

Het databaseschema wordt gemodelleerd als een gerichte acyclische graaf (DAG), $G$, waarbij knopen tabellen vertegenwoordigen en gerichte randen inter-tabulaire connectiviteit vertegenwoordigen.

• Graaf-sampling: $G$ wordt gesampled uit een familie van willekeurige DAG's, waaronder Barabasi-Albert (modellering van hub-tabellen), Reverse Random-Tree (modellering van strikte hiërarchieën) en Watts-Strogatz (modellering van lokale clustering).
• Tabelclassificatie: Tabellen worden gepartitioneerd in entiteitstabellen (knopen met een uitgraad $\ge 1$) en activiteitstabellen (overige knopen).
• Metadata: Het aantal rijen en feature-kolommen voor elke tabel wordt onafhankelijk gesampled uit specifieke distributies. Een topologische ordening van $G$ dicteert de generatiesequentie, wat garandeert dat ouder-tabellen worden gesynthetiseerd vóór hun kinderen.

Fase 2: Vreemde sleutel-generatie via bipartiete grafen

Deze fase vult de kolommen met vreemde sleutels door de rij-niveau connectiviteit tussen ouder- en kindtabellen te modelleren.

• Hiërarchische clustering: Rijen in zowel de ouder-tabel ($\tilde{T}$) als de kind-tabel ($T$) worden geclusterd in een hiërarchie van blokken met behulp van een Hiërarchisch Stochastisch Blokmodel (HSBM).
• Connectiviteitskansen: Een niveau-specifieke waarschijnlijkheidsmatrix $P^{[l]}$ bepaalt de waarschijnlijkheid dat een rij in $\tilde{T}$ linkt naar een rij in $T$. Dit maakt flexibele connectiviteitspatronen mogelijk, variërend van een uniforme distributie tot sterk gelokaliseerde clusters, wat de hiërarchische relaties van real-world data nabootst.

Fase 3: Feature-generatie via Structurele Causale Modellen (SCM's)

Zodra het schema en de connectiviteit zijn vastgesteld, worden celwaarden gegenereerd met behulp van SCM's.

• Causale Grafen: Elke tabel is geassocieerd met een SCM, gedefinieerd door een causale graaf $C_T$. Knopen vertegenwoordigen variabelen en randen coderen oorzaak-gevolgrelaties.
• Conditionele Generatie: Feature-waarden worden gegenereerd door waarden door de causale graaf te propageren. Voor tabellen met vreemde sleutels incorporeert het SCM-mechanisme feature-knopen uit ouder-tabellen, waardoor kind-rijen kunnen afhangen van specifieke ouder-rijen.
• Temporele Patronen: Om temporele correlaties te vangen, worden exogene inputs voor bron-knopen gemodelleerd als een combinatie van trend (power-law), cyclus (sinusoïdaal) en fluctuatie (Gaussische ruis). Dit voorkomt de onrealistische aanname dat rijen die dezelfde vreemde sleutels delen, onafhankelijk en identiek verdeeld (i.i.d.) zijn.
• Datatypen: Het framework ondersteunt numerieke en categorische features, met mechanismen om waarden te projecteren en te reconstrueren in gedeelde latente ruimtes met behulp van Multi-Layer Perceptrons (MLP's).

3. Belangrijkste Bijdragen

1. Een Nieuw Synthetisch Dataframework: PLUREL is het eerste framework dat multi-tabulaire relationele databases vanaf nul synthetiseert, waarbij schema-structuur, primaire–vreemde sleutel connectiviteit en conditionele feature-distributies expliciet worden gemodelleerd.
2. Ontdekking van Wetmatigheden van Schaling voor RFM's: Door databottlenecks te verwijderen, voeren de auteurs de eerste schalingsanalyse voor RFM's uit over twee assen: diversiteit (aantal synthetische databases, $N$) en omvang (totaal aantal pretraining tokens, $S$).
3. Validatie van Power-Law Schaling: De studie toont aan dat de pretraining-loss een power-law afhankelijkheid vertoont van zowel $N$ als $S$, mits geen van beide assen een bottleneck vormt.
4. Verbeterde Generalisatie: Het artikel toont aan dat synthetische pretraining de zero-shot generalisatie naar real-world databases verbetert en dient als een robuust fundament voor voortgezette pretraining op real-world data.

4. Experimentele Resultaten

De auteurs trainen een Relational Transformer (RT) op miljarden tokens gegenereerd door PLUREL en evalueren de prestaties op de RelBench benchmark (6 real-world datasets, 18 taken).

• Schalingswetten:
  • Loss Scaling: De validatie-loss volgt een power law met betrekking tot het aantal synthetische databases ($N$) en de datasetomvang ($S$).
  • Wisselwerking tussen Assen: Het schalen van $N$ met een vaste $S$ leidt tot onderfitting, terwijl het schalen van $S$ met een vaste $N$ leidt tot overfitting. Optimale prestaties vereisen het schalen van beide assen in tandem.
• Zero-Shot Generalisatie:
  • Modellen die zijn gepretraind op grotere en diversere synthetische datasets vertonen verbeterde zero-shot prestaties op ongeziene real-world taken vergeleken met modellen die getraind zijn op kleinere synthetische sets of enkel op real-world data.
• Voortgezette Pretraining:
  • Synthetisch + Real: Pretraining op PLUREL-data gevolgd door voortgezette pretraining op real-world data levert de beste resultaten op.
  • Prestatiewinst: Deze aanpak bereikt een gemiddelde absolute winst van +1,2% in AUROC (classificatie) en +3,0% in R² (regressie) ten opzichte van modellen die enkel op real-world data zijn getraind.
  • Taakspecifieke Verbeteringen: Significante winsten worden waargenomen in regressietaken (bijv. +5,2% op item-LTV) en gedragsgestuurde classificatietaken (bijv. +7,4% op user-engage).
  • Beperkingen: "Alleen synthetische" pretraining presteert over het algemeen minder goed dan "Alleen Real" of "Synthetisch + Real", wat aangeeft dat hoewel synthetische data een sterke basis biedt, voortgezette pretraining op real-world data cruciaal is voor distributie-alignement, met name voor taken die specifieke kolomsemantiek vereisen.

5. Betekenis en Claims

Het artikel positioneert PLUREL als een paradigmaverschuiving voor de ontwikkeling van Relationele Fundamentenmodellen. De primaire betekenis ligt in het ontsluiten van dataschaling voor RFM's, een veld dat voorheen werd beperkt door het gebrek aan publieke, diverse relationele data.

• Privacy-bewuste Ontwikkeling: PLUREL maakt de creatie van onbeperkte, diverse relationele databases mogelijk zonder afhankelijk te zijn van gevoelige real-world data, waarmee privacy- en vertrouwelijkheidsbarrières worden aangepakt.
• Fundament voor Schalingswetten: Het werk stelt vast dat RFM's, net als taal- en visiemodellen, wetmatigheden van schaling volgen waarbij prestaties voorspelbaar verbeteren met toegenomen datadiversiteit en -omvang.
• Synergetische Pretraining: De resultaten suggereren een synergetische relatie waarbij synthetische pretraining fungeert als een krachtige initialisatie, wat het vermogen van het model verbetert om te leren van daaropvolgende real-world data, en daarmee de ontwikkeling van de volgende generatie RFM's voor enterprise-toepassingen versnelt.

De auteurs concluderen dat hoewel synthetische data alleen onvoldoende is voor robuuste zero-shot transfer vanwege het gebrek aan specifieke kolomsemantiek, het een noodzakelijk en krachtig onderdeel is voor het bouwen van schaalbare, generaliseerbare relationele fundamentenmodellen.