🤖 machine learning

RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Dit artikel introduceert RelBench v2, een aanzienlijk uitgebreide benchmark en repository voor relationeel diep leren die vier nieuwe grootschalige datasets, nieuwe autocomplete-taken en integraties met externe frameworks omvat om systematische evaluatie te faciliteren en de superieure prestaties van relationele modellen ten opzichte van single-table-baselines aan te tonen.

Oorspronkelijke auteurs: Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek met informatie hebt. In de oude tijden, als je een patroon wilde vinden, moest je elk boek apart nemen, de pagina's eruit rukken en ze allemaal op één groot, rommelig vel papier plakken. Je verloor de context van welk boek de pagina vandaan kwam, en je moest handmatig lijnen trekken om gerelateerde ideeën met elkaar te verbinden. Zo hanteerde traditioneel machine learning vroeger complexe data.

Relationeel Deep Learning (RDL) is als een nieuw soort bibliothecaris die de pagina's niet uit de boeken rijt. In plaats daarvan bekijkt hij de hele bibliotheek als een levende kaart. Hij begrijpt dat een "Boek" verbonden is met een "Auteur", die verbonden is met een "Universiteit", die op zijn beurt verbonden is met een "Stad". Hij ziet de relaties, niet alleen de geïsoleerde feiten.

Dit artikel introduceert RELBENCH v2, een enorme upgrade van een "trainingsgym" voor deze slimme bibliothecarissen. Hier is wat ze hebben gebouwd:

1. Het Nieuwe Trainingsveld (De Datasets)

De originele gym (RELBENCH v1) had een paar oefenvelden. RELBENCH v2 heeft vier enorme nieuwe stadions toegevoegd, wat het totaal op 11 brengt. Dit zijn geen kleine oefenvelden; het zijn enorme, realistische datawerelden:

De Bibliotheek van de Geleerde (rel-arxiv): Een kaart van miljoenen onderzoeksartikelen, auteurs en wie wie citeerde.
Het Kantoorgebouw (rel-salt): Een simulatie van verkooporders, verzendroutes en betalingsvoorwaarden van een gigantisch bedrijf.
Het Bierliefhebbersforum (rel-ratebeer): Een decennium aan gebruikersbeoordelingen van bieren, brouwerijen en locaties.
Het Ziekenhuisarchief (rel-mimic): Geanonimiseerde patiëntendossiers van een groot medisch centrum (met datums naar de toekomst verschoven om privacy te beschermen).

Samen bevatten deze meer dan 22 miljoen rijen data. Het is alsof je de AI een bibliotheek geeft met 22 miljoen boeken om van te leren, allemaal met elkaar verbonden.

2. De Nieuwe Spellen (De Taken)

Het artikel introduceert een nieuw type spel genaamd "Autocomplete".

Het Oude Spel (Voorspelling): Stel je een kristallen bol voor. Je geeft de AI data tot vandaag, en het voorspelt iets dat nog niet is gebeurd (zoals "Zal deze klant volgende maand vertrekken?").
Het Nieuwe Spel (Autocomplete): Stel je een gedeeltelijk ingevuld formulier voor. De AI ziet sommige velden (zoals "Klantnaam" en "Besteldatum"), maar het vakje "Betaalwijze" is leeg. De AI moet het ontbrekende vakje nu raden, uitsluitend met behulp van de aanwijzingen uit de andere tabellen die het kan zien.

Waarom is dit moeilijk? Het is alsof je probeert het favoriete eten van iemand te raden alleen op basis van hun adres en het tijdstip van de dag, zonder dat ze het je vertellen. De AI moet naar de "buurt" (gerelateerde tabellen) kijken om het erachter te komen. Het artikel toont aan dat de AI hier veel beter in is wanneer het de relaties tussen de tabellen begrijpt, dan wanneer het alleen naar de enkele rij kijkt.

3. De "Universele Adapter" (Integratie van Andere Benchmarks)

De auteurs hebben niet alleen nieuwe ruimtes gebouwd; ze hebben een universele adapter gebouwd die de gym laat verbinden met andere populaire trainingscentra:

De Tijdstroom-gym (TGB): Ze hebben datasets die meestal lijken op een stromende rivier van gebeurtenissen vertaald naar hun bibliotheekformaat, zodat de AI er ook op kan oefenen.
De 70-Databases-uitdaging (ReDeLEx): Ze hebben verbinding gelegd met een verzameling van 70+ realistische databases, waardoor de AI de kans krijgt om op bijna alles te oefenen.
De 4D-toolbox (4DBInfer): Ze hebben een reeks tools toegevoegd die de AI testen vanuit vier verschillende hoeken (data, taken, grafstructuur en modellen) om ervoor te zorgen dat het echt robuust is.

4. De Resultaten: De Kracht van Connectie

Het artikel heeft een reeks tests uitgevoerd waarbij de "Slimme Bibliothecaris" (RDL-modellen) werd vergeleken met de "Oude School-werknemer" (traditionele modellen die de data platmaken).

Het Oordeel: De Slimme Bibliothecaris won bijna elke keer.

Of het nu ging om het raden van ontbrekende waarden (Autocomplete), het voorspellen van de toekomst (Voorspelling) of het aanbevelen van het volgende item (Aanbeveling), het model dat de relaties tussen tabellen begreep, presteerde aanzienlijk beter.
Zelfs wanneer de data rommelig was of de categorieën ongelijk verdeeld, gebruikte het relationele model de connecties om signalen te vinden die de oude modellen misten.

Samenvatting

Bekijk RELBENCH v2 als de ultieme "Verkeersschool" voor Kunstmatige Intelligentie die probeert complexe databases te begrijpen. Het biedt:

Meer Auto's: 11 enorme, diverse datasets (Academisch, Zakelijk, Consument, Medisch).
Nieuwe Oefeningen: Een nieuwe "Autocomplete"-uitdaging om te testen hoe goed de AI ontbrekende gaten invult met behulp van context.
Een Universele Garage: Tools om verbinding te maken met andere testvelden zodat de AI van alles kan leren.

De belangrijkste conclusie is simpel: Wanneer data verbonden is, moet je het behandelen als een verbonden web, niet als een platte lijst. De modellen die dit doen, winnen de race.

Technische Samenvatting: RELBENCH V2

Probleemstelling

Relationele databases vormen de primaire opslagabstractie voor gestructureerde data in ondernemings-, wetenschappelijke en zorgsystemen, waarbij informatie wordt georganiseerd via primair–extern sleutelrelaties die rijke structurele en temporale afhankelijkheden vastleggen. Hoewel Relationeel Deep Learning (RDL) is opgekomen als een paradigma voor het direct leren op deze databases – waarbij ze worden behandeld als heterogene grafen om handmatige feature-engineering en het platteleggen van data te vermijden – blijft er een kritieke behoefte bestaan aan schaalbare, realistische benchmarks om vooruitgang te evalueren, zeker nu het vakgebied verschuift naar relationele foundation-modellen. Bestaande benchmarks missen vaak schaal, diversiteit in domeinen, of het vermogen om taken te evalueren die verder gaan dan traditionele forecasting, die via SQL-query's wordt geconstrueerd.

Methodologie en Kader

RELBENCH v2 breidt het oorspronkelijke RELBENCH-kader (Robinson et al., 2024) uit door nieuwe datasets, nieuwe taaktypen en een geünificeerde integratie van externe benchmarks te introduceren. De kernmethodologie is gebaseerd op:

Temporele Beperkingen en Preventie van Lekkage: Alle datasets maken gebruik van vaste VAL_TIMESTAMP- en TEST_TIMESTAMP-afsnijpunten. Modellen worden getraind op data tot aan VAL_TIMESTAMP, gevalideerd op rijen tussen de afsnijpunten, en getest op rijen na TEST_TIMESTAMP. Data buiten de test-afsnijding wordt tijdens inferentie verborgen om lekkage op testtijd te voorkomen, waarbij gebruik wordt gemaakt van strategieën voor het bemonsteren van temporale buren (Fey et al., 2024).
RDL-architectuur: De benchmark maakt gebruik van een standaard RDL-pijplijn:
- Codering: Ruwe rij-niveau data wordt gecodeerd naar initiële node-embeddings met behulp van PyTorch Frame en een ResNet-tabellamodel.
- Bemonstering: Temporeel-bewuste subgraaf-bemonstering wordt uitgevoerd rondom elke entiteitsnode op een gegeven zaad-tijdstip.
- Aggregatie: Embeddings worden door een heterogene GraphSAGE-modell geleid met op som gebaseerde buur-aggregatie om node-embeddings iteratief bij te werken.
- Voorspelling: Taakspecifieke koppen genereren de uiteindelijke voorspellingen.
Vergelijking met Baselines: De prestaties worden gebenchmarkd tegen sterke baselines, voornamelijk LightGBM (toegepast op ruwe entiteitstabelkenmerken of samengevoegde kenmerken) en diverse aggregatiestrategieën (globaal gemiddelde/median, entiteit-gemiddelde/median).

Belangrijkste Bijdragen

1. Uitbreiding van Datasets

RELBENCH v2 introduceert vier nieuwe grote relationele datasets, waardoor het totaal op 11 datasets komt die uiteenlopende domeinen bestrijken:

rel-arxiv: Een database voor wetenschappelijke publicaties met 222.000 papers, 1,5 miljoen citatielinks en auteur-categorie-relaties.
rel-salt: Een dataset voor Enterprise Resource Planning (ERP) van SAP AI Research die verkooporders, workflows en zakelijke transacties modelleert.
rel-ratebeer: Een dataset van een consumentenplatform met meer dan twee decennia aan gebruikersinteracties, bierbeoordelingen en recensies.
rel-mimic: Een klinische dataset afgeleid van MIMIC-IV elektronische gezondheidsdossiers, met dataverschuiving voor privacy.
Schaal: De nieuwe datasets dragen meer dan 22 miljoen rijen bij over 29 tabellen.

2. Introductie van Autocomplete-taken

Een significante methodologische bijdrage is de introductie van autocomplete-taken. In tegenstelling tot traditionele forecasting-taken die toekomstige uitkomsten voorspellen via SQL-query's, vereisen autocomplete-taken dat modellen ontbrekende attribuutwaarden binnen bestaande relationele tabellen op een gegeven tijdstip afleiden.

Mechanisme: Modellen ontvangen waargenomen waarden voor een rij op een zaad-tijdstip en moeten doelposten voorspellen met uitsluitend relationele en temporale context die tot dat moment beschikbaar is.
Controle van Lekkage: Om informatielekkage te voorkomen, worden kolommen die sterk gecorreleerd zijn met het doel (bijvoorbeeld review_text voor review-rating) handmatig geïdentificeerd en verwijderd op basis van domeinkennis.
Typen: Omvat zowel classificatie (binair en meerklassig) als regressietaken.

3. Integratie van Externe Benchmarks

RELBENCH v2 unifyt de evaluatie door externe kaders te integreren:

Temporal Graph Benchmark (TGB): Eventstreams van TGB worden vertaald naar relationele schema's (het normaliseren van nodes en edges tot tabellen) om directe vergelijking mogelijk te maken tussen temporale GNN's en relationele deep learning-modellen.
ReDeLEx: Integratie biedt uniforme toegang tot meer dan 70 real-world databases die geschikt zijn voor pretraining.
4DBInfer: Opname van 4DBInfer-datasets en -taken om de dekking van multi-tabel-evaluatie te verbreden en de 4D-ontwerpruimte (datasets, taken, graafconstructie, modellen) te verkennen.

Experimentele Resultaten

Experimentele resultaten over de nieuwe datasets en taken tonen aan dat RDL-modellen consequent beter presteren dan single-table baselines (specifiek LightGBM en aggregatie-baselines):

Autocomplete-taken: RDL-modellen presteerden significant beter dan LightGBM bij zowel binaire als meerklassige classificatie (bijvoorbeeld het behalen van ~98% nauwkeurigheid op item-shippoint in rel-salt versus ~5% voor LightGBM) en regressietaken (hogere $R^2$ -waarden). De resultaten benadrukken dat relationele context informatieve signalen biedt voor het voorspellen van ontbrekende attributen, zelfs bij klasse-ongelijkheid.
Forecasting-taken: RDL-modellen behaalden superieure prestaties bij entiteitsclassificatie (bijvoorbeeld author-category-voorspelling in rel-arxiv) en regressie. De meerklassige auteur-categorietaken toonde een enorme kloof, waarbij RDL ~50% nauwkeurigheid behaalde vergeleken met ~2% voor LightGBM, wat suggereert dat relationele signalen (co-auteurschap, citaties) cruciaal zijn voor complexe classificatie.
Aanbevelingstaken: GNN-gebaseerde modellen (GraphSAGE en ID-GNN) presteerden over het algemeen beter dan baselines zoals Past Visit en Global Popularity. ID-GNN, dat expliciet node-identiteit incorporateert, excelleerde in entiteit-specifieke instellingen, terwijl diepere GraphSAGE-modellen (4 lagen) verbeterde prestaties lieten zien bij multi-hop redeneringstaken, hoewel beperkt door GPU-geheugenbeperkingen.
TGB-integratie: In vertaalde TGB-datasets presteerden relationele "event-as-node" GraphSAGE-modellen competitief tegen graaf-native geprojecteerde-edge GraphSAGE en temporale baselines (TGN), waarbij de prestaties varieerden afhankelijk van de rijkdom van eventsemantiek en de structuur van het schema.

Betekenis

Het artikel beweert dat RELBENCH v2 een schaalbare en realistische benchmark biedt die essentieel is voor de ontwikkeling en evaluatie van RDL-systemen en relationele foundation-modellen. Door de schaal uit te breiden tot meer dan 22 miljoen rijen, het nieuwe autocomplete-paradigma in te voeren en externe benchmarks te unificeren, worden de beperkingen van eerdere single-table of kleinschalige evaluaties aangepakt. De consistente superieure prestaties van RDL-modellen ten opzichte van baselines over diverse domeinen (academisch, ondernemingsgericht, consument, klinisch) onderstreept het belang van het expliciet modelleren van relationele structuur en temporale afhankelijkheden voor voorspellende taken. De benchmark dient als een fundamenteel hulpmiddel voor het vooruitbrengen van het vakgebied naar foundation-modellen die kunnen redeneren over complexe, multi-tabel data.