🤖 machine learning

RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Dieser Beitrag stellt RelBench v2 vor, eine erheblich erweiterte Benchmark und ein Repository für relationales Deep Learning, das vier neue groß angelegte Datensätze, neuartige Autocomplete-Aufgaben sowie Integrationen mit externen Frameworks umfasst, um eine systematische Evaluation zu ermöglichen und die Überlegenheit relationaler Modelle gegenüber Baselines mit einzelnen Tabellen nachzuweisen.

Ursprüngliche Autoren: Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Informationen. In früheren Zeiten, wenn Sie ein Muster finden wollten, müssten Sie jedes einzelne Buch nehmen, die Seiten herausreißen und alle auf ein einziges riesiges, chaotisches Blatt Papier kleben. Sie würden den Kontext verlieren, aus welchem Buch die Seite stammte, und müssten manuell Linien zeichnen, um verwandte Ideen zu verbinden. So handhabte traditionelles maschinelles Lernen komplexe Daten.

Relationales Deep Learning (RDL) ist wie ein neuer Bibliothekar, der die Seiten nicht herausreißt. Stattdessen betrachtet er die gesamte Bibliothek als eine lebendige Karte. Er versteht, dass ein „Buch" mit einem „Autor" verbunden ist, der mit einer „Universität" verbunden ist, welche wiederum mit einer „Stadt" verbunden ist. Er sieht die Beziehungen, nicht nur die isolierten Fakten.

Dieser Artikel stellt RELBENCH v2 vor, ein massives Upgrade eines „Trainingsgyms" für diese intelligenten Bibliothekare. Hier ist, was sie gebaut haben:

1. Das neue Trainingsgelände (Die Datensätze)

Das ursprüngliche Gym (RELBENCH v1) verfügte über ein paar Übungsplätze. RELBENCH v2 hat vier riesige neue Stadien hinzugefügt, was die Gesamtzahl auf 11 bringt. Dies sind keine kleinen Übungsplätze; es sind massive, reale Datenwelten:

Die Bibliothek des Gelehrten (rel-arxiv): Eine Karte von Millionen Forschungsarbeiten, Autoren und Zitationsbeziehungen.
Das Unternehmensbüro (rel-salt): Eine Simulation von Verkaufsaufträgen, Versandrouten und Zahlungsbedingungen eines riesigen Unternehmens.
Das Forum des Bierliebhabers (rel-ratebeer): Ein Jahrzehnt lang Bewertungen von Benutzern für Biere, Brauereien und Orte.
Die Krankenakten (rel-mimic): Anonymisierte Patientenakten eines großen medizinischen Zentrums (mit in die Zukunft verschobenen Daten zum Schutz der Privatsphäre).

Zusammen enthalten diese über 22 Millionen Datenzeilen. Es ist, als würde man der KI eine Bibliothek mit 22 Millionen Büchern zum Lernen geben, die alle miteinander verbunden sind.

2. Die neuen Spiele (Die Aufgaben)

Der Artikel führt eine neue Art von Spiel ein, das „Autocomplete" (Autovervollständigung) genannt wird.

Das alte Spiel (Prognose): Stellen Sie sich eine Kristallkugel vor. Sie geben der KI Daten bis heute, und sie sagt etwas voraus, das noch nicht passiert ist (wie „Wird dieser Kunde nächsten Monat gehen?").
Das neue Spiel (Autocomplete): Stellen Sie sich ein teilweise ausgefülltes Formular vor. Die KI sieht einige Felder (wie „Kundenname" und „Bestelldatum"), aber das Feld „Zahlungsmethode" ist leer. Die KI muss das fehlende Feld jetzt sofort erraten, wobei sie nur die Hinweise aus den anderen Tabellen nutzt, die sie sehen kann.

Warum ist das schwer? Es ist wie der Versuch, das Lieblingsessen einer Person nur anhand ihrer Adresse und der Tageszeit zu erraten, ohne dass sie es Ihnen sagt. Die KI muss die „Nachbarschaft" (verwandte Tabellen) betrachten, um es herauszufinden. Der Artikel zeigt, dass die KI dies viel besser kann, wenn sie die Beziehungen zwischen den Tabellen versteht, als wenn sie nur die einzelne Zeile betrachtet.

3. Der „universelle Adapter" (Integration anderer Benchmarks)

Die Autoren bauten nicht nur neue Räume; sie bauten einen universellen Adapter, der es dem Gym ermöglicht, sich mit anderen beliebten Trainingszentren zu verbinden:

Das Zeitstrom-Gym (TGB): Sie haben Datensätze, die normalerweise wie ein fließender Fluss von Ereignissen aussehen, in ihr Bibliotheksformat übersetzt, damit die KI auch daran üben kann.
Die 70-Datenbank-Herausforderung (ReDeLEx): Sie haben eine Sammlung von über 70 realen Datenbanken angebunden und der KI die Möglichkeit gegeben, an fast allem zu üben.
Das 4D-Werkzeugkasten (4DBInfer): Sie fügten eine Reihe von Tools hinzu, die die KI aus vier verschiedenen Perspektiven testen (Daten, Aufgaben, Graphenstruktur und Modelle), um sicherzustellen, dass sie wirklich robust ist.

4. Die Ergebnisse: Die Kraft der Verbindung

Der Artikel führte eine Reihe von Tests durch, bei denen der „intelligente Bibliothekar" (RDL-Modelle) mit dem „Old-School-Arbeiter" (traditionelle Modelle, die die Daten flachlegen) verglichen wurde.

Das Urteil: Der intelligente Bibliothekar gewann fast jedes Mal.

Ob beim Erraten fehlender Werte (Autocomplete), beim Vorhersagen der Zukunft (Prognose) oder beim Empfehlen des nächsten Artikels (Empfehlung) – das Modell, das die Beziehungen zwischen den Tabellen verstand, schnitt deutlich besser ab.
Selbst wenn die Daten chaotisch waren oder die Kategorien unausgewogen, nutzte das relationale Modell die Verbindungen, um Signale zu finden, die die alten Modelle übersehen hatten.

Zusammenfassung

Denken Sie an RELBENCH v2 als die ultimative „Fahrschule" für Künstliche Intelligenz, die versucht, komplexe Datenbanken zu verstehen. Es bietet:

Mehr Autos: 11 massive, diverse Datensätze (Akademisch, Wirtschaft, Verbraucher, Medizin).
Neue Übungen: Eine neue „Autocomplete"-Herausforderung, um zu testen, wie gut die KI fehlende Lücken unter Verwendung des Kontexts ausfüllt.
Eine universelle Garage: Werkzeuge, um sich mit anderen Testgeländen zu verbinden, damit die KI aus allem lernen kann.

Die Hauptaussage ist einfach: Wenn Daten verbunden sind, müssen Sie sie als vernetztes Gewebe behandeln, nicht als flache Liste. Die Modelle, die dies tun, gewinnen das Rennen.

Technische Zusammenfassung: RELBENCH V2

Problemstellung

Relationale Datenbanken sind die primäre Speicherabstraktion für strukturierte Daten in Unternehmens-, Wissenschafts- und Gesundheitssystemen und organisieren Informationen über Primär- und Fremdschlüsselbeziehungen, die reichhaltige strukturelle und zeitliche Abhängigkeiten abbilden. Obwohl Relational Deep Learning (RDL) als Paradigma für das direkte Lernen auf diesen Datenbanken entstanden ist – indem sie als heterogene Graphen behandelt werden, um manuelle Merkmalsentwicklung und Abflachung zu vermeiden – besteht weiterhin ein kritischer Bedarf an skalierbaren, realistischen Benchmarks zur Bewertung von Fortschritten, insbesondere da sich das Feld hin zu relationalen Foundation-Modellen entwickelt. Bestehende Benchmarks fehlen oft an Skalierbarkeit, Vielfalt in den Domänen oder der Fähigkeit, Aufgaben über traditionelle Prognosen hinaus zu bewerten, die über SQL-Abfragen konstruiert werden.

Methodik und Rahmenwerk

RELBENCH v2 erweitert das ursprüngliche RELBENCH-Framework (Robinson et al., 2024) durch die Einführung neuer Datensätze, neuer Aufgabentypen und einer einheitlichen Integration externer Benchmarks. Die Kernmethodik basiert auf:

Zeitliche Einschränkungen und Verhinderung von Datenlecks: Alle Datensätze verwenden feste VAL_TIMESTAMP- und TEST_TIMESTAMP-Grenzwerte. Modelle werden mit Daten bis zu VAL_TIMESTAMP trainiert, auf Zeilen zwischen den Grenzwerten validiert und auf Zeilen nach TEST_TIMESTAMP getestet. Daten jenseits des Test-Grenzwerts werden während der Inferenz ausgeblendet, um Datenlecks zum Zeitpunkt des Tests zu verhindern, wobei Strategien zur Stichprobenziehung zeitlicher Nachbarn verwendet werden (Fey et al., 2024).
RDL-Architektur: Der Benchmark nutzt eine Standard-RDL-Pipeline:
- Codierung: Rohdaten auf Zeilenebene werden mit PyTorch Frame und einem ResNet-tabellarischen Modell in initiale Knoten-Embeddings codiert.
- Stichprobenziehung: Zeitlich bewusste Subgraph-Stichprobenziehung wird um jeden Entitätsknoten zu einem gegebenen Startzeitpunkt durchgeführt.
- Aggregation: Embeddings werden durch ein heterogenes GraphSAGE-Modell mit summenbasierter Nachbarn-Aggregation geleitet, um Knoten-Embeddings iterativ zu aktualisieren.
- Vorhersage: Aufgaben-spezifische Köpfe generieren die endgültigen Vorhersagen.
Vergleich mit Baselines: Die Leistung wird gegen starke Baselines benchmarkt, hauptsächlich LightGBM (angewendet auf rohe Entitätstabellenmerkmale oder verknüpfte Merkmale) und verschiedene Aggregationsstrategien (globaler Mittelwert/Median, Entitäts-Mittelwert/Median).

Hauptbeiträge

1. Erweiterung der Datensätze

RELBENCH v2 führt vier neue große relationale Datensätze ein, wodurch die Gesamtzahl auf 11 Datensätze steigt, die verschiedene Domänen abdecken:

rel-arxiv: Eine Datenbank wissenschaftlicher Publikationen mit 222.000 Artikeln, 1,5 Millionen Zitierlinks und Autor-Kategorie-Beziehungen.
rel-salt: Ein Enterprise-Resource-Planning (ERP)-Datensatz von der SAP AI Research, der Verkaufsorders, Workflows und Geschäftstransaktionen modelliert.
rel-ratebeer: Ein Datensatz einer Verbraucherplattform mit über zwei Jahrzehnten an Nutzerinteraktionen, Bierbewertungen und Rezensionen.
rel-mimic: Ein klinischer Datensatz, der aus MIMIC-IV-Elektronischen Gesundheitsakten abgeleitet ist und eine Datumsverschiebung zum Schutz der Privatsphäre aufweist.
Skalierung: Die neuen Datensätze tragen über 22 Millionen Zeilen über 29 Tabellen hinweg bei.

2. Einführung von Autocomplete-Aufgaben

Ein signifikanter methodischer Beitrag ist die Einführung von Autocomplete-Aufgaben. Im Gegensatz zu traditionellen Prognoseaufgaben, die zukünftige Ergebnisse über SQL-Abfragen vorhersagen, erfordern Autocomplete-Aufgaben von Modellen, fehlende Attributwerte innerhalb bestehender relationaler Tabellen zu einem gegebenen Zeitstempel zu inferieren.

Mechanismus: Modelle erhalten beobachtete Werte für eine Zeile zu einem Startzeitpunkt und müssen Ziel-Spalten unter Verwendung nur des relationalen und zeitlichen Kontexts vorhersagen, der bis zu diesem Zeitpunkt verfügbar ist.
Kontrolle von Datenlecks: Um Informationslecks zu verhindern, werden Spalten, die stark mit dem Ziel korrelieren (z. B. review_text für review-rating), manuell identifiziert und basierend auf Domänenwissen entfernt.
Typen: Umfasst sowohl Klassifikation (binär und multiklass) als auch Regressionsaufgaben.

3. Integration externer Benchmarks

RELBENCH v2 vereinheitlicht die Bewertung durch die Integration externer Frameworks:

Temporal Graph Benchmark (TGB): Ereignisströme aus TGB werden in relationale Schemata übersetzt (Normalisierung von Knoten und Kanten in Tabellen), um einen direkten Vergleich zwischen zeitlichen GNNs und relationalen Deep-Learning-Modellen zu ermöglichen.
ReDeLEx: Die Integration bietet einheitlichen Zugriff auf 70+ reale Datenbanken, die für das Pretraining geeignet sind.
4DBInfer: Einbeziehung von 4DBInfer-Datensätzen und -Aufgaben zur Erweiterung der Bewertungsmöglichkeiten für Multi-Tabellen und zur Erkundung des 4D-Designraums (Datensätze, Aufgaben, Graphenkonstruktion, Modelle).

Experimentelle Ergebnisse

Experimentelle Ergebnisse über die neuen Datensätze und Aufgaben hinweg zeigen, dass RDL-Modelle Single-Table-Baselines (insbesondere LightGBM und Aggregationsbaselines) konsistent übertreffen:

Autocomplete-Aufgaben: RDL-Modelle schnitten bei binärer und multiklassiger Klassifikation (z. B. Erreichen von ~98 % Genauigkeit bei item-shippoint in rel-salt gegenüber ~5 % für LightGBM) sowie bei Regressionsaufgaben (höhere $R^2$ -Werte) deutlich besser ab als LightGBM. Die Ergebnisse unterstreichen, dass relationaler Kontext informative Signale für die Vorhersage fehlender Attribute liefert, selbst bei Klassenungleichgewicht.
Prognoseaufgaben: RDL-Modelle erzielten überlegene Leistungen bei der Entitätsklassifikation (z. B. Vorhersage von author-category in rel-arxiv) und Regression. Die multiklassige Autor-Kategorie-Aufgabe zeigte eine massive Lücke, wobei RDL ~50 % Genauigkeit im Vergleich zu ~2 % für LightGBM erreichte, was darauf hindeutet, dass relationale Signale (Co-Autorenschaft, Zitierungen) für komplexe Klassifikationen entscheidend sind.
Empfehlungsaufgaben: GNN-basierte Modelle (GraphSAGE und ID-GNN) schnitten im Allgemeinen besser ab als Baselines wie „Past Visit" und „Global Popularity". ID-GNN, das die Knotenidentität explizit einbezieht, glänzte in entitätsspezifischen Settings, während tiefere GraphSAGE-Modelle (4 Schichten) eine verbesserte Leistung bei Multi-Hop-Reasoning-Aufgaben zeigten, obwohl sie durch GPU-Speichereinschränkungen begrenzt waren.
TGB-Integration: In übersetzten TGB-Datensätzen performten relationale „Event-as-Node"-GraphSAGE-Modelle konkurrenzfähig gegenüber graph-nativen „Projected-Edge"-GraphSAGE-Modellen und zeitlichen Baselines (TGN), wobei die Leistung je nach Reichhaltigkeit der Ereignissemantik und Schema-Struktur variierte.

Bedeutung

Die Arbeit behauptet, dass RELBENCH v2 einen skalierbaren und realistischen Benchmark bietet, der für die Entwicklung und Bewertung von RDL-Systemen und relationalen Foundation-Modellen unerlässlich ist. Durch die Erweiterung der Skalierung auf über 22 Millionen Zeilen, die Einführung des neuartigen Autocomplete-Paradigmas und die Vereinheitlichung externer Benchmarks adressiert es die Einschränkungen vorheriger Single-Table- oder Kleinskalen-Evaluationen. Die konsistente Überlegenheit von RDL-Modellen gegenüber Baselines über verschiedene Domänen hinweg (akademisch, Unternehmens, Verbraucher, klinisch) unterstreicht die Bedeutung der expliziten Modellierung relationaler Strukturen und zeitlicher Abhängigkeiten für prädiktive Aufgaben. Der Benchmark dient als grundlegendes Werkzeug für die Weiterentwicklung des Feldes hin zu Foundation-Modellen, die in der Lage sind, über komplexe, Multi-Tabellen-Daten zu reasoning.