🤖 machine learning

RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

本論文は、4 つの新たな大規模データセット、新しい自動補完タスク、外部フレームワークとの統合を取り入れ、体系的な評価を促進し、単一テーブルのベースラインに対する関係モデルの優位性を実証する、大幅に拡張された関係深層学習のベンチマークおよびリポジトリである RelBench v2 を紹介する。

原著者： Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Justin Gu, Rishabh Ranjan, Charilaos Kanatsoulis, Haiming Tang, Martin Jurkovic, Valter Hudovernik, Mark Znidar, Pranshu Chaturvedi, Parth Shroff, Fengyu Li, Jure Leskovec

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な情報図書館を持っていると想像してください。昔は、パターンを見つけたい場合、すべての本を手に取り、ページを切り取り、それらをすべて一枚の巨大で乱雑な紙に貼り付けなければなりませんでした。そのページがどの本から来たのかという文脈は失われ、関連するアイデアを結びつける線を手動で引かなければなりませんでした。これが、複雑なデータを処理していた従来の機械学習のやり方です。

**関係性深層学習（RDL）**は、ページを切り取らない新しいタイプの司書のようなものです。代わりに、彼らは図書館全体を生きた地図として捉えます。「本」は「著者」とつながり、その「著者」は「大学」とつながり、さらに「都市」とつながっていることを理解します。彼らは孤立した事実だけでなく、関係性そのものを見ています。

この論文は、これらの賢い司書のための「トレーニングジム」であるRELBENCH v2の大幅なアップグレードを紹介します。彼らが構築したものは以下の通りです：

1. 新しいトレーニング場（データセット）

元のジム（RELBENCH v1）にはいくつかの練習場がありました。RELBENCH v2 は4 つの巨大な新しいスタジアムを追加し、合計 11 になりました。これらは単なる小さな練習場ではなく、大規模な現実世界のデータ世界です：

学者の図書館（rel-arxiv）： 数百万の研究論文、著者、そして誰が誰を引用したかを示す地図。
企業のオフィス（rel-salt）： 巨大な企業の販売注文、配送ルート、支払い条件をシミュレートしたもの。
ビール愛好家のフォーラム（rel-ratebeer）： ユーザーがビール、醸造所、場所を評価した 10 年間のデータ。
病院の記録（rel-mimic）： 主要な医療センターからの匿名化された患者記録（プライバシー保護のため日付が未来にシフトされています）。

これらを合わせると、2200 万行以上のデータが含まれています。まるで AI に、すべてが相互接続された 2200 万冊の本から学ぶ図書館を与えたようなものです。

2. 新しいゲーム（タスク）

この論文は、**「オートコンプリート」**と呼ばれる新しいタイプのゲームを導入します。

古いゲーム（予測）： 水晶玉を想像してください。AI に今日までのデータを与えると、それは「まだ起こっていないこと」（例：「この顧客は来月離脱するか？」）を予測します。
新しいゲーム（オートコンプリート）： 一部が記入されたフォームを想像してください。AI は「顧客名」や「注文日」などのいくつかのフィールドを見ていますが、「支払い方法」の欄は空白です。AI は、現在見ている他のテーブルからの手がかりのみを使って、その空白の欄を今すぐ推測しなければなりません。

なぜこれが難しいのか？ それは、相手に言わずに住所と時刻からその人の好きな食べ物を推測するようなものです。AI はそれを解き明かすために「近隣」（関連するテーブル）を見る必要があります。この論文は、AI が単一の行を見るだけでなく、テーブル間の関係性を理解している場合、このタスクがはるかに得意になることを示しています。

3. 「ユニバーサルアダプター」（他のベンチマークとの統合）

著者たちは新しい部屋を建てただけでなく、ジムの他の人気トレーニングセンターと接続できるユニバーサルアダプターも構築しました：

タイムストリームジム（TGB）： 通常、イベントの流れとして見えるデータセットを、彼らの図書館形式に変換して、AI がそれらでも練習できるようにしました。
70 データベースチャレンジ（ReDeLEx）： 70 以上の現実世界のデータベースのコレクションに接続し、AI にほぼ何でも練習する機会を与えました。
4D ツールボックス（4DBInfer）： データ、タスク、グラフ構造、モデルという 4 つの異なる角度から AI をテストする一連のツールを追加し、真に堅牢であることを確認しました。

4. 結果：接続の力

この論文は、「賢い司書」（RDL モデル）と「旧来の労働者」（データを平坦化する従来のモデル）を比較する一連のテストを行いました。

結論： 賢い司書がほぼ毎回勝利しました。

欠落値の推測（オートコンプリート）、未来の予測（予測）、次のアイテムの推薦（レコメンデーション）のいずれにおいても、テーブル間の関係性を理解しているモデルは、はるかに優れたパフォーマンスを発揮しました。
データが乱雑であったり、カテゴリが不均衡であったりする場合でも、関係性モデルは接続を利用して、古いモデルが見逃していたシグナルを見つけ出しました。

まとめ

RELBENCH v2を、複雑なデータベースを理解しようとする人工知能のための究極の「運転免許取得講座」と考えてください。それは以下を提供します：

より多くの車： 11 の大規模で多様なデータセット（学術、ビジネス、消費者、医療）。
新しいドリル： 文脈を使って空白をどのように埋めるかをテストする新しい「オートコンプリート」チャレンジ。
ユニバーサルガレージ： AI がすべてから学べるよう、他のテスト場と接続するためのツール。

主な教訓は単純です：データが接続されている場合、それを平坦なリストではなく、接続されたウェブとして扱わなければなりません。 これを行うモデルがレースで勝っています。

技術的概要：RELBENCH V2

問題定義

関係データベースは、企業、科学、医療システムにおける構造化データの主要なストレージ抽象化であり、一次キーと外部キーの関係を通じて情報を組織化し、豊かな構造的および時間的依存関係を捉えています。関係深層学習（RDL）は、手動の特徴量エンジニアリングや平坦化を回避するために異種グラフとしてデータベースを扱うことで、これらのデータベース上で直接学習するパラダイムとして登場しましたが、特に関係基盤モデルへの分野の移行に伴い、進捗を評価するためのスケーラブルで現実的なベンチマークの必要性は依然として重大です。既存のベンチマークは、規模、ドメインの多様性、または SQL クエリを通じて構築された従来の予測を超えたタスクを評価する能力の欠如にしばしば陥っています。

手法とフレームワーク

RELBENCH v2 は、新しいデータセット、新規タスクタイプ、外部ベンチマークの統合された導入によって、オリジナルの RELBENCH フレームワーク（Robinson et al., 2024）を拡張します。中核的な手法は以下に依存します：

時間的制約と漏洩防止: すべてのデータセットは、固定された VAL_TIMESTAMP および TEST_TIMESTAMP 切断点を利用します。モデルは VAL_TIMESTAMP までのデータで訓練され、切断点間の行で検証され、TEST_TIMESTAMP 後の行でテストされます。推論中のテスト時漏洩を防ぐため、テスト切断点を超えたデータは隠蔽され、時間的近傍サンプリング戦略（Fey et al., 2024）が利用されます。
RDL アーキテクチャ: このベンチマークは標準的な RDL パイプラインを利用します：
- エンコーディング: 生行レベルデータは、ResNet 表形式モデルを用いた PyTorch Frame により、初期ノード埋め込みへエンコードされます。
- サンプリング: 各エンティティノードの周囲で、与えられたシード時刻を中心に時間意識的なサブグラフサンプリングが実行されます。
- 集約: 埋め込みは、和ベースの近傍集約を用いた異種 GraphSAGE モデルを通過し、ノード埋め込みを反復的に更新します。
- 予測: タスク固有のヘッドが最終予測を生成します。
ベースライン比較: 性能は、主に生エンティティテーブル特徴量または結合された特徴量に適用される LightGBM、および各種集約戦略（グローバル平均/中央値、エンティティ平均/中央値）といった強力なベースラインに対してベンチマークされます。

主要な貢献

1. データセットの拡張

RELBENCH v2 は、4 つの新しい大規模関係データセットを導入し、多様なドメインにまたがる合計 11 のデータセットをもたらします：

rel-arxiv: 22 万 2 千の論文、150 万の引用リンク、および著者 - カテゴリ関係を持つ学術出版物データベース。
rel-salt: SAP AI Research からのエンタープライズリソースプランニング（ERP）データセットで、販売注文、ワークフロー、およびビジネストランザクションをモデル化します。
rel-ratebeer: 20 年以上にわたるユーザーインタラクション、ビール評価、およびレビューを備えた消費者プラットフォームデータセット。
rel-mimic: MIMIC-IV 電子健康記録から派生した臨床データセットで、プライバシー保護のため日付シフトが施されています。
規模: 新しいデータセットは、29 のテーブルにわたる 2200 万行以上を寄与します。

2. 自動補完タスクの導入

重要な方法的貢献は、自動補完タスクの導入です。SQL クエリを通じて将来の出来事を予測する従来の予測タスクとは異なり、自動補完タスクは、モデルが与えられた時刻において既存の関係テーブル内の欠落属性値を推論することを要求します。

メカニズム: モデルはシード時刻における行の観測値を受け取り、その時刻までに利用可能な関係的および時間的文脈のみを使用してターゲット列を予測しなければなりません。
漏洩制御: 情報漏洩を防ぐため、ターゲットと強く相関する列（例：review-rating に対する review_text）はドメイン知識に基づいて手動で特定され、削除されます。
タイプ: 分類（二値および多クラス）および回帰タスクの両方を含みます。

3. 外部ベンチマークの統合

RELBENCH v2 は、外部フレームワークの統合により評価を統一します：

Temporal Graph Benchmark (TGB): TGB のイベントストリームは、ノードとエッジをテーブルに正規化して関係スキーマへ変換され、時間的 GNN と関係深層学習モデル間の直接比較を可能にします。
ReDeLEx: 統合により、事前学習に適した 70 以上の実世界データベースへの均一なアクセスが提供されます。
4DBInfer: 4DBInfer のデータセットとタスクの取り込みにより、マルチテーブル評価カバレッジを拡大し、4D 設計空間（データセット、タスク、グラフ構築、モデル）を探求します。

実験結果

新しいデータセットおよびタスク全体の実験結果は、RDL モデルが一貫して単一テーブルベースライン（具体的には LightGBM および集約ベースライン）を上回ることを示しています：

自動補完タスク: RDL モデルは、二値および多クラス分類（例：rel-salt の item-shippoint で約 98% の精度を達成し、LightGBM は約 5%）および回帰タスク（より高い $R^2$ 値）において LightGBM を大幅に上回りました。これらの結果は、クラス不均衡が存在する場合でも、関係的文脈が欠落属性の予測に有益なシグナルを提供することを浮き彫りにしています。
予測タスク: RDL モデルは、エンティティ分類（例：rel-arxiv の author-category 予測）および回帰において優れた性能を達成しました。多クラス著者 - カテゴリタスクは、RDL が約 50% の精度を達成し、LightGBM が約 2% であるという大きな差を示し、共著関係や引用などの関係シグナルが複雑な分類に不可欠であることを示唆しています。
推薦タスク: GNN ベースのモデル（GraphSAGE および ID-GNN）は、Past Visit や Global Popularity などのベースラインを一般的に上回りました。ノードアイデンティティを明示的に取り込む ID-GNN は、エンティティ固有の設定で優れており、より深い GraphSAGE モデル（4 層）はマルチホップ推論タスクで性能向上を示しましたが、GPU メモリ制約に制限されました。
TGB 統合: 変換された TGB データセットにおいて、関係的「イベントをノードとする」GraphSAGE モデルは、グラフネイティブの投影エッジ GraphSAGE および時間的ベースライン（TGN）に対して競争力のある性能を発揮し、その性能はイベントセマンティクスの豊かさとスキーマ構造に基づいて変動しました。

意義

本論文は、RELBENCH v2 が RDL システムおよび関係基盤モデルの開発と評価に不可欠なスケーラブルで現実的なベンチマークを提供すると主張しています。2200 万行を超える規模への拡張、新規自動補完パラダイムの導入、外部ベンチマークの統合により、従来の単一テーブルまたは小規模評価の限界に対処しています。学術、企業、消費者、臨床といった多様なドメインにわたるベースラインに対する RDL モデルの一貫した上回りは、予測タスクにおいて関係構造と時間的依存関係を明示的にモデル化することの重要性を浮き彫りにしています。このベンチマークは、複雑なマルチテーブルデータ上で推論できる基盤モデルへと分野を進展させるための基礎的なツールとして機能します。