技術要約: RelGT-AC

問題定義

リレーショナルデータベースは、重要なエンタープライズ、科学、およびヘルスケアシステムの基盤となっていますが、このデータに対して予測的な機械学習を適用することは、そのマルチテーブル（多表）、不均質性、および時間的な性質 due to その性質により困難が伴います。Relational Deep Learning (RDL) は、データベースを不均質なグラフとしてモデル化することでこれに対処しますが、「オートコンプリート（自動補完）」という特定のタスクについては、専用のアーキテクチャ設計の観点から未だ十分に探索されていません。

RelBench v2 ベンチマークで導入されたオートコンプリート・タスクは、他の入力済みの列とリレーショナルな文脈（例：顧客の履歴に基づいて販売注文の支払い条件を予測する）が与えられた際に、行内の「既存の」列の値を予測することを要求します。標準的なフォアキャスティング（予測）タスクが、SQLで構築された将来の値を予測するのに対し、オートコンプリート・タスクは、ターゲットとなる値が入力行内に存在するという特有の課題を提示します。特定のアーキテクチャ上の保護策がない場合、モデルはターゲットの列を単に「読み取る」だけで、リレーショナルな文脈から学習する必要なく、ほぼ完璧な精度を達成するという、些細な解決策（trivial solution）に陥る可能性があります。さらに、GraphSAGEのような既存のベースラインは近傍集約に依存していますが、これは情報量の多い行と無関係な外部キー（FK）結合行を区別できない可能性があります。また、標準的なカテゴリカルエンコーダーは、自由記述テキスト列からの貴重な語彙信号を破棄してしまうことがよくあります。

手法: RelGT-AC

著者らは、オートコンプリート・タスクの課題に対処するために特別に設計されたRelGTバックボーンの拡張であるRelGT-AC（Relational Graph Transformer for Autocomplete）を提案しています。このアーキテクチャは、主に3つのコンポーネントを統合しています。

1. カラムマスキング戦略

モデルが単にターゲットの列を読み取るという些細な解決策を防ぐために、RelGT-ACは特徴量エンコーディングの前に適用される**カラムマスカー（Column Masker）**を導入しています。

• メカニズム: シードノード（予測対象の行）に対して、ターゲットとなる列（$c^*$）およびベンチマークで指定された相関のある列（$C_{drop}$）をゼロにします。
• 制約: 決定的なことに、FK結合されたコンテキスト行は、$c^*$ の値を含む完全な特徴量を保持します。これにより、モデルはシード行自身の特徴量に頼るのではなく、関連するテーブルの値がシード行の値を予測することを学習することを強制されます。

2. 統一タスクヘッド

RelGT-ACは、タスクタイプに応じた出力ヘッドを通じて、複数のタスクタイプを処理できる単一のモデルを採用しています。この統一されたアーキテクチャは、以下をサポートします：

• 二値分類 (Auto-BCLS)
• 多クラス分類 (Auto-MCLS)
• 回帰 (Auto-REG)
• フォアキャスティング回帰 (Entity-REG)
  これにより、モデルは異なるタスクタイプ間でリレーショナルな表現を共有しながら、特定の目的関数に合わせて出力層を適応させることができます。

3. TF-IDF テキストエンコーダー

標準的なカテゴリカルエンコーダーは、自由記述テキスト列において（ユニークな文字列を未知のインデックスにマッピングし、語彙信号を失うため）失敗することを認識し、著者らは自動的なTF-IDF テキストエンコーダーを導入しています。

• 検出: 平均の長さが20文字を超える文字列型を持つ列は、テキストとして分類されます。
• エンコーディング: トレーニング分割に対してTF-IDFベクタライザ（語彙サイズ $V=64$）が適合されます。得られたベクトルは、学習可能な線形層を介して共有特徴量次元へと投影されます。
• 利点: これにより、大規模な事前学習済み言語モデルを必要とせずに、自由記述フィールド（例：適格基準の記述）における強力な予測信号を捉えることができます。

アーキテクチャの流れ

モデルは、リレーショナルデータベースからサンプリングされた $k$-hop サブグラフを処理します：

1. トークン化: ノードは5つのトークン（特徴量、タイプ、ホップ距離、時間、構造）に分解されます。
2. ローカルモジュール: Sum集約を行う2層のHeteroGraphSAGEが近傍メッセージパッシングを実行します。
3. グローバルモジュール: Transformerレイヤーが、サンプリングされたすべてのノードに対してマルチヘッド自己注意（self-attention）を適用します。これにより、モデルはすべての近傍を等しく平均化するのではなく、最も情報量の多いFK結合行（例：最新の注文）を選択的に注視することができます。これは標準的なGraphSAGEの限界です。
4. 出力: 統一タスクヘッドが、シードノードの最終的な表現に基づいて予測を生成します。

主な結果

実験は、3つのRelBench v2データセットにわたる7つのオートコンプリート・タスク（rel-trial（臨床試験）、rel-f1（F1レーシング）、rel-stack（Stack Overflow））を用いて実施されました。

• 回帰性能: RelGT-ACは、すべての3つの回帰タスクにおいてGraphSAGEベースラインを上回りました。顕著な改善は以下の通りです：
  • enrollment タスク（rel-trial）で +0.436 $R^2$
  • qualifying-position タスク（rel-f1）で +0.224 $R^2$
  • results-position タスクで +0.088 $R^2$
• 分類性能: RelGT-ACは4つの分類タスクのうち2つでGraphSAGEを上回りました。しかし、eligibilities-adult のようなテキスト主体のタスクでは、GraphSAGEの94.91%に対し、モデルは85.41%のAUROCにとどまりました。著者らは、この差をGraphSAGEがフルグラフ内のすべての兄弟ノードにわたって集約できるのに対し、RelGT-ACは $k$-neighborサンプリングを使用していることに起因すると説明しています。
• TF-IDFの影響: アブレーション研究により、TF-IDFエンコーダーがテキスト豊かなタスクにおいて最もインパクトのある貢献であることが確認されました。eligibilities-adult において、TF-IDFエンコーダーを削除すると、モデルはカテゴリカルエンコーディングに戻り、語彙信号を失ったため、10.0 AUROCポイントの低下（85.37%から75.37%へ）が発生しました。
• アテンション分析: アテンション重みの可視化により、Transformerが最も最近かつ関連性の高いFK結合行（例：適格性タスクにおける直接リンクされたスタディレコード）を選択的に注視していることが明らかになり、フォーム入力に関する人間の直感と一致していることが示されました。

重要性と主張

本論文は、オートコンプリート・タスクのための最初の専用アーキテクチャを提供することにより、リレーショナルディープラーニングにおける重要なギャップを埋めるものであると主張しています。その重要性は以下の3点にあります：

1. リークの防止: カラムマスキング戦略は、モデルにアイデンティティ写像ではなくリレーショナルな依存関係を学習させることを効果的に強制しており、これはオートコンクリート・タスクにおける有効な教師あり学習の前提条件です。
2. 不均質性の処理: 統一されたヘッドとTF-IDFエンコーダーは、単一のモデルが、個別のパイプラインや大規模な事前学習済み言語モデルを必要とせずに、多様なデータ型（数値、カテゴリ、自由記述テキスト）とタスクタイプを効果的に扱えることを示しています。
3. メカニズム的洞察: アテンション分析は、リレーショナルな設定において、グローバルなアテンションメカニズムがローカルな集約よりも、特定の価値の高いコンテキスト行を特定することによって優れた性能を発揮できるという証拠を提供し、より解釈可能なリレーショナル推論のアプローチを提示しています。

著者らは、RelGT-ACはタスク固有のファインチューニングを必要とし、現時点では新しいデータベースへのゼロショット転移は行わないものの、オートコンプリート・タスクにおける教師ありリレーショナル学習の強力なベースラインを確立し、将来のリレーショナル・ファンデーションモデルの研究への基礎を提供するものであると結論付けています。