技術要約：Geometry-Aware Tabular Diffusion (GATD)

問題提起

表形式データ（Tabular data）は、エンタープライズ、ヘルスケア、科学的応用において依然として支配的なフォーマットであるが、プライバシーを保護した上での共有や拡張のための、現実的な表形式データの合成には特有の課題が存在する。画像やテキストとは異なり、表形式データは不均一なカラム型、複雑なカラム間の依存関係、および高度に非ガウス的な周辺分布を示す。拡散モデル（TabDDPM、TabSyn、TabDiffなど）は有望な解決策として浮上しているが、これらは通常、トランスフォーマー・アーキテクチャにおける自己注意（self-attention）のような暗黙的なメカニメントに依存しており、カラム間の関係性を推論している。本論文は、関係構造をデノイジング（除去）目的関数のみから推論させることは最適ではないと断じ、異なるデノイジング・アーキテクチャ間で転移可能な「補助的な教師信号」として、明示的な関係構造を提供できるのではないかという問いを投げかける。

手法

著者らは、カラムの値から直接計算される明示的なペアワイズ幾何特徴量を、表形式拡散デノイザーに付加するフレームワークである Geometry-Aware Tabular Diffusion (GATD) を提案する。

幾何学的特徴表現

核心となる革新は、すべてのカラム（連続値およびカテゴリ値）を統一された正規化空間 $v \in [-1, 1]$ にマッピングすることである。この空間から、モデルはすべてのカラムのペア $(i, j)$ に対して2つのペアワイズ特徴量を計算する。

1. ペアワイズ角度 ($\theta_{ij}$): $\theta_{ij} = \arctan(v_j - v_i)$。これはカラム間の方向的な関係を捉え、$(-\pi/2, \pi/2)$ の範囲に限定される。
2. ペアワイズ長さ ($\ell_{ij}$): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$。これは差の大きさを捉え、大きな差に対しては対数圧縮が行われる。

アーキテクチャと学習

GATDは、3つの異なる拡散バックボーンに対して「ドロップイン」可能なモジュールとして実装されている。

• 残差MLP (Residual MLP): 主要なインスタンスであり、幾何学的入力と補助ヘッドを備えた残差MLPを拡張したものである。
• GNN: 完全なカラムグラフ上でのエッジ条件付きメッセージパッシングを使用し、幾何学的特徴をエッジ属性として用いる。
• Transformer: カラム単位のトランスフォーマー・エンコーダーを使用し、幾何学的特徴を投影して表現に結合する。

入力と拡張:
モデルは、タイムエンベディング、ノイズが付加されたデータ、および計算された幾何学的特徴 ($\theta_{input}, \ell_{input}$) を含む結合された入力を受け取る。極めて重要な点として、アーキテクチャには角度と長さのための補助的な予測ヘッドが含まれている。

• 学習: モデルは以下の複合損失関数を用いて学習される：
  $$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$$
  幾何学的損失 ($L_{angle}, L_{length}$) は直接的な教師信号を提供する。一貫性損失 ($L_{consistency}$) は、予測された幾何学がデノイズされた出力と一致することを保証する。著者らは、収束時において幾何学的項が全損失の約95%を占めることを指摘しており、これはネットワークにカラム間の構造を内面化させるための意図的な逆転である。
• 推論: サンプリング中、幾何学的特徴は現在の状態から計算され、入力として供給される。予測された角度 ($\hat{\theta}$) は、隠れ状態と結合されて拡張された表現 ($h_{aug}$) を形成し、それがデノイジング・ヘッドへと送られる。長さのヘッドは生成時には切り離され（detach）、学習時の正則化器としてのみ機能する。

主な貢献

1. 明示的な幾何学的教師あり学習: ペアワイズの角度および長さの特徴を、入力および補助的な予測ターゲットの両方として導入したこと。
2. 教師あり学習 vs 容量のアブレーション: パフォーマンスの向上は、単なる幾何学的入力の追加やモデル容量の増加によるものではなく、**教師あり学習（supervision）**によって駆動されていることを示す、アーキテクチャが一致したアブレーション研究。幾何学的特徴は存在するが幾何学的損失がない「InputsOnly」構成では、幾何学なしのベースラインと区別がつかない性能 ($d = -0.08$) であったが、教師ありバージョンは大きな効果 ($d = 0.81$) を示した。
3. クロスアーキテクチャの移植性: 幾何学的信号は移植可能な帰納バイアスとして機能し、アーキテクチャ固有のチューニングなしに、MLP、GNN、Transformerの各バックボーンにおいて性能を向上させる。
4. 効率的なMLPインスタンス化: 最先端のTabDiff（Transformerベース）と同等またはそれを上回る性能を実現しつつ、平均して 3.5倍少ないパラメータ（分類タスクでは最大25倍少ない）を使用するコンパクトなMLPベースのGATD。
5. 実践的なガイダンス: 損失重みのチューニング、サンプリングステップ数、および混合データ型の扱いに関する経験的な知見。

実験結果

本手法は、10個のベンチマークデータセット（分類5、回帰5）において、TabDiff、TabDDPM、STaSyを含むベースラインと比較評価された。

• 忠実度 (Fidelity): GATD（MLPインスタンス）は、Shape（周辺分布の忠実度）において 8/10、Trend（相関の保持）において 7/10 のデータセットでTabDiffに対し勝利した。すべてのバックボーン（MLP, GNN, Transformer）において、+GEOMはShapeのセルで 27/30、Trendのセルで 25/30 で勝利した。
• ダウンストリームの有用性: 本手法は、TabDiffと比較して、Shapeエラーを平均 27%、Trendエラーを 20% 減少させた。また、AUROC/R2における実データ性能へのギャップを 58.2%、F1/RMSEにおけるギャップを 42.0% 埋めた。
• 効率性: 2.5倍多い学習エポック（2万 vs 8千）と20倍多いサンプリングステップ（1000 vs 50）を要したにもかかわらず、より小さなMLPバックボーンにより、TabDiffと比較して平均 1.7倍高速 なエンドツーエンドの学習時間を実現した。
• スケーラビリティ: ワイドテーブルのデータセット（APS Failure, $d=171$）において、GATDは競争力のある性能を維持したが、メモリ使用量は自己注意メカニズムと同様に二次関数的 ($O(d^2)$) にスケールした。

意義と主張

本論文は、明示的な関係的教師あり学習が、表形式拡散のための移植可能な帰納バイアスであることを主張している。著者らは、注意メカニメントはカラム間の関係を暗黙的に学習できるものの、明示的な幾何学的ターゲットを提供することで、デノイザーの負担を軽減し、学習を加速させることができると述べている。

著者らが強調する主なポイントは以下の通りである：

• 教師あり学習の不可欠性: ゲインは、幾何学的入力そのものからではなく、補助的な予測タスクによってネットワークが構造を内面化することを強制することから得られる。
• 相補性: 幾何学的教師あり学習と注意メカニズムは、互いに排他的ではなく相補的である。この信号は、MLPと同様にトランスフォーマーベースのデノイザーの性能も向上させる。
• プライバシーに関する謙虚な姿勢: 本論文は、合成データ生成には形式的なプライバシー保証が含まれないことを明記している。著者らは「プライバシー・ウォッシング（プライバシーを装うこと）」を警告し、合成生成を差分プライバシー（DPSGD）のような形式的なフレームワークと組み合わせることを推奨している。
• 限界: ペアワイズ特徴量により、$O(d^2)$ の計算スケーリングが発生し、非常に幅の広いテーブルではメモリのボトルネックとなるが、評価された範囲内では標準的なハードウェアで実行可能である。損失の重みはヒューリスティックであり、特定の領域（例：連続値が多いデータセット）で最適な結果を得るためには、データセットごとのチューニングが必要になる場合がある。