技術的概要：推論時改善による表形式拡散モデルにおける合成データと実データのギャップの解消

1. 問題定義

拡散ベースの生成モデルが合成表形式データにおいて最先端の性能を達成しているにもかかわらず、「合成データと実データのギャップ」は依然として残存している。すなわち、合成データで訓練された下流学習モデルは、実データで訓練されたモデルの有用性にほとんど到達できない。このギャップを埋める既存のアプローチは、アーキテクチャの進展（例：TabDiff、TabSyn）、スケーリング、またはモノリシックな生成器の再訓練といった、訓練時介入にのみ焦点を当ててきた。これらの手法はわずかな改善しかもたらさず、実データの有用性との一貫した一致には失敗している。

本論文は、このギャップは主に訓練時の問題ではなく、推論時の問題であると主張する。推論時ガイダンス（例：Classifier-Free Guidance、Chamfer Guidance）は画像合成において成功を収めているが、表形式データへの適用は以下の 3 つの特定の課題によって妨げられてきた。

1. 混合型特徴空間: 表形式データには、勾配ベースのガイダンスに適した標準的な微分可能な距離尺度が存在しない。
2. 標準化された表現の欠如: 画像（CLIP を使用）とは異なり、表形式データには統一された埋め込み空間が存在しない。
3. 二重の目的: 「合成データで訓練し実データでテストする（TSTR）」という設定では、忠実度（合成データから実データへの近接性）とカバレッジ（実データから合成データへの多様体カバレッジ）のバランスを取る必要があり、標準的なガイダンスはこれをしばしば軽視している。

2. 手法：TARDIS

著者は、TARDIS（Refinement, Distillation, and Inference-time Sampling による表形式生成）を導入する。これは、再訓練を行わずに、凍結された事前学習済みの表形式拡散バックボーン（具体的には TabDiff）の出力を改善するフレームワークである。中核となる原理は**双方向 Chamfer 改善（BCR）**であり、これは合成候補と実データとの間の対称的 Chamfer 関数を、サンプリング中の連続的な段階とサンプリング後の離散的な段階の 2 つの補完的なレベルで最小化する。

このフレームワークは 3 つの段階で動作する。

段階 I：過剰サンプリング

システムは、潜在空間から基数 $M \cdot N_r$（ここで $N_r$ は実データセットのサイズ、$M=50$ は固定値）を持つ過剰サンプリングされたノイズプール $D_{noise}$ を引き出す。この冗長性は、後続の改善のための候補プールを提供する。

段階 II：双方向 Chamfer ガイダンス（連続的改善）

逆拡散プロセス中、予測スコア $\epsilon_\theta(x_t, t)$ は、実データ参照バッチ $x_r$ に対する双方向 Chamfer 関数 $C$ の勾配によって摂動を受ける。

• 表現マップ（$\phi$）: 混合型データを処理し微分可能性を提供するために、システムは表現マップ $\phi$ を使用する。探索空間には以下のいずれかが含まれる。
  • 恒等写像: z スコア正規化された特徴に適用される。
  • $\beta$-VAE マップ: 実データで訓練されたエンコーダであり、特徴を潜在空間にマッピングして異質性を吸収する。
• スコア摂動: 摂動されたスコアは $\tilde{\epsilon}_\theta = \epsilon_\theta - \Gamma(t) \cdot \nabla_{x_t} C(x_t, x_r)$ となる。これにより生成が実データ多様体へと誘導される。
• ハイパーパラメータ調整: 木構造パラゼン推定器（TPE）探索を用いて、データセットごとにガイダンスパラメータ（スケジュール $\Gamma(t)$、参照バッチ処理、$\phi$ の種類）を調整する。

段階 III：改善選択（離散的改善）

候補プール $D_{cand}$ を生成した後、システムは事後バッチランキングを通じて最終的な合成データセット $D_{syn}$（基数 $K \cdot N_r$）を選択する。

• Chamfer サンプリング: バッチは、段階 II で使用されたのと同じ Chamfer 関数 $C$ によってランク付けされる。上位ランクのバッチが保持される。このステップは、連続的ガイダンスを生き延びた「多様体外」の候補を剪定する。
• 生成知識蒸留（GKD）: 実データで訓練された教師分類器が候補をソフトターゲットで再ラベルするオプションのステップである。これは主に低基数領域（$K \le 1$）で効果的である。
• 探索戦略: Chamfer、MDSampler、Stratified などを含む 5 つのサンプリング変種と GKD のトグルに対する内部グリッド探索により、各 TPE 試行において検証有用性を最大化する構成を選択する。

3. 主要な貢献

1. 推論時改善フレームワーク: TARDIS は、表形式拡散に推論時改善を適用した最初のフレームワークであり、再訓練なしに凍結されたバックボーンを大幅に改善できることを実証している。
2. 双方向 Chamfer 改善（BCR）: 著者は、連続的なスコアレベルのガイダンスと離散的なバッチランキングを単一の対称的 Chamfer 関数で結合する統一原理として BCR を提案する。これは TSTR 設定に内在する忠実度とカバレッジのトレードオフに対処する。
3. 混合型データの処理: データセット固有の表現マップ $\phi$（恒等写像または $\beta$-VAE エンコーダのいずれか）の導入により、標準的な尺度の欠如を克服し、勾配ベースのガイダンスを表形式データに適用可能にした。
4. 「推論時」仮説の実証的検証: この研究は、合成データと実データのギャップが主に推論時に解決可能であることを示す証拠を提供し、「より良い生成器」から「既存の生成器のより良い改善」へとパラダイムをシフトさせた。

4. 実験結果

このフレームワークは、TSTR プロトコル下で XGBoost を下流学習器として使用し、15 の多様な表形式ベンチマーク（二値分類、多クラス分類、回帰）で評価された。

• 下流有用性: TARDIS は、実データで訓練されたモデルに対して中央値 +8.6% の改善を達成した（95% 信頼区間 [+3.3, +16.4]、Wilcoxon $p=0.016$）。15 のデータセットのうち 11 で厳密な勝利を収めた。
• バックボーンの改善: TARDIS は、すべての 15 のデータセットにおいて、基盤となる TabDiff バックボーンを改善した（平均 +12.9%、$p < 10^{-4}$）。
• アブレーション研究:
  • 過剰サンプリングと選択のコンポーネント（段階 I と III）を除去すると、TabDiff に対する平均 +1.4% の改善に低下し、離散的選択が重要であることを証明した。
  • 探索は、15 のデータセットのうち 9 つで BCR 整合構成（ガイダンス付きプール + Chamfer サンプリング）を一貫して選択し、BCR を支配的な改善パターンとして検証した。
• 忠実度、多様性、プライバシー: TARDIS は、多様体忠実度（Precision）と多様性（Recall）においてバックボーンと同等の性能を達成した。プライバシー指標（DCR-1 シェアおよび NNDR）は保持され、双方向関数が訓練レコードへの収縮を防いでいることを示している。
• 実行時間: 単一の一般消費者向け GPU（Nvidia GTX 1080 Ti）において、TARDIS は推論プロセスに中央値 16.1 分のウォールクロック時間を追加した（範囲 0.9 から 79.4 分）。

5. 意義と主張

本論文は、表形式拡散における合成データと実データのギャップは主に訓練時の問題ではないと主張する。代わりに、事前学習済みバックボーンの推論時改善により、標準的なハードウェア上で 1 分から 80 分の間に実データの有用性に到達し、それを上回ることを実証している。

その意義は以下の点にある。

• パラダイムシフト: アーキテクチャの複雑さと再訓練から、事後改善へと焦点を移すこと。
• 費用対効果: 大規模な拡散モデルの再訓練という計算コストなしに、最先端の有用性を達成すること。
• 汎用性: BCR の原理は、微分可能な表現マップと参照バッチのみを依存関係とするため、ドメイン転送が可能であり、表形式データを超えた適用性を示唆している。

著者は限界に関して謙虚であり、結果は現在単一のバックボーン（TabDiff）で検証されていること、また形式的な差分プライバシー保証は主張されていないがプライバシー代理指標は保持されていることを指摘している。今後の課題として、BCR を他のバックボーン（TabSyn、TabDDPM）やモダリティへ拡張することが挙げられている。