Harpoon: Generalised Manifold Guidance for Conditional Tabular Diffusion

技術要約：HARPOON – 条件付き表形式ディフュージョンのための汎用的な多様体ガイダンス

問題提起

特定の条件（制約）に従った表形式データの生成は、欠損値の補完や「What-if」シナリオのシミュレーションといったアプリケーションにおいて極めて重要である。拡散モデル（Diffusion Models）は生成タスクにおいて最先端（SOTA）の手法として台頭しているが、既存の条件付き表形式ディフュージョン手法には以下のような重大な限界が存在する：

1. 汎用性の欠如： 学習時に特定の制約をモデルに教え込む戦略（例：特定の制約に基づいてモデルを条件付ける手法）は、推論時における未知の条件に対して汎用性を発揮できない。
2. 柔軟性の欠如： 現在の手法は、特徴量の不等式（例：$Age \ge 10$）や複雑な論理結合といった非線形な制約を含む、多様な推論時の目的関数を扱うのが困難である。
3. 理論的空白： データが低次元の多様体上に存在すると仮定する近年の幾何学的アプローチは、連続的なドメインかつ平坦な幾何学、および特定の推論時損失（例：二乗誤差）に限定されている。これらは、表形式データ特有の混合型（離散型および連続型の特徴量）の性質を考慮していない。

手法：HARPOON

著者らは、学習なしで多様な条件を満たすために、多様体の幾何学に従って無条件サンプルを誘導する条件付き表形式ディフュージョン手法であるHARPOONを提案する。このアプローチは、多様体理論を表形式データの空間へと拡張することに基づいている。

理論的基礎

本論文は、データ空間における表形式ディフュージョンに関する2つの主要な理論的結果を確立している：

1. 直交射影： 標準的な二乗誤差損失を用いて学習された拡散モデルは、ノイズレベルがゼロに近づく（$\bar{\alpha}_t \to 1$）につれて、潜在的なデータ多様体（$M_0$）への直交写像を暗黙的に学習することを著者らは証明している。これは、先行研究の平坦な多様体の仮定を緩和し、曲がった幾何学においても成立する。
2. 接空間の勾配： 任意の微分可能な推論時損失関数（$L_{inf}$）の勾配は、「汚れた（dirty）」推定値（$\hat{x}_0$）におけるデータ多様体の接空間内に存在することを彼らは証明している。これは、二乗誤差損失に限定されていた従来の知見を一般化したものである。

この理論は、デノイザー（除去器）が多様体への直交射影を指し示すコンパスとして機能する一方で、任意の制約の勾配は、多様体の表面に沿って接線方向に更新を導くアンカーとして機能し、サンプルを有効なデータ分布のシェル（殻）内に留めることを意味している。

アルゴリズム

HARPOONは、無条件のデノイジングステップと接線方向の勾配補正を交互に繰り返す：

1. 汚れた推定値（Dirty Estimate）： 各ステップ $t$ において、モデルは順方向のノイズ付加プロセスを逆転させることで「汚れた」推定値 $\hat{x}_0$ を計算する。
2. 接線勾配（Tangential Gradient）： 推論時損失の勾配（$\nabla_{x_t} L_{inf}(\hat{x}_0, c)$）が計算される。理論的証明に基づき、この勾配は接空間内に制限される。
3. インターリーブ更新（Interleaved Update）： サンプルは標準的な無条件デノイジングステップを経た直後に、事前計算された勾配を用いた接線方向の更新を受ける。このプロセスが収束するまで繰り返される。

決定的なことに、推論時損失（$L_{inf}$）は学習時の損失とは異なっていてもよい。表形式データに対して、著者らは、標準的なMSEよりも離散的な性質に適した、平均絶対誤差（MAE）やクロスエントロピー（CE）のようなスパース性を誘導する損失を利用している。

主な貢献

1. 理論： 本論文は、多様体と表形式ディフュージョンを結びつける初の理論的結果を提供し、拡散モデルが直交射影器として機能すること、および任意の微分可能な推論時目的関数の勾配が、曲がった幾何学や混合型のデータに対しても接空間内に存在することを証明した。
2. アルゴリズム： 再学習やファインチューニングを必要とせず、推論時に多様な条件（補完、不等式、論理制約）に適応できる、学習フリーのガイダンスメカニズムであるHARPOONを設計した。
3. 実証的検証： 多様なデータセットとタスクにおいて、多様体認識型のガイダンスが性能を大幅に向上させることを実証した。特に、リジェクションサンプリングや学習時の条件付けが失敗する不等式制約において顕著である。

実験結果

著者らは、8つのデータセット（Adult、Default、ShoppersなどのUCIベンチマークを含む）を用い、主に2つのタスクについてHARPOルンを評価した。

1. 補完（Imputation）

• 性能： 様々な欠損率（25%、50%、75%）において、HARPOONはSOTAのベースライン（DiffPuter、Remasker、GReaT、MIRACLE、GAIN）と比較して、競争力のある、あるいは優れた平均二乗誤差（MSE）と精度を達成した。
• 堅牢性： 学習時のマスクに依存するため高欠損率で性能が低下する学習時手法（例：Remasker）とは異なり、HARPOONは堅牢性を維持した。
• 損失の感度： アブレーション研究により、推論時にMAE（またはMAE + CE）を使用することは、学習時のMSE損失を使用することよりも優れていることが示され、多様体の幾何学が推論時における柔軟な損失選択を可能にするという理論的主張が検証された。

2. 不等式および論理制約

• 制約充足： 範囲制約（例：$Age \ge 50$）およびカテゴリカル制約において、制約を補完問題として扱うDiffPuterやGReaTが74〜96%の違反率を示したのに対し、HARPOONは大幅に低い違反率（例：Adult/Defaultで8%未満）を達成した。
• 複雑な論理： HARPOONは制約の連言（AND）および選言（OR）を正常に処理し、ベースラインが失敗する場面でも、低い違反率と高いダウンストリーム・ユーティリティ（XGBoost分類器の性能で測定）を維持した。
• 忠実度（Fidelity）： 制約を強制しているにもかかわらず、HARPOONは高いサンプル忠実度（$\alpha$-scoreで測定）とユーティリティを維持した。これは、多様体認識型の更新がサンプルを分布外へ押し出すことがなかったことを示している。

効率性

HARPOONの実行時間は、追加の勾配計算ステップがあるため、無条件ディフュージョン・ベースライン（DiffPuter）の約2倍となる。しかし、LLMベース（GReT）や因果グラフベース（MIRACLE）のアプローチよりも大幅に高速であり、大規模なデータセットであっても5秒未満でサンプリングを完了する。

意義と主張

本論文は、HARPOONを、理論的な多様体ガイダンスと実用的な表形式データ生成の架け橋として位置づけている。その主な意義は、**「学習はシンプルに保ち、推論時にスケールさせる」**というパラダイムにある：

• 汎用性： すべての新しい制約に対してモデルを再学習する必要性を排除し、単一の学習済みモデルが未知の条件に適応できるようにした。
• 理論的厳密性： 多様体ガイダンスの理論を、連続的な平坦ドメインから、複雑で混合型の性質を持つ表形式データの幾何学へと拡張した。
• 実用的有用性： 標準的な生成モデルでは、分布の特性を損なわずに満たすことが困難な、実世界の領域（ヘルスケア、金融など）で一般的なハード制約（不等式、論理条件）を強制するための堅牢なメカニズムを提供する。

著者らは、HARPOONが、頑健で適応性が高く、効率的な、汎用的かつ理論的根拠に基づいたガイダンスメカニズムを提供することで、実世界の表形式モデリングにおける実用的な利益を解き放つと結論付けている。