Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

技術概要：合成表データ生成における列間論理的関係の評価

問題定義
現在の合成表データの評価は、主に結合分布のモデル化と低次統計量（例：密度推定、相関スコア）または高次統計量（例：$\alpha$-Precision、$\beta$-Recall）の評価に焦点を当てています。しかし、これらの指標は、列を超えた現実的なイベントシーケンスの保存や一貫したエンティティ関係の保持を見落としがちです。表データは本質的に異質であり、多様な変数タイプと複雑な相互依存関係（Wang et al., 2024）を特徴としています。GAN（例：CTGAN）、拡散モデル（例：TabDDPM、TabSyn）、自己回帰モデル（例：GReaT）を含む既存の生成モデルは、$P(x_1 | x_2)$ のような特定の条件付き依存関係を明示的に捉えることに苦労しています。例えば、拡散モデルはしばしば等方性のノイズ追加を仮定しますが、これは画像の空間的相関とは異なり、表データに見られる非線形で非順序の意味的依存関係を考慮していません。同様に、大規模言語モデル（LLM）は事前学習済み知識を活用しますが、周辺分布を明示的にモデル化しないため、バイアスのかかったサンプリングにつながる可能性があります。その結果、階層構造（例：都市 $\to$ 国）や数学的/時間的依存関係のような重要な論理的関係が合成データで保持されているかどうかを評価するための、微細で文脈を認識した評価指標が不足しています。

手法
論理的整合性の評価におけるギャップに対処するため、著者は列間関係を定量化するように設計された 3 つの新しい評価指標を提案します。

1. 階層的一貫性スコア（HCS）： この指標は、列を超えた階層関係の保存を定量化します。これは、特定のグループ $G_k$（例：都市、州、国）内の属性タプルが有効な組み合わせの集合 $C_{k,j}$ に属する行の比率として定義されます。
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   ここで、$M$ は行数、$N$ は一貫性グループの数、$\mathbb{1}(\cdot)$ は指示関数です。

2. 多変量依存性指数（MDI）： この指数は、時間的または数学的関係を含む多変量依存性を評価します。これは、依存グループ $G_g$ 内の他の属性に対して、特定のブール依存関数 $F$ を属性が満たす行の割合を測定します。
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   ここで、$D_{g,j}$ は、グループ $G_g$ 内の属性が依存関数 $F$ を満たす条件を表します。

3. 分布類似性指数（DSI）： 明示的なルールを定義することが困難な非線形関係を捉えるために、DSI は合成データ行と実データ行に適合させたガウス混合モデル（GMM）の対数尤度を比較します。これは、微細な分布の違いを反映するために、対数尤度の相対差を計算します。
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

実験設定と結果
本研究では、複雑で高次元な特徴と多様な列間関係を含む約 14 万サンプルの大規模な実世界産業データセットであるDataCoデータセット上で、5 つの代表的な生成手法を評価しました。評価対象の手法には以下が含まれます。

• 補間ベース： SMOTE
• 潜在空間表現ベース： CTGAN、TabDDPM、TabSyn
• LLM ベース： GReaT

各手法は 14 万サンプルを生成し、堅牢性を確保するために評価を 10 回繰り返しました。

主要な知見：

• 統計的指標： SMOTE と TabSyn は、低次統計的精度（例：密度推定、相関スコア、$\alpha$-Precision）において最高のパフォーマンスを達成しました。TabSyn は結合分布のモデル化において優れており、SMOTE はデータカテゴリのバランスにおいて（$\beta$-Recall）他を凌駕しました。
• 論理的整合性（HCS）： SMOTE（98.09%）と GReaT（98.01%）は、階層的一貫性の保持において、潜在空間ベースの手法（CTGAN：39.23%、TabDDPM：16.07%）を大幅に上回りました。
• 多変量依存性（MDI）： GReaT は時間的および数学的依存性の捕捉において最高精度（97.37%）を達成し、次いで SMOTE（87.03%）が続きました。潜在空間ベースの手法は大幅に苦戦し、TabDDPM は 59.08%、CTGAN は 38.87% でした。
• 分布類似性（DSI）： GReaT（85.55%）と TabSyn（83.62%）が最も良好なパフォーマンスを示し、CTGAN（11.10%）は分布の整合性が低いことが示されました。
• 定性的分析： 生成されたサンプルの詳細な検査により、CTGAN と TabDDPM は頻繁に論理的エラー（例：誤った地理的階層、違反した時間的シーケンス、破綻した数式）を生成することが明らかになりました。対照的に、GReaT と SMOTE はほぼ完璧な論理的整合性を維持しましたが、GReaT は時折未見の属性値（例：誤った都市名）を生成しており、制御可能性に潜在的な問題があることを示唆していました。

意義と貢献
この研究の主な貢献は、標準的な分布忠実度を超えて、合成表データにおける論理的関係の保存を評価するための専門的な指標として HCS、MDI、DSI を導入したことです。実験結果は、特に潜在空間表現に基づく既存の最先端手法が、実世界データの微細なリアリズムに不可欠な階層的一貫性と多変量依存性を厳密に維持することに失敗していることを示しています。

論文は、現在の手法は一般的な分布をモデル化できる一方で、論理的制約を強制する明示的なメカニズムを欠いていると結論付けています。著者が示唆する将来の道筋には以下が含まれます。

• LLM ベースの手法の場合： トークナイゼーションシーケンスの再順序付けや列のシリアライゼーションの再構成を通じて事前知識を活用するために、知識グラフまたはベイズネットワークを利用する。
• 潜在空間ベースの手法の場合： 列名と記述を分析して意味的関係を特定するために LLM 推論を採用するか、共有潜在空間に埋め込む前に論理的関係でデータをグループ化する。
• ハイブリッドアプローチ： 少数の論理的関係を学習する際、特にデータクラスをバランスさせるために SMOTE などの補間技術を組み込む。

著者は、合成表データ生成を進展させるための重要なステップである列間論理的関係を効果的に捉える生成モデルを設計するために、これらの方向性が不可欠であると強調しています。