Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

技术摘要：评估合成表格数据生成中的列间逻辑关系

问题陈述
当前对合成表格数据的评估主要集中于联合分布建模以及低阶统计量（如密度估计、相关性分数）或高阶统计量（如$\alpha$-Precision、$\beta$-Recall）的评估。然而，这些指标往往忽视了跨列真实事件序列的保留以及连贯实体关系的维护。表格数据本质上具有异质性，包含多样化的变量类型和复杂的相互依赖关系（Wang et al., 2024）。现有的生成模型，包括生成对抗网络（GANs，例如 CTGAN）、扩散模型（例如 TabDDPM、TabSyn）和自回归模型（例如 GReaT），难以显式捕捉特定的条件依赖关系，如$P(x_1 | x_2)$。例如，扩散模型通常假设各向同性噪声的添加，这未能考虑到表格数据中存在的非线性、非有序语义依赖关系，这与图像中的空间相关性不同。同样，虽然大语言模型（LLMs）利用了预训练知识，但它们可能未显式建模边际分布，从而导致采样偏差。因此，目前缺乏细粒度的、上下文感知的评估指标来评估合成数据是否保留了关键的逻辑关系，例如层次结构（例如：城市 $\to$ 国家）或数学/时间依赖关系。

方法论
为了弥补评估逻辑一致性的空白，作者提出了三种新的评估指标，旨在量化列间关系：

1. 层次一致性分数（HCS）： 该指标量化了跨列层次关系的保留程度。其定义为属于特定组$G_k$（例如：城市、州、国家）内的属性元组属于有效组合集$C_{k,j}$的行比例。
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   其中$M$为行数，$N$为一致性组数量，$\mathbb{1}(\cdot)$为指示函数。

2. 多变量依赖指数（MDI）： 该指数评估多变量依赖关系，包括时间或数学关系。它衡量了在依赖组$G_g$中，属性满足特定布尔依赖函数$F$（相对于组内其他属性）的行比例。
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   其中$D_{g,j}$表示组$G_g$中的属性满足依赖函数$F$的条件。

3. 分布相似性指数（DSI）： 为了捕捉难以定义显式规则的非线性关系，DSI 比较了拟合于合成数据行与真实数据行的混合高斯模型（GMM）的对数似然值。它计算对数似然值的相对差异，以反映细粒度的分布差异。
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

实验设置与结果
该研究在DataCo数据集上评估了五种具有代表性的生成方法。DataCo 是一个大规模的真实世界工业数据集，包含约 140,000 个样本，具有复杂的高维特征和多样的列间关系。被评估的方法包括：

• 基于插值的方法： SMOTE
• 基于潜在空间表示的方法： CTGAN, TabDDPM, TabSyn
• 基于大语言模型（LLM）的方法： GReaT

每种方法生成了 140,000 个样本，评估重复了十次以确保鲁棒性。

主要发现：

• 统计指标： SMOTE 和 TabSyn 在低阶统计精度（如密度估计、相关性分数、$\alpha$-Precision）方面表现最佳。TabSyn 在联合分布建模方面表现出色，而 SMOTE 在平衡数据类别（$\beta$-Recall）方面优于其他方法。
• 逻辑一致性（HCS）： SMOTE（98.09%）和 GReaT（98.01%）在保留层次一致性方面显著优于基于潜在空间的方法（CTGAN：39.23%，TabDDPM：16.07%）。
• 多变量依赖（MDI）： GReaT 在捕捉时间和数学依赖关系方面取得了最高精度（97.37%），其次是 SMOTE（87.03%）。基于潜在空间的方法表现显著困难，TabDDPM 得分为 59.08%，CTGAN 为 38.87%。
• 分布相似性（DSI）： GReaT（85.55%）和 TabSyn（83.62%）表现最佳，而 CTGAN（11.10%）显示出较差的分布对齐。
• 定性分析： 对生成样本的详细检查显示，CTGAN 和 TabDDPM 频繁产生逻辑错误（例如：错误的地理层次结构、违反时间序列、数学公式断裂）。相比之下，GReaT 和 SMOTE 保持了近乎完美的逻辑一致性，尽管 GReaT 偶尔会生成未见过的属性值（例如：错误的城市名称），这表明存在可控性方面的潜在问题。

意义与贡献
本工作的主要贡献是引入了 HCS、MDI 和 DSI 作为专门指标，用于评估合成表格数据中逻辑关系的保留情况，超越了标准的分布保真度。实验结果表明，现有的最先进方法，特别是那些基于潜在空间表示的方法，往往无法严格维持层次一致性和多变量依赖关系，而这些对于现实世界数据的细粒度真实性至关重要。

论文得出结论：虽然当前方法可以建模一般分布，但缺乏强制执行逻辑约束的显式机制。作者建议的未来路径包括：

• 对于基于大语言模型（LLM）的方法：利用知识图谱或贝叶斯网络重新排序标记化序列或重构列序列化，以利用先验知识。
• 对于基于潜在空间的方法：利用大语言模型推理分析列名和描述以获取语义关系，或在将数据嵌入共享潜在空间之前按逻辑关系对数据进行分组。
• 混合方法：结合 SMOTE 等插值技术以平衡数据类别，特别是用于学习少数逻辑关系。

作者强调，这些方向对于设计能够有效捕捉列间逻辑关系的生成模型是必要的，这是推动合成表格数据生成发展的关键一步。