Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

以下是论文《用于具有混合类型特征的异构表格数据的级联流匹配》的详细技术总结。

1. 问题陈述

本文解决了为异构表格数据集生成高保真合成数据的挑战。这些数据集包含以下混合特征：

• 分类特征（离散状态）。
• 连续数值特征。
• 混合类型特征：既表现出连续分布又表现出离散点质量的数值特征（例如：零膨胀、一膨胀或缺失值）。

识别出的关键挑战：

• 结构不匹配：现有的扩散和基于流的模型通常强制对所有特征类型采用统一的生成目标。然而，分类数据和连续数据依赖于不同的结构假设（离散支撑 vs. 连续密度，概率质量 vs. 密度函数）。
• 隐式重加权：在单一目标下组合这些类型会导致隐式的特征重加权，其中一种类型主导学习过程，从而降低另一种类型的质量。
• 混合类型复杂性：标准模型难以生成嵌入在连续分布中的具有离散结果（如缺失值或膨胀零）的特征。它们通常无法捕捉这些离散状态所需的特定概率质量。
• 损失平衡：先前的方法需要手动调整分类特征和数值特征之间的相对损失权重，以防止某一方主导，这难以扩展和优化。

2. 方法论：TabCascade

作者提出了TabCascade，这是一种新颖的级联流匹配框架，将生成任务分解为低分辨率和高分辨率阶段。

A. 表格数据中的分辨率概念框架

作者不是基于视觉分辨率（像素），而是基于特征粒度定义分辨率：

• 低分辨率 ($x_{low}$)：包含所有分类特征 ($x_{cat}$) 以及数值特征 ($x_{num}$) 的离散化、分类表示 ($z$)。
• 高分辨率 ($x_{high}$)：数值特征的细粒度连续细节。

B. 级联流程

联合分布被分解为：
$$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$$

1. 低分辨率模型 ($p_\theta^{low}$)：

   • 学习分类特征和离散化数值潜在变量 ($z$) 的联合分布。
   • 编码器：使用分布回归树 (DT)（或高斯混合模型）将连续数值 $x_{num}$ 映射到离散类别 $z$。
   • 处理混合类型：离散化 $z$ 显式编码特殊状态，如“缺失” ($c_{miss}$) 或“膨胀” ($c_{infl}$)。如果 $z$ 指示缺失状态，高分辨率模型将确定性输出缺失值，从而无需在高分辨率阶段学习这种复杂的概率质量。
   • 模型选择：作者利用 CDTD（用于混合类型表格数据的连续扩散）作为低分辨率生成器。

2. 高分辨率模型 ($p_\theta^{high}$)：

   • 基于低分辨率输出 ($x_{low} = (x_{cat}, z)$) 生成详细的数值 $x_{num}$。
   • 掩码：如果 $z$ 指示离散状态（例如缺失），则对该特定特征的损失进行掩码处理，使模型能够将容量集中在学习非离散特征的连续细节上。
   • 流匹配：使用流匹配来学习将源分布转换为目标分布的向量场。

C. 新颖的技术创新

为了提高高分辨率生成，TabCascade 引入了两个关键机制：

1. 数据依赖耦合：

   • 不是从标准高斯分布 $N(0, I)$ 采样源噪声 $x_0$，而是根据 $z$ 对源进行条件化。
   • $x_0 = \mu(z) + \sigma(z)\epsilon$，其中 $\mu(z)$ 和 $\sigma(z)$ 是生成 $z$ 的 DT 编码器中特定高斯分量的均值和方差。
   • 优势：这将源分布在潜在空间中移向更接近目标分布的位置，显著降低了传输成本（流必须移动的距离）。作者正式证明了与独立耦合相比，这收紧了传输成本界限。

2. 引导条件概率路径：

   • 引入了可学习的、特征特定的时间调度 $\gamma_t(x_{low})$。
   • 概率路径定义为：
     $$x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$$
   • 这允许模型学习针对由低分辨率信息定义的特定特征组量身定制的非线性轨迹，而不是使用固定的线性路径。

3. 主要贡献

1. 首个用于表格数据的级联扩散模型：提出了首个将级联（从低到高分辨率）方法应用于表格数据生成的框架。
2. 混合类型特征生成：首个显式设计用于处理混合类型特征（连续 + 离散点质量，如缺失/膨胀值）的扩散模型，通过将离散状态生成与连续细化分离来实现。
3. 理论保证：提供了形式化证明，表明所提出的数据依赖耦合收紧了传输成本界限，从理论上证明了效率提升的合理性。
4. 无损失平衡：通过分离任务，模型避免了在不同特征类型之间调整相对损失权重的超参数需求，因为低分辨率模型处理“简单”的分类/离散结构，而高分辨率模型仅专注于数值细节。

4. 实验结果

该模型在 12 个多样化数据集（包括 Adult、Airlines、Diabetes 等）上进行了评估，并与最先进基线（CTGAN、TVAE、TabDDPM、TabSyn、TabDiff、CDTD）进行了对比。

• 检测分数（主要指标）：与最佳基线（CDTD）相比，TabCascade 在检测分数上实现了 51.9% 的提升。该指标衡量分类器区分真实数据与合成数据的能力；分数越高，表明合成数据越难以与真实数据区分。
• 分布保真度：
  • 数值特征：数值特征的 Wasserstein 距离 (WD) 和形状分数显著提高，表明更好地捕捉了连续分布和混合类型结构。
  • 分类特征：性能与 CDTD 保持竞争力，证实低分辨率模型有效地处理了分类数据。
• 特征依赖：提高了**趋势（混合）**分数，表明级联方法成功捕捉了分类特征与数值特征之间的依赖关系，而没有出现顺序模型中常见的“分而治之”惩罚。
• 下游效用：实现了 30% 更低的机器学习效率 (MLE) 分数，意味着在 TabCascade 的合成数据上训练的模型，在下游任务中的表现更接近在真实数据上训练的模型。
• 消融研究：证实了数据依赖耦合和非线性路径对性能至关重要。分布回归树 (DT) 编码器优于高斯混合模型 (GMM) 编码器，因为其粒度更细且簇重叠更少。

5. 意义与影响

• 真实性：TabCascade 为生成逼真的合成表格数据设定了新的最先进水平，特别是对于包含缺失值、零或其他数值列中离散异常值的复杂数据集。
• 效率：通过分解问题，模型更有效地学习困难的“细节”（数值分布），因为它无需浪费容量同时尝试学习粗略的分类结构。
• 泛化性：该框架是模块化的；低分辨率组件可以与其他分类生成器（例如 ARF）交换，且该方法可泛化到任意混合类型结构。
• 隐私权衡：论文指出，更高的保真度（更好的检测分数）自然会使样本更接近原始数据分布，这可能会增加隐私风险（通过成员推理攻击衡量）。然而，作者强调该模型本身是生成工具，隐私保障需要差分隐私等额外机制。

总之，TabCascade 代表了表格生成建模的范式转变，它将数据生成视为一个分层过程，利用低分辨率结构信息来指导高分辨率细节生成，从而解决了长期存在的混合类型特征生成问题。