🤖 machine learning

Generating Benchmark Health Data Using a Tabular Diffusion Transformer

本文提出了一种两阶段框架，该框架将异构原始表格转换为标准化的统计表示，并利用扩散 Transformer 生成合成统计表，随后将其重构为逼真的合成原始表格，以克服现有方法在跨表数据生成方面的局限性。

原作者： Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大数据侦探游戏

想象你是一名正在试图破解谜题的侦探，但你的犯罪现场不是一个，而是散落在全球各地的成千上万个。有些是餐巾纸上凌乱的涂鸦，有些是整齐的电子表格，还有些甚至连页面都缺失了。在计算机科学的世界里，这就是**合成数据生成（synthetic data generation）**所面临的挑战。科学家们想要创造出虚假但真实的数据库，使其看起来和表现起来都与真实数据完全一致。为什么呢？因为真实数据通常包含私密信息（如医疗记录），无法自由共享。如果研究人员能够生成“虚假”但行为逻辑与真实数据一致的数据，他们就可以测试新的 AI 工具、训练算法并解决问题，而无需接触到任何个人的隐私信息。

为了实现这一点，计算机通常需要学习数据的“规则”。这就像一位厨师试图重现一道菜。如果厨师只品尝过一碗特定的汤，他可能会学会如何完美地做出那一碗汤，但他不会知道如何制作出一碗新的、且依然具有“汤”之风味的液体。如今的大多数“计算机厨师”都困于一次只能制作一碗汤。当被要求同时学习一整个装满各种汤、炖菜和酱汁的储藏室时，他们会感到力不从心。这正是新研究的目标：旨在教会计算机如何成为大师级厨师，能够品尝上千种不同的食谱，然后发明出从未存在过的、全新的美味佳肴。

论文：教计算机用上千种食谱进行烹饪

在这篇论文中，来自加拿大和德国的一个研究团队介绍了一种巧妙的两步走“食谱”，用于教计算机如何从大量不同的现实世界表格中生成逼真的虚假健康数据。他们将这种方法称为跨表数据生成（Cross-Tabular Data Generation, CTDG）。他们并没有试图死记硬背每一行数据（这就像试图背诵图书馆里的每一个单词），而是先教计算机理解数据的“风味特征”。

第一步：“风味特征”转换

团队解决的第一个问题是，现实世界的表格是杂乱无章且各不相同的。一张表可能包含“年龄”和“血压”列，而另一张则有“身高”和“体重”。如果这些表看起来不统一，计算机就很难进行学习。

为了解决这个问题，研究人员发明了一种方法，将每一张表都转化为标准化的“统计表”。想象一下，将一幅复杂且凌乱的画作转化为一张简单的色彩调色卡。

边缘食谱（The Marginal Recipe）： 对于每一列（例如“年龄”），他们并不保留实际数值。相反，他们计算分布的形状。它是钟形曲线吗？是偏态分布吗？他们使用一种称为 Beta-Binomial 分布 的数学工具来捕捉这种形状，仅需三个参数：两个形状参数（ $\alpha$ 和 $\beta$ ）以及类别数量（基数/cardinality）。他们还会记录该列中缺失值（空白处）的数量。
关系图谱（The Relationship Map）： 数据列之间通常存在相互依赖关系（例如，身材较高的人往往体重也较重）。为了捕捉这一点，他们计算了列与列之间的相关性。他们没有保留一个巨大且混乱的数字矩阵，而是使用了一种称为**特征分解（eigen-decomposition）**的数学技巧，将这个关系图压缩成一个固定大小的数值向量。

结果如何？无论原始表格多么不同，每一张表都被转化成了一份整齐、统一的数字列表。这就像是将上千种不同的语言转化为一种计算机可以阅读的通用代码。

第二步：扩散变换器厨师（The Diffusion Transformer Chef）

一旦所有的表格都被转换成这些统一的“统计表”，研究人员就会训练一个特殊的 AI 模型，称为表格扩散变换器（Tabular Diffusion Transformer, TDT）。

你可以将这个模型想象成一位雕塑家，他从一块噪声（随机静电）开始，通过慢慢凿刻来显现出雕像。在 AI 领域，这被称为扩散模型（diffusion model）。该模型学习如何从随机噪声中逐渐演变成一个看起来像它所学习过的那些“统计表”的真实图像。

训练过程： 该模型首先在包含 4,095 个通用数据集（涵盖经济、游戏、工程等领域）的大型库中进行“预训练”，以学习通用模式。随后，它在 144 个与健康相关的数据集上进行“微调”，以学习医疗数据的特定“风味”。
生成过程： 训练完成后，该模型可以生成全新的统计表。这些不是简单的复制品，而是模型学到的模式的新组合。
重构过程： 最后，计算机利用这些新的统计表进行逆向操作。它利用这些数字进行采样，从而有效地“重构”出一张虚假的原始表，其外观和行为逻辑都与真实的健康数据一致。

研究发现

研究人员对他们的方法进行了严格测试，以验证其是否真正有效。

1. 重构测试：
首先，他们检查了能否将一张真实的表转化为统计表，然后再将其转回原始表，且不丢失数据的“灵魂”。他们使用了一种称为**维度归一化 Wasserstein 距离（dimension-Normalized Wasserstein Distance, dNWD）**的指标来衡量原始数据与重构数据之间的差异。

结果： 平均差异极小，仅为 0.095（标准差为 0.061）。大多数数据集的得分都在 0.2 以下。
启示： 这表明统计表是对原始数据非常忠实的表达。计算机并非在瞎猜，而是捕捉到了本质结构。

2. “消融”测试（如果我们跳过关系性会怎样？）：
为了证明理解列与列之间的关系至关重要，他们运行了两个移除关系数据的实验。

场景 A（无关系）： 他们告诉计算机假设所有列都是相互独立的（就像掷骰子一样）。误差跳升至 0.304。数据看起来还可以，但连接性断裂了。
场景 B（随机关系）： 他们给了计算机一些随机生成的、虚构的关系。误差激增至 0.636，数据变得一团糟。
结论： 论文明确排除了“只需单独观察每一列即可获得良好结果”的可能性。你必须捕捉它们是如何相互关联的，才能获得理想的结果。

3. 领域测试（它学到的是健康数据，还是仅仅是噪声？）：
团队生成了 2,000 张新的合成健康表，并将它们与来自医疗、经济、统计、工程、金融和游戏领域的真实表进行对比。他们使用 最近 Wasserstein 距离（Closest Wasserstein Distance, CWD） 来观察这些虚假数据在视觉上最接近哪种真实的领域。

结果： 合成的健康表与真实健康数据的距离最近，平均 C WD 为 0.72。
对比： 它们与其他领域的距离要远得多：经济学 (0.97)、统计学 (0.98)、工程学 (1.35)、金融学 (1.55) 以及游戏 (1.75)。
证据： 统计测试证实，合成数据在统计学上显著更接近真实健康数据，而非其他类型的数据。模型并没有仅仅死记硬背训练集，而是学习了底层的“健康”模式。

4. 多样性测试：
最后，他们问道：“模型是否只是在反复复制同样的几张表？”他们检查了合成表在多大程度上接近于真实的独特表格。

结果： 在 $k=1$ 时，合成表的最近邻覆盖了 77% 的真实表格；当查看前 10 个最近邻时，覆盖率超过了 95%。
结论： 该模型具有多样性。它并没有陷入循环，而是在探索整个健康数据的景观。

为什么这很重要

作者认为，这种方法可能会成为创建**基准数据集（benchmark datasets）**的游戏规则改变者。目前，研究人员在寻找高质量、多样化且真实的医疗 AI 测试数据方面经常面临困难。这种方法可以生成无限数量的、逼真的、虚假的健康数据集，既能捕捉现实世界的复杂性，又不会泄露任何真实患者的隐私。

然而，论文也谨慎地指出了其局限性。该方法最适用于拥有最多 256 列 的表格。如果一个数据集规模巨大且拥有数千列，这个特定的模型可能会遇到困难。此外，由于该方法通过平滑处理数据来寻找模式，因此极端的离群值（非常罕见、奇特的异常点）可能会在转换过程中丢失。作者建议，如果一项研究需要这些极端离群值，则需要手动将其添加回去。

简而言之，这篇论文提出了一种方法，教计算机理解跨越多个不同来源的数据“语法”，从而允许它们编写新的、逼真的“故事”（数据集），这些数据集非常适合用于测试和训练，同时又能守护好人们的秘密。

技术摘要：使用表格扩散 Transformer 生成基准健康数据

问题陈述

跨表数据生成（Cross-Tabular Data Generation, CTDG）旨在从多个异构表中学习生成模型，以产生新的合成表格数据集。虽然现有的合成表格数据生成（STDG）方法已取得了显著进展，但它们大多局限于单输入表的场景。这些方法难以有效处理具有多样化特征集、列名和数据类型的多个异构表。因此，它们无法学习一个能够捕捉整个领域内共享统计特性和结构模式的统一生成模型。这种局限性阻碍了创建反映现实世界数据多样性的、多样且真实的基准数据集，特别是在数据通常分布在非对齐表中的医疗保健领域。目前的基准库往往缺乏多样性，依赖于任意的数据集选择，或者使用无法反映实际健康数据结构的假设分布。

方法论

作者提出了一个用于 CTDG 的两阶段框架，该框架将异构原始表转换为同质表示，学习统一分布，并重建合成原始表。

第一阶段：向统计表转换

为了解决异构性问题，每个真实的原始表 ( $X_i$ ) 被转换为标准化的“统计表”。这一过程抽象掉了具体的列名和数值，仅保留生成所需的统计属性：

边缘统计量（Marginal Statistics）：
- 分类特征： 将唯一元素按频率排序并映射为整数索引。对这些索引进行 Beta-Binomial 分布拟合，得出参数 $(\alpha, \beta)$ 以及该列的基数（cardinality）。
- 数值特征： 将数值离散化为固定数量的区间（ $I_N = 100$ ）。采用相同的排序、映射和 Beta-Binomial 拟合程序，得到参数 $(\alpha, \beta)$ 且基数等于 $I_N$ 。
- 缺失值： 记录每列的缺失率。
- 结果： 每列由一个元组 $(\alpha, \beta, \text{基数}, \text{缺失率})$ 表示。
相关结构（Correlational Structure）：
- 为了在不进行计算上难以处理的多变量 Beta-Binomial 分布采样的情况下保留依赖关系，通过概率积分变换将列转换为正态分布。
- 在这些转换后的变量上计算成对相关性，以形成相关矩阵 $\Sigma_i$ 。
- 特征分解（Eigen-decomposition）： 为了处理不同表之间变化的列数，将 $\Sigma_i$ 分解为 $U\Lambda U^\top$ 。作者采用了过参数化设置，固定维度为 $K=256$ 。矩阵 $A = U\Lambda^{1/2}$ 作为一种紧凑表示，其中每一行向量 $\mathbf{a}_i$ 对应于一列的相关参数。
- 统一表示： 统计表中的每一列由一个包含 $K+4$ 个参数的元组表示： $(\alpha, \beta, \text{基数}, \text{缺失率}, \mathbf{a})$ 。
重建： 通过从多元高斯分布中采样来重建原始表，利用恢复的相关矩阵将样本映射回 Beta-Binomial 分布，并根据记录的速率引入缺失值。

第二阶段：表格扩散 Transformer (TDT)

一个扩散 Transformer 模型在同质统计表集上进行训练，以学习它们的联合分布。

架构： 该模型使用标准的 Transformer 编码器。统计表的每一行被视为一个嵌入（类似于句子中的 token），而表本身则是一个序列。
标准化： 由于参数具有不同的尺度（例如，无界的 $\alpha, \beta$ 与有界的回归值），会对所有表中的每个 $K+4$ 列应用全局分位数变换，将其映射到标准正态分布。
训练： 模型遵循去噪扩散概率模型（DDPM）目标，学习重建添加到输入统计表中的噪声。
策略： 采用预训练-微调的方法。模型首先在 4,095 个通用 OpenML 数据集上进行预训练，以学习多样化的统计模式，然后在 144 个健康相关数据集（131 个 OpenML 健康数据集 + 13 个特定医疗数据集）上进行微调。
生成： 经过训练的模型通过 $T$ 步去噪过程生成合成统计表。随后，这些统计表被重建为合成原始表。

核心贡献

跨表框架： 提出了一个两阶段 CTDG 框架，能够从多个异构表中学习，克服了现有 STDG 方法的单表限制。
统计表表示： 一种利用 Beta-Binomial 边缘拟合和相关矩阵谱分解将异构原始表转换为同质统计表的新方法，实现了统一建模。
表格扩散 Transformer： 将扩散 Transformer 架构应用于表格数据生成，专门设计用于处理统计参数的可变长度序列。
基准生成： 生成了 1,000 个合成健康数据集（每份 10,000 行，10–256 列），旨在作为现实的基准，解决了当前基准库缺乏多样性、预处理不足以及缺乏领域特定性的问题。

结果

研究使用维度归一化 Wasserstein 距离（dNWD）和最近 Wasserstein 距离（CWD）对 144 个健康相关数据集进行了评估。

重建保真度：
- 从提取的统计表示重建原始表，平均 dNWD 为 0.095 (SD 0.061)。
- 消融实验证实，准确的相关性建模至关重要。移除相关性（使用单位矩阵）使 dNWD 增加到 0.304，而使用随机相关性则使其增加到 0.636，这证明了所提出的相关性表示对于保真度是必不可少的。
合成-真实评估：
- 在使用健康领域微调后生成的合成表，其与真实健康数据的距离（平均 CWD 为 0.72）明显比与其他领域（经济学：0.97，统计学：0.98，工程学：1.35，金融：1.55，游戏：1.75）更近。
- 统计检验（结合 Fisher 方法的 Wilcoxon 符号秩检验）证实，合成健康表比任何其他领域都更接近真实的健康表（经 Holm 校正后 $p < 0.05$ ）。
- 合成-真实距离的层级结构反映了内在的真实-真实距离层级，表明该模型保留了领域特定的结构特征和相对跨领域接近性。
多样性分析：
- 多样性通过 “Top- $k$ 比例” 进行衡量，即合成表的最近邻所覆盖的唯一真实表的比例。
- 对于 $k=1$ ，覆盖了 77% 的真实表；对于 $k=10$ ，覆盖率超过 95%。这表明模型避免了模式崩溃（mode collapse），并生成了广泛分布于整个领域的表格。

重要性与声明

论文声称，所提出的方法成功地从多个异构表中学习了一个统一的生成模型，产生的合成数据集既表现出对真实健康数据的高保真度，又具有意义上的多样性。作者断言，该方法为生成反映现实世界数据多样性的现实基准数据集提供了基础，解决了当前基准测试中数据集选择随意和缺乏标准化的问题。

关于隐私，作者指出，由于生成模型是基于聚合统计表（分布和相关性）而非个体记录进行训练的，且不存在训练记录与生成数据之间的一一映射关系，因此降低了成员身份或属性泄露的风险。生成的数据集旨在支持可重复的基准测试、模拟研究以及机器学习流水线的测试，而无需暴露受保护的健康信息。作者承认存在一些局限性，例如可能掩盖极端异常值以及 256 列的限制，但认为这项工作是实现可扩展、领域特定合成数据生成的重要一步。