Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

技术摘要：分层合成表格数据生成

问题陈述
当前的合成表格数据生成方法在应用于复杂的企业级场景时面临显著局限。现有方法通常分为两类：纯生成模型（例如 CTGAN、TVAE、TabDDPM）和基于大语言模型（LLM）的方法（例如 GReaT、REaLTabFormer）。

• 生成模型：虽然在近似分布方面有效，但它们通常需要大量训练数据，难以处理异构特征类型，并遭受模式崩溃（mode collapse）的困扰。因此，它们往往无法捕捉罕见事件和尾部分布，而这在欺诈检测等领域至关重要。在低数据环境下，这些模型倾向于过拟合并产生多样性较低的样本。
• 基于 LLM 的方法：这些方法利用上下文学习和语义先验，但往往难以强制执行属性间的结构一致性、逻辑约束或功能依赖。自回归令牌生成可能导致无效或不连贯的样本，而序列化的行令牌化削弱了对异构数值 - 类别交互的建模。
• 核心挑战：一个更深层次且常被忽视的问题是，合成数据生成经常被当作纯粹的生成问题来处理，忽视了真实企业数据高度结构化、异构和多模态的本质。仅依赖模型生成的数据会引入分布崩溃的风险，即在合成输出上进行递归训练会逐渐侵蚀底层数据分布，特别是在尾部区域。

方法论：H-TDBU 框架
作者提出了一种**分层混合自顶向下与自底向上（H-TDBU）**框架。该方法将语义结构与随机纹理解耦，将生成能力与分层规则构建相结合。该框架通过三个不同的阶段运行：

1. 自顶向下路径（结构）：

   • 目标：定义数据的逻辑骨架和语义结构。
   • 机制：通过人工指令或 LLM 提示定义结构规则。这创建了一个作为骨干的结构模板 $S$，将抽象因素分解为具体、可采样的属性。
   • LLM 的作用：LLM 仅在此阶段用于生成代表结构规则的方案（例如，将目标变量映射到情感文本）。它们不生成实际的表格行。

2. 自底向上路径（纹理）：

   • 目标：从真实数据中学习局部统计模式和真实的“纹理”。
   • 机制：轻量级、低计算成本的表格生成器（例如随机森林或 XGBoost 等集成方法，或 CTGAN 等生成模型）在真实数据（$D_{real}$）上进行训练。
   • 输出：这些模型产生一个潜在空间表示（$Z$），捕捉了类似于真实数据的详细复杂模式，但可能并不固有地遵循自顶向下阶段定义逻辑规则。

3. 合成与调和：

   • 目标：统一逻辑骨架（$S$）与潜在纹理（$Z$）。
   • 机制：一个统一的合成引擎，记为 $X_{Syn} := G(z \in Z | S)$，根据 $S$ 的逻辑约束从潜在噪声中生成数据。该条件生成器调和了这两条路径。
   • 反馈循环：系统采用迭代反馈循环。如果合成数据（$D_{syn}$）未能通过跨模态保真度指标（$X_{Modal}$），则触发“重新训练模型”信号。如果未能通过约束验证，则向自顶向下提供者触发“调整约束”信号。这确保了逻辑完整性并防止模型漂移。

主要贡献

• 结构与纹理的解耦：本文提出了一种框架，将语义/逻辑规则的定义与统计纹理的生成分离开来，解决了单体生成模型的局限性。
• 混合架构：有机地整合了轻量级代理（随机森林、XGBoost）的生成能力与 LLM 的结构推理能力，严格将 LLM 用于规则定义而非直接数据生成。
• 迭代反馈机制：包含一个验证跨模态指标和逻辑约束的调和循环，允许对自顶向下规则和自底向上模型进行动态细化。
• 弱多模态基准测试：作者在结合表格数据与情感文本数据的弱多模态金融基准上评估了该框架，这是一个现有方法在对齐和一致性方面面临困难的情景。

实验结果
该框架在四个基准上进行了评估：两个弱多模态基准（人工指定和 Gemini 生成）以及两个仅表格基准（Adult Income 和 German Credit）。

• 下游效用（TSTR）：在人工指定的弱多模态基准中，基于树的有条件方法（RandomForest 和 XGBoost）优于神经基线（CTGAN、TVAE）。例如，RandomForest 实现了 0.9188 的 AUROC 和 0.6122 的 F1 分数，而 TVAE 分别为 0.8827 的 AUROC 和 0.5581 的 F1 分数。
• 严格对齐（Gemini 基准）：当使用强制执行更严格对齐的 LLM 生成规则提供者（目标 1 仅与正面文本对齐）时，有条件生成器显示出显著改进。RandomForest 实现了近乎完美的指标（0.9998 AUROC，0.9878 F1），优于神经基线，尽管后者也有所提升但仍略低。
• 跨模态保真度：观察到下游效用与跨模态保真度（$X_{Modal}$）之间存在权衡。虽然 RandomForest 在效用方面表现出色，但高斯 Copula 和 TVAE 有时实现了更低的 $X_{Modal}$ 值（文本和表格目标之间更好的分布对齐）。
• 消融研究：结果表明，性能由条件列的数量与自顶向下规则的严格程度之间的相互作用驱动。Gemini 生成的规则（更严格）受益于较少的条件列，而人工规则（更宽松）受益于更丰富的条件上下文。

意义与主张
本文声称，分层规则引导的合成提供了一种有效机制，用于在合成数据生成中平衡可控性、语义连贯性和统计保真度。

作者强调，他们的方法不依赖于为每个数据点进行昂贵的递归 LLM 生成。相反，通过仅将 LLM 用于“覆盖空间”的自顶向下构建，并采用更便宜的代理模型进行自底向上生成，该框架实现了高真实感和逻辑一致性。结果表明，这种混合方法在低数据环境和复杂的多模态场景中特别有效，在这些场景中，纯生成模型无法捕捉罕见事件或逻辑依赖，而纯 LLM 生成缺乏结构严谨性。该框架并非被呈现为一种生成器类型的普遍主导，而是一个灵活的基准框架，其中工作流适应数据集的具体结构。