🤖 machine learning

Harpoon: Generalised Manifold Guidance for Conditional Tabular Diffusion

本文介绍了 HARPOON，一种用于条件表格扩散模型的广义流形引导方法，它将流形理论扩展到了离散数据和多样化的推理时目标，从而能够在无需重新训练的情况下生成满足特定约束的样本。

原作者： Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人画人的画像。你希望机器人能创作出逼真的面孔，但你也想给它具体的指令，比如“让这个人戴上一顶帽子”或者“确保这个人穿着一件红色的衬衫”。

在数据的世界里，“表格数据”（tabular data）就像一张巨大的电子表格，拥有行和列（例如：年龄、收入、职位）。创造符合特定规则的逼真电子表格是非常困难的。如果你只是要求标准的 AI 去填补缺失的数字，或者遵循像“年龄必须大于 18 岁”这样的规则，它经常会感到困惑。它可能会创造出一个 150 岁的人，或者破坏数据的内部逻辑（比如一个人有工作却没有任何收入）。

这篇论文介绍了一种名为 HARPOON 的新方法来解决这个问题。以下是它的工作原理，通过简单的解释呈现：

1. 问题所在：“偏离轨道”的机器人

目前的表格 AI 模型就像一个记住了特定规则集的机器人。如果你要求它做一些它以前没见过的东西（比如一种新的约束条件），它就会迷失方向。

旧方法： 如果你想让机器人遵循一条新规则，你通常需要停止操作，从头开始重新训练机器人，或者使用一种笨拙的“拒绝”法——即生成成千上万张糟糕的图片并丢弃它们，直到找到一张符合要求的。这既慢又低效。
关于“流形”（Manifolds）的问题： 科学家知道，真实的数据（比如真实的人）并不是随机地存在于混乱的云团中。它们存在于一个特定的、平滑的形状上（比如一个在 3D 空间中漂浮的弯曲纸张）。这个形状被称为流形。如果强迫机器人去画一些不符合这个形状的东西，结果看起来会显得虚假且破碎。以前的方法虽然可以保持机器人在“纸张”上，但只能处理简单的、连续的事物（如平滑的线条），无法处理带有类别属性（如“男/女”或“红/蓝”）的杂乱表格。

2. 解决方案：“鱼叉”（The Harpoon）

作者们意识到，他们使用的 AI 模型（一种“扩散模型”）实际上非常擅长理解这种隐藏的形状，即使他们没有明确教过它。

船与水流的比喻：
想象 AI 是一艘试图从波涛汹涌的大海（随机噪声）航行到平静港口（逼真的电子表格）的船。

地图（流形）： 港口建立在一个特定的、弯曲的海岸线上。如果船试图直接驶向目的地而忽略了海岸线，它就会撞上岩石（创造出不真实的数据）。
指南针（模型）： AI 模型充当指南针的角色，它总是指向最近的海岸线上的点。
鱼叉（引导）： 这就是这项新发明。船不仅仅是直行，它还发射出一枚鱼叉，将它沿着海岸线拉动。它不会把船推离海岸，而是引导它沿着陆地的曲线移动。

3. HARPOON 如何工作

HARPOON 在生成过程的每一步都进行了一场巧妙的两步舞：

向前迈步： AI 进行正常的步骤以清理数据（去除噪声）。
切向修正： 紧接着，它会检查你给出的“规则”（例如，“年龄 > 18”）。它会计算一个微小的调整，使数据在真实数据的形状上进行侧向移动，而不是将其推离形状。

想象一下你在蜿蜒的山路上行走。

旧方法会尝试直线走向目的地，经常会掉下悬崖。
HARPOONE 会观察路径，向前迈出一步，然后如果你开始偏离，它会轻轻地把你推回小径，确保你既能留在安全的、真实的路径上，又能朝着你的目标前进。

4. 为什么这很特别

该论文声称取得了三个重大胜利：

它适用于“杂乱”数据： 不同于以往仅适用于平滑连续数据的理论，HARPOON 可以处理包含混合类型（数字和像“是/否”这样的类别）的电子表格，而无需为每种类型进行专门训练。
它具有灵活性： 你不需要为每一个新规则都重新训练 AI。你可以先教它一次，然后在最后阶段（推理阶段），你可以告诉它遵循任何规则——比如填补缺失数字，或者确保“薪水大于 5 万美元”——它都会即时进行调整。
它快速且准确： 作者在许多现实世界的数据集（如信用卡违约或购物习惯）上测试了该方法。HARPOON 填补缺失数据的效果优于其他顶尖方法，并且在遵循复杂规则（如“年龄必须在 18 到 65 岁之间且职业必须是‘工程师’”）方面比竞争对手表现得更好，且不会产生崩溃或虚假的结果。

总结

HARPOON 是一种引导 AI 生成逼真电子表格的新方法。它不是强迫 AI 事先学习所有可能的规则，而是利用真实数据的隐藏“形状”来温柔地引导 AI 朝着正确的答案行驶。这就像拥有一个 GPS，它不仅能告诉你去哪里，还能在道路变得多么曲折时，始终让你的车安全地行驶在路面上。

技术摘要：HARPOON —— 用于条件化表格扩散模型的广义流形引导

问题陈述

生成受特定条件（约束）限制的表格数据对于缺失值填补和“假设性”场景模拟等应用至关重要。虽然扩散模型已成为生成任务中的最先进技术（SOTA），但现有的条件化表格扩散方法面临显著局限性：

缺乏泛化能力： 训练阶段的策略（例如，在模型中引入特定约束进行条件化）在推理阶段无法泛化到未见的条件。
缺乏灵活性： 当前的方法难以处理多样化的推理时目标，特别是非线性约束，如特征不等式（例如， $Age \ge 10$ ）或复杂的逻辑组合。
理论空白： 最近关于扩散模型的几何方法（将数据视为位于低维流形上）局限于连续域、平坦几何以及特定的推理时损失（例如，平方误差）。这些方法未能考虑到表格数据的混合类型性质（离散与连续特征），也无法泛化到任意可微目标。

方法论：HARPOON

作者引入了 HARPOON，这是一种条件化表格扩散方法，它通过在流形几何上引导无条件样本，从而在无需重新训练的情况下满足多样化的条件。该方法建立在将流形理论扩展到表格数据空间的基础上。

理论基础

本文建立了两个关于在数据空间中运行的表格扩散的关键理论结果：

正交投影： 作者证明，使用标准平方误差损失训练的扩散模型，在噪声水平趋于零（ $\bar{\alpha}_t \to 1$ ）时，会隐式地学习到向底层数据流形（ $M_0$ ）的正交映射。即使在弯曲几何体下，这一结论依然成立，从而放宽了先前研究对平坦流形的假设。
切空间梯度： 他们证明了任何可微推理时损失函数（ $L_{inf}$ ）的梯度都存在于“脏”估计值（ $\hat{x}_0$ ）处的数据流形切空间内。这泛化了以往仅限于平方误差损失的研究结果。

该理论意味着，虽然去噪器充当着指向流形正交投影的指南针，但任意约束的梯度则作为锚点，在切向方向引导更新，使样本保持在有效的分布壳层内。

算法

HARPOON 交替执行无条件去噪步骤与切向梯度修正：

脏估计（Dirty Estimate）： 在每个步骤 $t$ ，模型通过反转前向加噪过程计算出一个“脏”估计值 $\hat{x}_0$ 。
切向梯度： 计算推理时损失的梯度（ $\nabla_{x_t} L_{inf}(\hat{x}_0, c)$ ）。基于理论证明，该梯度被约束在流形的切空间内。
交替更新： 样本经历一个标准的无条件去噪步骤，随后立即使用预计算的梯度进行切向更新。此过程重复进行直到收敛。

至关重要的是，推理时损失（ $L_{inf}$ ）可以不同于训练时的损失。对于表格数据，作者使用了具有稀疏诱导特性的损失函数，如平均绝对误差（MAE）和交叉熵（CE），这些损失函数比标准的 MSE 更适合处理表格数据的离散性质。

核心贡献

理论： 本文提供了将流形与表格扩散联系起来的首个理论结果，证明了扩散模型作为正交投影器，且来自任何可微推理时目标的梯度都存在于切空间内，即使是在弯曲几何和混合类型数据的情况下也是如此。
算法： 设计了 HARPOON，这是一种无需训练的引导机制，能够在推理阶段适应多样化的条件（填补、不等式、逻辑约束），而无需单独的重新训练或微调。
实证验证： 证明了流形感知引导在多种数据集和任务中显著提升了性能，特别是在处理拒绝采样或训练时条件化失效的不等式约束方面。

实验结果

作者在八个数据集（包括 Adult、Default 和 Shoppers 等 UCI 基准数据集）上评估了 HARPOON，涵盖两个主要任务：

1. 填补（Imputation）

性能： 在不同的缺失率（25%、50%、75%）下，HARPOON 取得了具有竞争力的或优于 SOTA 基准模型（DiffPuter, Remasker, GReaT, MIRACLE, GAIN）的均方误差（MSE）和准确率。
鲁棒性： 与依赖特定训练掩码且随高缺失率而退化的训练时方法（如 Remasker）不同，HARPOON 保持了鲁棒性。
损失敏感性： 消融研究表明，在推理时使用 MAE（或 MAE + CE）的表现优于使用训练时的 MSE 损失，验证了其理论主张，即流形几何允许在推理时灵活选择损失函数。

2. 不等式与逻辑约束

约束满足： 对于范围约束（例如 $Age \ge 50$ ）和类别约束，HARPOON 的违反率显著低于 DiffPuter 和 GReAET（后者将约束视为填补问题，违反率高达 74–96%）。
复杂逻辑： HARPOON 成功处理了约束的合取（AND）与析取（OR），在基准模型失败的情况下，仍能保持较低的违反率和高下游效用（通过 XGBoost 分类器性能衡量）。
保真度： 尽管强制执行了约束，HARPOON 仍保持了高样本保真度（通过 $\alpha$ -score 衡量）和效用，表明流形引导的更新并未将样本推离分布。

效率

由于增加了梯度计算步骤，HARPOON 的运行时间大约是无条件扩散基准（DiffPuter）的 2 倍。然而，它仍然比基于 LLM（GReT）或因果图（MIRACLE）的方法快得多，即使在大型数据集上也能在 5 秒内完成采样。

意义与主张

本文将 HARPOON 定位为连接理论流形引导与实际表格数据生成的桥梁。其主要意义在于 “保持训练简单，在推理时扩展规模” 的范式：

泛化性： 它消除了为每个新约束重新训练模型的需要，使得单个预训练模型能够适应未见的条件。
理论严谨性： 它将流形引导理论从连续、平坦域扩展到了复杂的、混合类型的表格数据几何领域。
实用价值： 它提供了一种强大的机制来强制执行硬约束（不等式、逻辑条件），这些约束在现实领域（如医疗、金融）中非常常见，但标准的生成模型很难在不破坏数据分布属性的情况下满足这些约束。

作者总结道，HARPOON 通过提供一种通用的、有理论依据的引导机制，为实现稳健、可适应且高效的现实世界表格建模解锁了实际益处。