📊 statistics

Semi-Supervised Conditional Diffusion via Label Augmentation

本文介绍了标签增强型条件扩散模型（LACD），该方法通过为无标签数据分配平凡标签来利用这些数据，从而在全变分距离上实现更快的收敛，并相比纯监督的条件扩散模型获得更优的生成性能。

原作者： Jin Su, Yuan Gao, Yong Zhou, Jian Huang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jin Su, Yuan Gao, Yong Zhou, Jian Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画猫、狗和鸟的画。在人工智能的世界里，这被称为“条件生成”（conditional generation）——即教机器根据你给出的标签来创造特定的事物。多年来，完成这项工作的最佳工具一直是“扩散模型”（diffusion models）。你可以把这些模型想象成一位大师雕塑家，他从一块充满噪声和静电感的大理石块开始，通过一点点凿去噪声，最终显现出一尊完美的雕像。为了学习如何雕刻特定的动物，雕塑家需要看到成千上万个关于该动物被雕刻出来的例子。但问题在于：获取这些带有标签的例子既昂贵又困难。你身边可能堆着一百万张动物的照片，但其中只有几百张贴着“猫”或“狗”的标签。其余的都只是些未标记的像素团。

这就是问题变得棘手的地方。如果你只给雕塑家看那几百张有标签的照片，他们可能会感到困惑，或者开始死记硬背现有的那几个例子，导致产生奇怪且重复的艺术品。但如果你能设法利用那数百万张未标记的照片，在教他们区分猫和狗的具体差异之前，先让他们理解“动物”的一般形态，那么结果会好得多。这篇论文探讨的正是一个挑战：如何利用海量的未标记数据来改进这些 AI 艺术家的训练过程，即使在有标签数据稀缺的情况下也是如此。

这篇论文的作者 Jin Su 及其同事提出了一种聪明的新方法，称为标签增强条件扩散（Label-Augmented Conditional Diffusion, LACD）。他们的核心创意是停止将未标记的数据视为“无用”之物，而是给它一个临时的、“平凡”的标签——我们暂且称之为“未知”（Unknown）。想象一下你有一个教室，里面有一些学生准确地知道“猫”长什么样，而还有一大群人虽然知道自己在看“一种动物”，但并不知道具体是什么物种。作者并没有忽略第二类人，而是告诉老师（AI 模型）将“未知”视为一个有效的类别。

奇迹是如何发生的呢？AI 通过观察那些有标签的学生来学习如何生成“猫”、“狗”和“鸟”的图像。与此同时，它通过研究那群巨大的“无标签学生”来学习通用的“动物”长什么样。因为 AI 被训练去理解“猫”、“狗”和“鸟”都是那种通用“动物”概念的变体，所以大量的未标记数据能帮助它更快、更准确地学习所有动物的共同特征（比如拥有毛发、耳朵或尾巴）。这种共同的理解构成了一个强大的基础，使得模型即使在有标签示例较少的情况下，也能更轻松地分辨出具体的动物。

论文并不只是凭直觉认为这行得通；他们用数学进行了证明，并用计算机进行了测试。他们展示了当拥有大量未标记数据时，这种新方法生成的图像在统计学上比仅使用有标签数据的旧方法更接近真实情况。在实验中，他们在从简单的计算机生成形状到真实的城市照片，甚至脑电波数据等各种任务上都进行了测试。

例如，在一个著名的图像数据集 CIFAR-10 上，他们发现如果他们只有 1,000 张有标签图像，那么加入 10,000 张未标记图像后，AI 生成的鸟和汽车的图像会看起来明显更加逼真且多样化。忽略未标记照片的旧方法产生的图像看起来有些模糊或重复；而使用“未知”标签技巧的新方法产生的图像则更清晰、更多样，几乎达到了使用全部 50,000 张带标签图像进行训练的效果。

作者还运行了合成数据的模拟实验，以观察其数学原理的具体运作方式。他们发现，随着未标记数据的增加，生成图像的误差稳步下降。在某些情况下，这种改进是受到其数学证明严格保证的，这意味着当存在未标记数据时，新方法在数学上被证明优于旧方法。他们甚至在用于癫痫检测的 EEG 脑电信号表格数据集上进行了测试，表明该方法不仅适用于漂亮的图片，也适用于复杂的表格数据。

然而，论文也谨慎地没有过度吹捧其结果。他们指出，虽然该方法是一个巨大的进步，但它并不能完全取代对有标签数据的需求；它只是让现有的有标签数据发挥更大的作用。他们还指出，目前的数学证明依赖于某些关于数据分布的假设，而现实世界的数据有时会比他们的模拟数据更加杂乱。但总的来说，信息很明确：通过将未标记数据视为一个“通用”类别，我们可以教 AI 模型在拥有更少昂贵标签的情况下成为更好的艺术家，从而将一堆未贴标签的数据转化为强大的学习工具。

技术摘要：通过标签增强实现半监督条件扩散模型

问题陈述

本文解决了在高维设置下估计条件分布 $P_{X|Y}$ 的挑战，即在标记数据 $(X, Y)$ 稀缺但未标记数据 $X$ 丰富的场景下。虽然条件扩散模型在监督学习设置中已实现了极小极大最优性（minimax optimality），但在配对数据有限时，它们会面临过拟合和性能下降的问题。现有的半监督学习（SSL）方法主要侧重于判别任务或估计边缘密度，在利用未标记协变量 $X$ 来改进生成模型中条件分布 $P_{X|Y}$ 的估计方面存在空白。

方法论：标签增强条件扩散 (LACD)

作者提出了标签增强条件扩散（Label-Augmented Conditional Diffusion, LACD），该框架通过一种特定的增强策略将未标记数据整合到条件扩散过程中。

1. 增强概率空间

其核心创新在于构建了一个增强的条件变量 $\tilde{Y} \in \mathcal{Y} \cup \{\emptyset\}$ ，其中 $\emptyset$ 代表未标记状态。

有标签数据： 被分配其真实的标签 $Y$ 。
未标记数据： 被分配一个“平凡”标签 $\emptyset$ 。
识别： 该增强空间的条件分布定义为：使得 $P_{X|\tilde{Y}=\emptyset} = P_X$ （即边缘分布），而对于 $y \in \mathcal{Y}$ ，则有 $P_{X|\tilde{Y}=y} = P_{X|Y=y}$ 。这使得模型能够从丰富的未标记数据中学习分布的共享基准组件，同时利用有标签对来识别特定于条件的变动。

2. 模型规范

该方法假设条件密度共享一个由函数 $h(\tilde{y})$ 参数化的共同基准结构：
$p_{X|\tilde{Y}=\tilde{y}}(x|\tilde{y}) = p(x; h(\tilde{y}))$
其中 $h(\tilde{y}) = b_0 + \Phi_0 e_y \cdot \mathbb{1}\{\tilde{y} = y \in \mathcal{Y}\}$ 。

$b_0$ 捕捉了共享组件（通过有标签和未标记数据共同学习）。
$\Phi_0 e_y$ 捕捉了特定于条件的偏差（主要从有标签数据中学习）。
这种形式涵盖了包括位置族（location families）、指数族（exponential families）和隐变量模型在内的多种族类。

3. 训练与推理

训练： 该模型采用基于分数（score-based）的扩散过程（基于 Ornstein-Uhlenbeck 过程）。分数网络 $s_\theta$ 通过在增强数据集上进行**去噪分数匹配（Denoising Score Matching, DSM）**来进行训练。经验损失是来自有标签样本（取决于 $b$ 和 $\Phi$ ）和未标记样本（仅取决于 $b$ ）的加权损失之和。
采样： 为了生成特定条件 $y$ 的样本，在以 $\tilde{y} = y$ 为条件的情况下模拟逆向扩散过程。

核心贡献

1. 理论保证

论文建立了 LACD 估计器在**全变差（Total Variation, TV）**和 Wasserstein-1 (W1) 距离下的有限样本收敛速率。

TV 距离的严格提升： 当存在未标记样本（ $N_u \gg N_\ell$ ）时，TV 距离的收敛速率严格快于纯监督估计器。
W1 距离的提升： 在 W1 距离下的收敛速率至少与监督对应物一样快。具体而言，当协变量维度 $d_x > 2$ 且未标记样本数量足够大时，LACD 的速率严格更快。
可识别性： 作者通过测度论构造提供了充分条件，保证了在该增强方案下目标条件分布在总体层面的可识别性。

2. 实证验证

研究在合成数据、图像和表格基准测试上进行了广泛实验：

合成数据： 在 2D 数据集（如多模态高斯分布、环形、螺旋线）上，增加未标记样本数（ $N_u$ ）能持续降低 TV、MMD 和 W1 距离，生成的样本能更好地恢复目标几何结构。
图像基准（CIFAR-10 & Intel Scenes）：
- 在 CIFAR-10 上，添加未标记数据显著改善了 Fréchet Inception Distance (FID)。例如，仅有 1,000 个有标签样本时，添加 10,000 个未标记样本使类别平均 FID 降低了约 48%，达到了仅使用 5,000 个有标签样本训练模型的性能水平。
- 视觉分析和 t-SNE 投影表明，未标记数据减少了对有标签样本的记忆，并改善了特征空间覆盖。
- 在 Intel Scenes 数据集上，不同场景类别也观察到了类似的改进。
表格数据（Bangalore EEG Epilepsy 数据集）： 在一个 16 维的 EEG 数据集上，增加未标记样本提高了特征维度和切片 W1 距离，以及边界遵循度和边缘分布对齐度（KS Complement），证明了该方法在非图像数据上的适用性。

重要性与主张

论文声称 LACD 为半监督条件生成提供了一个原则性且有效的解决方案。其主要意义在于：

理论证明： 这是第一项严格证明了在扩散模型中，未标记观测值可以严格改善 $P_{X|Y}$ 估计的工作，并提供了优于监督基准的收敛速率。
实际效率： 该方法展示了显著的样本效率增益，即使在有标签数据极其稀缺（例如仅占总数据的 1-10%）时，也能实现高质量的条件生成。
通用性： 该方法适用于多种数据类型（合成、图像、表格）和分布族，依赖于一种能够自然利用未标记数据中所含边缘信息的共享参数架构。

作者总结道，尽管该方法在经验和理论上都展现出强大的潜力，但未来的工作可以探索极小极大下界（minimax lower bounds）、内在维度自适应以及放宽标签完全随机缺失（MCAR）的假设。