🤖 machine learning

The Diffusion Encoder

本文介绍了扩散编码器，这是一种新颖的架构，它用扩散模型取代了传统的变分自编码器编码器，并采用受期望最大化启发的交替训练方案，以解决冲突的更新方向并实现编码器与解码器之间可靠的同步。

原作者： Akhil Premkumar, Sarah Lucioni

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Akhil Premkumar, Sarah Lucioni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试构建一台机器，它能够观察一幅复杂的图像，将其压缩成一个微小高效的“摘要代码”，然后利用该代码完美地重建原始图像。在人工智能领域，这台机器被称为自编码器（Autoencoder）。

其中，“压缩器”部分称为编码器（Encoder），而“重建器”部分称为解码器（Decoder）。

多年来，编码器的行业标准一直是一种非常简单、僵化的工具：高斯分布。这就像试图将一个复杂、弯曲的形状塞进一个完美的圆球里。虽然它易于操作，但往往迫使机器为了迎合圆球的形状而忽略重要细节。

本文提出了一个大胆的问题：**如果我们在编码器中使用一种更灵活、更强大的工具会怎样？具体来说，如果我们使用扩散模型（Diffusion Model）**会如何？

问题：两人朝相反方向拉扯

扩散模型就像大师级雕塑家。它们从一块噪声开始，逐步、一步步地雕琢，最终揭示出一尊完美的雕像。它们具有极强的表现力，能够捕捉到简单“圆球”无法呈现的复杂细节。

然而，这里有一个陷阱。在传统设置中，编码器和解码器是联合训练的，它们不断调整各自的参数，以就“摘要代码”应呈现的形态达成一致。

解码器希望代码非常具体，以便它能完美重建图像。
编码器（如果是扩散模型）则通过一个漫长而复杂的过程来构建代码。

如果你试图像训练标准团队那样将它们联合训练，它们就会陷入混乱。它们开始朝相反的方向拉扯。解码器改变了对所需内容的看法，而需要长时间“思考”的编码器则跟不上节奏。它们失去同步，导致系统崩溃。

解决方案：“交替共舞”

作者提出了一种巧妙的新型训练方法，灵感来源于一种经典算法——期望最大化（Expectation-Maximization, EM）。他们不是强迫编码器和解码器立即达成一致，而是教导它们像舞伴一样轮流领舞与跟随。

以下是他们发明的逐步过程：

解码器领舞（M 步）： 首先，解码器查看当前的“摘要代码”，并说：“嘿，如果我要完美重建这张图像，代码必须完全像这样。”它创造了一个目标景观。
编码器跟随（E 步）： 作者不使用编码器直接猜测代码，而是采用“朗之万链（Langevin chain）”。想象这就像一名徒步者在探索山脉。徒步者从随机位置（当前代码）出发，沿着引导的小步向最高峰（解码器想要的完美代码）进发。
- 关键在于，编码器无需承担“正则化”（保持简洁）的重任。内置的数学“漂移”机制处理了这一点，防止徒步者偏离地图。
更新： 一旦徒步者找到顶峰（即此刻的完美代码），编码器便从该顶峰中学习。它更新内部规则，以便下次知道如何生成该特定形状。
重复： 它们交换角色。解码器根据新代码进行更新，随后编码器再次更新。

为何这很重要

通过这种“轮流”方法，作者解决了同步问题。

灵活性： 编码器不再被迫成为一个简单的圆球。它可以是一个复杂的、弯曲的形状，能够捕捉图像的真实本质。
稳定性： 由于编码器是在解码器刚刚创建（并经数学平滑处理）的“目标”上进行训练的，它们不会相互对抗。它们步调一致地演进。
简洁性： 编码器仍然可以使用扩散模型著名的、易于训练的“去噪”目标函数。

结果

作者在手写数字（MNIST）和小尺寸照片（CIFAR-10）等图像上测试了该方法。

他们发现，新的“扩散编码器”运行稳定，并产生了清晰的重建图像。
有趣的是，虽然传统的“圆球”编码器（VAE）在原始压缩效率方面仍略胜一筹，但扩散编码器已非常接近。
最重要的发现是概念验证：他们证明了可以在不导致系统崩溃的情况下使用复杂的扩散模型作为编码器，这为未来研究更强大、更灵活的 AI 模型打开了大门。

一句话总结

本文介绍了一种训练 AI 编码器的新方法。与其强迫一个复杂、强大的工具（扩散模型）以僵化的传统方式工作，不如创建一种训练流程，让编码器和解码器轮流相互调整。这使得编码器能够具有更强的表现力和准确性，同时保持训练过程的稳定可控。这就像教导一个复杂的乐团演奏和谐，不是强迫每个人演奏同一个音符，而是让他们倾听并逐个声部地调整以配合指挥。

技术摘要：扩散编码器

问题陈述

本文探讨了在自编码器框架内利用扩散模型作为编码器所面临的挑战。在传统的变分自编码器（VAE）中，编码器通常是一个具有对角协方差的简单高斯分布。虽然这一选择使得通过重参数化技巧进行联合训练成为可能，但也带来了显著的限制：

表达能力有限：最优编码器（即真实后验）通常是非高斯的，这意味着所选的分布族可能不包含最优解。
摊销差距（Amortization Gap）：所有输入共享编码器参数，导致模型无法针对特定数据点优化潜在表示，从而造成对后验的次优近似。
协同适应（Co-adaptation）：解码器可能会适应刚性编码器族的局限性，而不是推动编码器向更好的后验近似发展，最终抑制重建保真度。

扩散模型具有高度的表达能力，并能通过迭代生成过程对复杂的相关性进行建模。然而，它们通常是为固定的目标分布而设计的。在自编码器中，随着编码器和解码器协商最优表示，潜在分布必须在训练过程中不断演变。由于潜在变量对网络参数的复杂函数依赖关系，直接将重参数化技巧应用于扩散模型在计算上既昂贵又不稳定。此外，独立更新编码器和解码器会产生同步问题，导致两者可能朝相反方向漂移。

方法论

作者提出了一种框架，利用扩散模型作为随机编码器，并通过受期望最大化（EM）算法启发的交替优化方案进行训练。

1. 随机编码器公式

编码器被建模为一个随机过程，而非直接映射。作者构建了一个由随机微分方程（SDE）支配的潜在变量链 $\{z_0, \dots, z_n\}$ 。目标是学习一个分布 $q_\theta(z_T|x)$ 来近似最优后验。

2. 交替训练方案（算法 1）

为了解决同步问题和移动目标问题，作者将编码器和解码器的更新解耦：

E 步（平衡至后验）：
- 固定解码器 $p_\psi(x|z)$ 。
- 最优后验定义为 $q^*(z|x) \propto p(z) \exp(\frac{1}{\gamma} \log p_\psi(x|z))$ 。
- 该后验是特定 SDE（朗之万动力学过程）的平衡分布。
- 该方法不通过整个生成链进行反向传播，而是通过从当前编码器的输出开始运行一个短朗之万链来生成样本 $z^*$ 。该链在梯度 $\nabla_z \log p_\psi(x|z)$ 的引导下探索解码器景观，并通过一个仿射漂移项将样本正则化至先验分布。
- 这一步有效地更新了编码器的“目标”，确保潜在样本与当前解码器状态一致。
M 步（解码器更新）：
- 固定编码器。
- 更新解码器 $p_\psi(x|z)$ ，以使用 E 步中生成的样本 $z^*$ 最小化重建损失。

3. 扩散编码器训练

编码器本身是一个扩散模型，旨在匹配 E 步中生成的样本 $z^*$ 的分布。

目标：编码器使用标准的去噪目标进行训练（最小化路径测度之间的 KL 散度），这等价于最小化加权去噪分数匹配损失。
架构：编码器架构使用注意力机制以时间依赖的方式查询输入 $x$ ，随着去噪过程的演进，逐步将来自 $x$ 的信息注入潜在变量 $z_t$ 。
正则化：正则化压力从编码器转移到了 E 步中的朗之万漂移项。这使得编码器能够保持“被动”角色，使用稳定、标准的目标进行训练，而朗之万动力学则负责与解码器的对齐。

主要贡献

作为编码器的扩散模型：本文证明了扩散模型可以成功充当编码器，为高斯编码器提供了一种更具表达力的替代方案。
交替训练算法：主要贡献是算法 1，这是一种稳定的训练例程，在以下步骤之间交替进行：
- 通过短朗之万链生成后验样本（E 步）。
- 更新解码器（M 步）。
- 使用标准去噪目标更新扩散编码器以匹配这些样本。
同步机制：通过使用朗之万链将潜在变量平衡至当前解码器景观，该方法抑制了编码器和解码器在独立更新过程中失去对齐的倾向。
信息论联系：该框架利用“神经熵”概念来界定率失真权衡中的速率（互信息）上界，为扩散编码器的容量提供了理论基础。

结果

作者在 MNIST、CIFAR-10、TinyImageNet 和 CelebA-HQ 数据集上评估了所提出的扩散自编码器（dAE）。

稳定性：观察到训练过程稳定且平滑，损失曲线与类 EM 方案一致。作者报告称，即使在不同的超参数范围内，也未出现显著的训练不稳定或后验坍塌。
重建：模型生成了连贯的重建结果（见图 5-8）。
率失真性能：当绘制在率失真（RD）曲线上时，dAE 的表现接近标准 VAE 的前沿，但并未超越它。尽管 VAE 使用更简单的高斯编码器，但在给定速率下实现了更低的重建误差。
分析：作者推测，dAE 性能略低的原因可能在于神经熵仅是速率的上界，以及从样本建模后验时可能存在的误差。他们还指出，在一个玩具模型中，扩散编码器捕捉到了真实后验的对称性，但仍产生了近乎高斯的近似，这表明高斯编码器可能存在某种普遍性，值得进一步研究。

意义与主张

本文谦逊地将其贡献定位为高斯编码器的替代方案并非最先进（SOTA），而是扩散模型新应用的可行性证明。

动机：这项工作旨在激发在自编码器背景下利用扩散模型的表示能力和训练简便性。
鲁棒性：由于通过朗之万动力学明确地容纳了编码器的滞后，所提出的方案表现出对后验坍塌（VAE 中常见的失效模式）的抵抗力。
未来工作：作者承认了局限性，特别是朗之万链的序列开销，并建议自适应步长或临界阻尼动力学可以提高效率。他们将此框架视为进一步研究基于扩散的编码器及其在最大熵强化学习中应用的肥沃土壤。