🤖 machine learning

Data-to-Energy Stochastic Dynamics

本文引入了一种新颖的数据-能量迭代比例拟合算法，该算法使得在无需获取数据样本的情况下，仅利用未归一化的密度函数即可实现对薛定谔桥（Schrödinger bridges）的建模，同时通过学习扩散系数以及在潜空间图像到图像转换中的应用，展示了对现有数据驱动方法的性能提升。

原作者： Kirill Tamogashev, Nikolay Malkin

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kirill Tamogashev, Nikolay Malkin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：没有地图的人群移动

想象一下，你有一个挤满了人的房间（我们称之为分布 A）。你想以最有效的方式将所有人移动到另一个房间（分布 B）。

在计算机科学领域，这被称为最优传输（Optimal Transport）。通常，为了计算出最佳路径，你需要一份关于 A 房间和 B 房间中每一个人的详细清单。你需要看到“样本”（即真实的人）才能规划移动方案。

然而，如果你没有 B 房间的人员名单呢？如果你只有一个关于 B 房间长什么样的规则或描述呢？例如，你可能有一块告示牌写着：“B 房间靠近窗户的地方非常拥挤，中间则很空旷”，但你并没有一张里面住着哪些人的照片。

这篇论文解决了一个问题：我们需要将人们从一个已知的房间（拥有人员名单）移动到一个神秘的房间（我们只有规则/描述，但没有人员名单）。

核心问题：“薛定谔桥”（Schrödinger Bridge）

作者们正在研究一种被称为薛定谔桥的东西。你可以把它想象成一艘“穿越时空的渡轮”。

目标： 创建一段平滑且随机的旅程，让人们从 A 房间出发，最终完美地排列在 B 房间中。
难点： 这段旅程不应该过于混乱（即不能有太多的“噪声”或随机性），但它需要足够的随机性来保持灵活性。
旧方法： 以前的方法要求你在两个房间里都必须有照片（即看到两边的人），才能教会渡轮如何运送他们。如果你没有 B 房间的照片，渡轮就无法学习路线。

新的解决方案：“数据到能量”（Data-to-Energy）

作者发明了一种名为**数据到能量随机动力学（Data-to-Energy Stochastic Dynamics）**的新方法。

“数据” 是你拥有人员名单的房间（房间 A）。
“能量” 是目的地的规则或描述（房间 B）。在物理学和数学中，“能量”是描述某事发生可能性的方式。低能量 = 非常可能（拥挤）；高能量 = 不太可能（空旷）。

类比：盲人徒步者
想象你是一名徒步旅行者（算法），试图从一个已知的起点（数据）前往一个隐藏的山谷（能量）。

旧方法： 你需要山谷的地图以及一张已经在那里的人的照片，才能学习路径。
新方法： 你没有山谷的照片。你只有一个指南针，它指向“低能量”方向（即最拥挤、最理想的地方）。作者教会了徒步者使用一种特殊的技巧，叫做离策强化学习（Off-Policy Reinforcement Learning）。

它是如何工作的（“经验回放池”）：

徒步者做一个尝试，走过一段路径。
即使猜测错了，徒步者也会记住这段路径的终点。
徒步者使用一个“经验回放池”（Replay Buffer，即一个心理笔记本）来观察这些终点位置。
如果终点感觉是“高能量”（糟糕的），徒步者就会调整路径。如果感觉是“低能量”（良好的），徒步者就会保留该路径。
随着时间的推移，即使从未见过山谷居民的照片，徒步者也能学会从已知起点到隐藏山谷的最佳路径。

三个关键发现

论文强调了他们发现的三件事：

1. 无需照片即可工作
他们证明了他们的新方法可以成功地将数据从一个已知的分布移动到一个未知的分布（仅由规则/能量定义）。其表现与那些确实拥有目的地照片的方法一样出色。这就像是在蒙着眼睛导航迷宫，但手里拿着一个非常聪明的指南针。

2. 学习旅程的“速度”
大多数之前的方法都假设“渡轮”（移动过程）是以固定的、恒定的速度移动的。作者意识到，通过在学习方向的同时也学习速度（扩散系数），渡轮可以移动得更加高效。

类比： 想象你正从纽约开车前往伦敦。旧方法说：“全程保持每小时 60 英里的速度。”而新方法说：“在高速公路上开快点，在堵车时慢下来，在开阔路段加速。”这使得旅程更加平滑且准确。

3. 无需新照片的图像翻译
他们将此应用于图像到图像的转换（Image-to-Image Translation）。

场景： 你有一个生成器可以制作随机图片（比如一只狗）。你想改变它，使其变成特定类型的狗（比如贵宾犬），但你并没有用于训练的贵宾犬数据集。
结果： 他们使用这种方法，通过一座“桥”将随机图像“拉”向贵宾犬的形态。
酷炫之处： 生成的图像保留了原始图像的风格（如背景或光影），但将内容改变成了符合新规则的样子。这就像是将一张猫的照片变成狗，同时保持完全相同的背景和光影，而且不需要先给计算机看任何狗的照片。

总结

这篇论文介绍了一种教计算机如何将数据从一个它们非常熟悉的场所，移动到一个它们仅通过“能量规则”进行描述的场所的方法，而无需看到目的地的实例。他们通过以下方式实现了这一点：

使用一个聪明的“笔记本”（经验回放池）从过去的尝试中学习。
教会系统不仅要学习方向，还要调整自己的速度。
成功地利用这一点进行图像转换（例如将随机噪声转化为特定物体），而无需需要目标物体的训练数据集。

作者称之为数据到能量（Data-to-Energy），它为解决“已知起点和目的地规则，但不知道目的地居民名单”的问题打开了大门。

技术摘要：数据到能量的随机动力学

问题陈述

薛定谔桥（Schrödinger bridge, SB）问题旨在寻找一个随机动力系统，在两个边缘分布 $p_0$ 和 $p_1$ 之间建立联系，同时相对于参考过程（通常是 Itô 随机微分方程）最小化传输代价。该问题将最优传输推广到了随机设置中，并为扩散模型和流匹配等现代生成建模技术提供了理论基础。

现有的求解 SB 问题的算法，特别是基于迭代比例拟合（Iterative Proportional Fitting, IPF）的过程，通常需要能够访问来自两个边缘分布的样本。这一限制阻碍了 SB 方法在以下场景中的应用：即其中一个或两个分布仅由未归一化的密度（能量函数） $p(x) = e^{-E(x)}/Z$ 定义，且配分函数 $Z$ 未知，也无法直接获取样本。这一差距在生成模型潜在空间（latent spaces）的贝叶斯后验推断等应用中至关重要，因为在这种情况下，后验分布通常仅通过奖励或似然函数已知其归一化常数之前的形式。

方法论

本文提出了一种 数据到能量（以及能量到能量）的 IPF 方法，这是一种在分布由未归一化密度给出时对薛定谔桥进行建模的通用方法。该方法通过整合离策（off-policy）强化学习和扩散采样技术，扩展了标准的 IPF 算法。

1. 广义 IPF 框架

标准 IPF 算法通过求解半桥问题来迭代更新前向和反向时间过程（ $\overrightarrow{P}_t$ 和 $\overleftarrow{P}_t$ ）。

反向步骤（数据到数据）： 当可以使用来自 $p_0$ 的样本时，反向过程通过极大似然法进行训练（标准 IPF 步骤）。
前向步骤（数据到能量）： 当 $p_1$ 由未归一化密度 $e^{-E_1(x)}$ 定义时，前向过程无法通过标准似然法进行训练。因此，作者引入了一个对数方差损失（条件 VarGrad）。该损失最小化了在前向轨迹概率与由反向轨迹概率加权的目标密度之间的对数比值的方差：
$\text{LLV}(x_0, \theta) = \text{Var} \left( \log \frac{\overrightarrow{p}_\theta(\tau | x_0)}{p_1(x_1) \overleftarrow{p}_\phi(\tau | x_1)} \right)$
该目标函数在不需要 $p_1$ 样本的情况下，强制实现了 SB 解所要求的比例关系。

2. 离策强化学习策略

为了解决在复杂、高维未归一化密度中采样时，在策（on-policy）训练无法探索所有模态的挑战，作者采用了离策技术：

经验回放池（Replay Buffer）： 缓冲池存储来自前向过程的最终样本 $x_1$ 。在训练期间，通过从缓冲池中采样 $x_1$ 并运行反向轨迹来生成 $x_0$ 。这使得探索能够集中在高密度区域。
Langevin 更新： 使用针对目标密度 $p_1$ 的未调整 Langevin 动力学定期更新缓冲池，以修正不完美的拟合。
轨迹重用： 算法重用反向轨迹来形成共享初始点 $x_0$ 的轨迹批次，从而提高方差损失估计的效率。
混合（Mixing）： 训练策略将在策样本与来自缓冲池的离策样本进行混合，以平衡探索与利用。

3. 可学习的扩散系数

第二个方法论贡献涉及将 IPF 算法推广到不仅学习漂移函数，还学习动力学扩散系数（ $\sigma_t$ ）。通过将离散化 Euler-Maruyama 步骤中的固定方差替换为可学习函数，该方法旨在纠正时间离散化误差，这一概念受到了近期扩散采样器研究工作的启发。

核心贡献

首个通用数据到能量 SB 方法： 本文引入了第一个能够在其中一个或两个分布仅由未归一化密度提供（且无法获取样本）的情况下，推断薛定谔桥的算法。它成功学习了在合成数据集与密度之间的低传输代价薛定谔桥，其表现与使用真实样本的“数据到数据”IPF 相当。
可学习扩散系数： 作者证明，除了学习漂移项外，通过学习扩散系数可以显著改进现有的“数据到数据”IPF 算法。这将其对扩散采样器的发现推广到了更广泛的 SB 设置中，表明可学习的方差允许更准确的建模，特别是在时间离散化步数较少的情况下。
外包后验采样： 该方法被应用于生成模型（如 GAN、VAE）潜在空间中的后验分布采样问题。通过在先验潜在分布与经奖励加权的后验分布之间建模桥接，作者创建了一种无需数据的图像到图像转换方法。与标准的扩散采样器不同，该方法能够保留不受目标条件约束的语义内容（风格、背景）。

实验结果

所提方法的有效性在多个基准测试中得到了验证：

合成 2D 基准测试： 在高斯到高斯混合模型（GMM）和“双月形”（Two Moons）分布的任务中，数据到能量 IPF 的表现与数据到数据 IPF 相当。加入可学习方差显著降低了 Wasserstein-2 距离和路径 KL 散度，尤其是在离散化步数较少时。
能量到能量桥接： 初步结果显示，该算法可以成功地在仅由能量函数定义且无法获取样本的两个分布之间建立桥接。
图像转换（MNIST & CIFAR-10）： 在使用 SN-GAN 和 StyleGAN 的潜在空间实验中，该方法将先验样本转换为目标类别后验（例如生成“狗”或“五”）。
- 指标： 在多个类别中，该方法的 FID 分数低于拒绝采样和 Langevin 动力学。
- 定性分析： 目测确认该桥接在将内容转换为目标类别时，能够保留风格特征（如数字的粗细、背景方向），这表明其有效地保留了不受约束的语义信息。
消融实验： 实验证实，经验回放池、Langevin 更新和轨迹重用显著改善了路径 KL 指标。重用反向轨迹虽然能改善路径 KL，但可能会对平均对数奖励产生负面影响，这表明在模态覆盖度与传输代价之间存在权衡。

重要性与主张

本文声称提供了一个通用的数据到能量薛定谔桥框架，填补了以往 SB 方法受限于必须同时拥有两个边缘分布样本情况下的文献空白。

作者认为，这项工作是实现可扩展的、无需数据的生成建模和后验推断的重要一步。通过利用离策强化学习技术，该方法使得在仅有能量函数的高维潜在空间中学习最优传输动力学成为可能。学习扩散系数的能力进一步增强了这些动力学在应对离散化误差时的鲁棒性。

作者谦虚地指出，尽管该方法可以扩展到高维图像生成任务，但未来仍需解决模态崩塌问题并进一步提高模态覆盖度。他们还确定了潜在的未来方向，包括文本条件图像奖励微调和离散薛定谔桥问题，但并未声称在这些尚未探索的领域取得了即时成功。