🤖 machine learning

Stochastic Lifting for Generating Trajectories of Stochastic Physical Systems

本文介绍了随机提升法，该方法通过在状态转移中引入独立的高维随机标签来对平滑随机物理系统进行建模，从而学习到一个确定性映射，使其能够通过自回归推理生成多样且不坍缩的轨迹。

原作者： Jules Berman, Tobias Blickhan, Benjamin Peherstorfer

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jules Berman, Tobias Blickhan, Benjamin Peherstorfer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人预测混沌系统的未来，比如旋转的风暴、拍击海滩的巨浪，或者机械臂推动箱子的过程。问题在于，这些系统是随机的，意味着它们充满了随机性。如果你向机器人展示完全相同的起始点两次，由于微小且不可预测的因素（如一阵风或微观振动），每次的结果可能会有细微差别。

问题：机器人的“平均”陷阱

大多数标准 AI 模型试图通过观察过去的例子并寻找“最佳猜测”来学习。如果你向机器人展示一个球滚下山坡，有时向左滚，有时向右滚，标准模型会感到困惑。为了最小化误差，它只会预测平均值：一个球径直滚向中间。

但在现实中，球并不会径直滚向中间；它们要么向左滚，要么向右滚。通过预测平均值，机器人创造了一个模糊的、从未真正发生过的虚假现实。它“坍缩”成一个无聊的、平庸的预测，失去了所有令人兴奋、多样化的可能性。

其他方法（如复杂的扩散模型）可以生成多样化的结果，但它们速度很慢。为了预测仅仅一秒的未来，它们可能需要采取 40 个微小而缓慢的步骤，就像蜗牛缓慢爬行一样。

解决方案：随机提升（Stochastic Lifting）

作者提出了一种巧妙的技巧，称为随机提升。这就像是给机器人一张“秘密作弊条”，或者为它学到的每一个动作分配一个随机标签。

以下是其工作原理，使用一个简单的类比：

类比：舞蹈课
想象一位舞蹈教练试图教学生一套舞蹈动作。

问题：如果教练说“当音乐踩到这个节拍时，你们就跳”，但有时学生向左跳，有时向右跳，一个严格的机器人可能会告诉所有人“垂直向上跳”（即平均值）。
随机提升的修正：教练在音乐开始前给每个学生一张独特的随机彩色贴纸（一个“标签”）。
- 学生 A（红色贴纸）：“当音乐响起时，向左跳。”
- 学生 B（蓝色贴纸）：“当音乐响起时，向右跳。”
- 学生 C（绿色贴纸）：“当音乐响起时，向前跳。”

现在，教练不再问“平均跳跃是什么？”，而是在学习一条规则：“如果你有红色贴纸，就向左跳；如果你有蓝色贴纸，就向右跳。”

因为每个学生都有独特的贴纸，机器人可以为每一个具体结果学习一条清晰、流畅的规则，而不会感到困惑。它不再需要猜测平均值；它只需要知道哪个“贴纸”（随机标签）对应哪个动作。

实际运作方式

训练：AI 查看数据（例如海浪的视频）。对于每一个帧的转换（从时间 $t$ 到 $t+1$ ），它附加一个随机的、高维度的“标签”（就像一个唯一的 ID 代码）。然后它学习一个映射：“当前状态 + 这个特定标签 = 下一个状态。”
“提升”的魔力：通过添加这些额外的标签，AI 将问题提升到了更高的维度。这使得在数学上更容易画出一条平滑的线来连接所有的点，而不会让线条变得混乱或相互交叉。
推理（未来）：当 AI 想要预测未来时，它获取当前状态，选择一个全新的随机标签（一张新贴纸），并将其输入到映射中。
- 选择一个新的随机标签 $\rightarrow$ 得到一个合理的“向左”波浪。
- 选择一个不同的随机标签 $\rightarrow$ 得到一个合理的“向右”波浪。

为什么这很重要

速度：与那些需要 40 步才能预测一秒的“蜗牛”方法不同，这种方法只需一步即可完成。这就像打响指，而不是缓慢爬行。
多样性：它生成许多不同且逼真的可能性（轨迹），而不仅仅是一个模糊的平均值。
物理优先：作者在真实的物理系统上测试了这种方法（随机介质中的波浪、油流过多孔岩石，甚至机器人视频）。他们发现，对于这类特定问题，它比现有的最先进方法更准确、更快速。

局限性（注意事项）

论文非常清楚地说明了这种技巧在何处有效，在何处无效：

它需要“下一步”：这种方法依赖于“下一个状态”与“当前状态”密切相关的事实（就像波浪向前移动了一点点）。它非常适合预测视频的下一帧或风暴的下一秒。
它不适用于“无中生有”：你不能用它从纯噪声中生成图像（比如从静电噪点中创造出一只猫的图片）。因为没有一个“当前状态”作为基础，该方法所依赖的平滑连接就会崩溃。

简而言之，随机提升是一种通过为每个可能的结果提供一个独特的“钥匙”来教导 AI 拥抱随机性的方法，使其能够在单一、闪电般的步骤中预测多样化的未来。

技术摘要：用于生成随机物理系统轨迹的随机提升

1. 问题表述

本文解决了从随机物理系统中生成多样化且合理的轨迹的挑战。在许多计算物理问题中，系统状态 $X_t$ 根据条件转移律 $X_{t+1} \sim \rho(\cdot | X_t = x_t)$ 演化。目标并非点预测（估计平均下一状态），而是从该条件分布中进行采样，以生成完整的轨迹集合。

标准的回归方法在此失效，因为使用均方误差（MSE）拟合映射 $f: x_t \to x_{t+1}$ 会将解坍缩为条件期望 $E[X_{t+1} | X_t = x_t]$ ，从而抑制随机过程的内在变异性。相反，通用生成模型（如扩散模型或基于流的模型）虽然可以表示分布，但通常在推理时需要多步采样。使用 $s$ 步采样器生成长度为 $T$ 的轨迹需要 $T \times s$ 次神经网络评估，计算成本高昂。虽然近期出现了“单步”采样器，但它们往往难以应对训练稳定性问题，或是专为静态生成（从噪声到图像）设计，而非针对轨迹数据中存在的时变规律。

2. 方法论：随机提升

作者提出了随机提升（Stochastic Lifting），该方法利用了物理系统的平滑性前提：对于足够小的时间步长，转移律随状态规律性地变化，且下一状态可视为当前状态的微小扰动。

核心机制

随机标记：训练数据对 $(x_t, x_{t+1})$ 被增强，附加一个独立抽取的高维辅助随机标签 $\xi_t \in \mathbb{R}^d$ （通常从标准正态分布 $\mathcal{N}(0, I_d)$ 中采样）。这构建了一个增强数据集 $D_\xi = \{(x_t, x_{t+1}, \xi_t)\}$ 。
提升映射：该方法学习的不是映射 $f: x_t \to x_{t+1}$ $f : x_{t} \to x_{t + 1}$ ，而是映射 $F: (x_t, \xi_t) \to x_{t+1}$ $F : (x_{t}, ξ_{t}) \to x_{t + 1}$ 。
- 标签 $\xi_t$ 充当辅助坐标，用于参数化随机性。
- 通过为每个实现的转移分配唯一的随机标签，映射 $F$ 可以在不坍缩到均值的情况下，对相似当前状态的多个可能下一状态进行插值。
训练：映射 $F_\theta$ （由神经网络参数化）在标记数据对上使用标准经验回归损失（如 $L_2$ 或 LPIPS）进行训练：
$\mathcal{L}(\theta) = \frac{1}{MT} \sum_{i,t} \| F_\theta(x_t^i, \xi_t^i) - x_{t+1}^i \|_2^2$
推理：为了生成轨迹，模型从初始状态 $x_0$ 开始。在每个时间步 $t$ ，从标签分布 $\nu$ 中采样一个新的标签 $\xi_t$ ，并通过单次网络评估计算下一状态： $x_{t+1} = F_\theta(x_t, \xi_t)$ 。该过程以自回归方式展开。

理论基础

本文基于两个关键见解提供了有限样本理论分析：

平滑性与 Lipschitz 正则性：如果学习到的映射 $F$ 是平滑的（具有较低的 Lipschitz 常数）且对训练数据进行插值，则生成的样本在 Wasserstein-2 度量下接近真实条件分布。
标签维度的作用：高维标签（ $d$ ）增加了提升空间中训练点的可分性。理论上，增加 $d$ 会降低任何数据插值器所需的最小 Lipschitz 常数。这使得网络能够在拟合数据（插值）的同时保持对新鲜标签泛化所需的平滑性。
有限样本机制：该方法明确针对有限样本机制设计。在无限数据极限下（ $M \to \infty$ ），标签与状态变得独立，最小化器将坍缩为条件期望。然而，在有限数据和高维标签的情况下，网络可以实现零训练误差（插值）同时保持平滑，从而避免坍缩。

3. 主要贡献

引入随机提升：一种新颖的框架，通过为状态转移分配随机标签来学习单步生成器。这使得每个时间步仅需一次网络评估即可生成轨迹。
有限样本理论：作者推导了 Wasserstein 界，证明了插值结合 Lipschitz 正则性可以控制采样误差。他们表明，更高维度的标签改善了有限样本几何结构，使得低 Lipschitz 插值成为可能。
实证最先进水平：该方法在随机时变物理系统和视频生成任务上被证明优于现有方法。

4. 实验结果

本文在三个领域评估了随机提升：

A. 随机物理系统

Duffing 振子：一个简单的随机微分方程（SDE）示例，用于验证平滑性前提。打乱训练对（破坏 $x_t \to x_{t+1}$ 的耦合）导致性能下降，证实该方法依赖于平滑的转移结构。增加标签维度降低了训练损失和梯度范数，证实了其促进了平滑性。
随机介质中的行波：具有随机波速的二维波动方程。初始条件是确定性的，但介质引入了随机性。
多孔介质中的两相流：具有随机渗透率的不可压缩流问题。
比较：在这两个物理问题中，随机提升（1 步）的精度达到或超过了需要 40 个扩散步长的自回归扩散模型（ARDM）。它准确捕捉了非高斯分布（例如穿越时间的重尾分布），而 ARDM 即使经过许多步也无法做到。

B. 视频生成

BAIR 机器人推物：视频预测的标准基准。随机提升在所有单步方法中取得了最低的 Fréchet 视频距离（FVD），并且与使用显著更多计算资源的单步扩散模型具有竞争力。
CLEVRER：用于推理碰撞的合成数据集。该模型在 16 帧视频上进行训练，但成功展开至 500 帧，生成了训练数据中未见的稳定交互和物体累积。

5. 意义与局限性

意义：
本文认为，随机提升为轨迹数据提供了一种计算高效的替代方案，可取代多步生成模型。通过利用时变系统的结构规律性（其中 $x_{t+1}$ 是 $x_t$ 的微小扰动），它实现了每个时间步仅需 $O(1)$ 次网络评估的高质量采样。理论框架提供了可操作的指导：增加标签维度是改善学习到的映射的平滑性和可分性的实用杠杆。

局限性（作者所述）：

耦合要求：该方法严重依赖于当前状态与下一状态之间的强耦合。对于无条件生成（例如从纯噪声生成图像）等缺乏转移结构的情况，该方法会失效。
标签维度与数据：虽然高维度保证了线性插值器的存在，但它们可能需要成比例更多的数据来进行准确训练。
有限样本焦点：理论适用于有限样本机制和时间边缘分布。随机提升的有意义的总体极限仍然是一个未决问题。
流形假设：生成样本的质量依赖于网络学习到一个有意义的嵌入，使得新标签映射到数据流形上；在何种条件下这会失效尚未完全表征。