📊 statistics

Optimal and Diffusion Transports in Machine Learning

本综述探讨了机器学习中的扩散方法与最优传输之间的数学联系，阐明了二者在建模随时间演化的概率分布时所共有的拉格朗日框架如何统一了从生成式人工智能采样和神经网络优化到大语言模型动力学分析等一系列应用。

原作者： Gabriel Peyré

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Peyré

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一大堆沙子从一种形状移动到另一种形状。也许你想把一座山形状的沙堆变成一座城堡形状的沙堆。在机器学习的世界里，这堆“沙子”不仅仅是泥土；它是数据、计算机大脑中的权重，甚至是句子中的单词（标记）。

这篇由 Gabriel Peyré 撰写的论文，充当了一张地图，帮助我们理解这些数据堆如何随时间移动和变化。它主张，我们不应将数据视为静态的图片，而应将其视为一条流动的河流。论文聚焦于引导这条河流的两种主要方式：扩散（就像让墨水在水中散开）和最优传输（就像寻找最高效的卡车路线来搬运家具）。

以下是使用简单类比对论文核心思想的分解：

1. 观察河流流动的两种方式

论文解释说，我们可以用两种不同的方式来观察我们的数据河流：

欧拉视角（卫星）： 你站在桥上，看着水流过你身边。你看到的是特定位置的水流密度。这有助于观察数据集中的“大局”。
拉格朗日视角（木筏）： 你跳上一只木筏，随水漂流。你追踪单个粒子（或数据点）的移动。这更适合理解特定数据点如何从 A 点移动到 B 点。

论文的主要技巧在于在这两种视角之间切换。它提出，如果我们能找出推动木筏的“风”（向量场），我们就能控制整条河流。

2. 两种主要方法

方法 A：扩散与流匹配（“搅拌机”方法）

这是现代生成式人工智能（生成图像、音乐和文本的 AI）背后的引擎。

类比： 想象你有一杯清水（简单数据）和一杯浑水（复杂数据）。
- 扩散就像慢慢向清水中加泥，直到它变成均匀的棕色汤。然后，你尝试逆转这个过程：慢慢过滤掉泥沙，直到再次得到清水。
- 流匹配是更聪明的版本。它不是猜测反向路径，而是在一滴清水和一滴浑水之间画一条直线。它计算出将清水滴推成浑水滴所需的精确速度和方向。
局限： 这种方法非常流行且效果出色，但它所采取的路径并不总是最高效的。这就像走蜿蜒的观光路线，而不是笔直的高速公路。论文指出，虽然它行之有效，但我们仍未完全理解这些蜿蜒路径的几何结构。

方法 B：最优传输（“搬家公司”方法）

这种方法根植于 18 世纪的数学。

类比： 想象你是一家搬家公司。你有一个房间里的箱子堆（数据），需要把它们搬到另一个房间。你希望用最少的能量完成搬运。
规则： 你不是随意混合箱子，而是为每个箱子找到完美的配对。旧房间里的 A 箱去往新房间里的 A 点。这为每个粒子创建了一条“直线”路径。
优势： 这是转换数据最高效、距离最短的方式。论文表明，这种方法提供了一种非常严格、几何化的结构，帮助我们理解如何在不浪费能量的情况下移动数据。

3. 这在机器学习中的应用领域

论文表明，这种“河流流动”的概念解释了人工智能中的三件事：

创造新事物（生成模型）： 如上所述，这就是 AI 如何绘画或写歌。它学习“流动”，将随机噪声转化为杰作。
训练神经网络（“大脑”学习）： 想象神经网络是一群试图解决谜题的人（神经元）。
- 论文提出，随着网络的学习，人群像流体一样一起移动。
- 如果网络是“浅层”的（不太深），我们可以从数学上证明，这种流体流动最终会找到最佳解决方案（全局最小值）。这就像球滚下山坡直到到达底部。
- 然而，对于非常深的网络，数学变得混乱，我们尚不确定“球”是否总能找到底部，还是会卡住。
Transformer（“语言”模型）： Transformer（如驱动聊天机器人的那些）将单词（标记）作为一组进行处理。
- 论文将 Transformer 的层建模为连续流。当一个词穿过第 1 层，然后是第 2 层，接着是第 3 层时，它会发生变化。
- 这被建模为“弗拉索夫方程”（一种描述相互作用的粒子的物理方程）。单词彼此相互作用（就像音乐会上的观众），以决定下一个词应该是什么。
- 论文表明，如果你有足够多的单词，它们的分布遵循可预测的数学曲线，几乎就像盒子里的气体分子。

4. 大局：还有什么缺失？

论文以几个未解决的问题作为结尾：

效率与现实： 最优传输为我们提供了数学上完美、最短的路径，但扩散模型（目前更流行）采取的是一条稍长、有些“摇摆”的路径。我们尚未完全理解走这条摇摆路径的代价。
深度网络： 我们对浅层网络有很好的数学解释，但对于当今使用的庞大深度网络，我们仍然没有完整的数学证明来解释它们为何如此有效。
单词的“流动”： 我们才刚刚开始理解 Transformer 中单词相互作用的复杂物理机制。这是一个数学与语言交汇的新前沿。

总结：
这篇论文在同一个伞下统一了机器学习的不同部分：移动概率分布。无论你是生成图像、训练大脑还是处理句子，你本质上都是在将一簇数据从一种形状推到另一种形状。论文提供了数学工具，以理解这种推动的速度、方向和效率。

技术摘要：机器学习中的最优输运与扩散输运

问题陈述

本文探讨了将可表述为概率分布时间演化的各类机器学习问题在数学上进行统一的挑战。这些问题涵盖了生成建模（采样）、神经网络优化（训练动力学）以及大语言模型分析（标记演化）。尽管目标对象不同——样本、权重或标记——但其底层动力学共享一个共同结构：在时变向量场驱动下的粒子或测度的平流。

核心难点在于欧拉表示（追踪测度 $\alpha_t$ 的密度 $\rho_t$ ）与拉格朗日表示（追踪单个粒子 $x(t)$ ）之间的转换。一个根本性问题在于驱动特定测度演化 $\alpha_t$ 的向量场 $v_t$ 的非唯一性；有无穷多个场可以满足连续性方程。这种模糊性既构成了适定性方面的挑战，也为设计具有良好正则性、稳定性和计算可处理性的流提供了机遇。

方法论

本综述综合了两种互补的数学框架来分析这些演化：扩散/流匹配与最优输运（OT）。

1. 流匹配与扩散模型

该方法通过定义参考分布 $\alpha_0$ （例如高斯分布）与目标分布 $\alpha_1$ 之间的显式插值 $(\alpha_t)_{t \in [0,1]}$ 来构建输运映射。

随机插值：该方法通常采用独立随机向量的线性插值， $X_t = (1-t)X_0 + tX_1$ ，其中 $X_0 \sim \alpha_0$ 且 $X_1 \sim \alpha_1$ 。
条件期望场：与其求解从密度演化反推向量场的逆问题（这需要求逆拉普拉斯算子），不如利用本文强调的一个结果，即向量场 $v_t$ 可表示为条件期望： $v_t(z) = \mathbb{E}[X_1 - X_0 \mid (1-t)X_0 + tX_1 = z]$ 。
最小二乘公式：该条件期望通过求解无约束最小二乘问题进行估计，并由神经网络（如 U-Net、Transformer）参数化。这避免了显式的密度估计，并允许在有限样本上进行训练。
与扩散的联系：当 $\alpha_0$ 为各向同性高斯分布时，通过 Tweedie 恒等式，该框架被证明等价于扩散模型，将速度场与得分函数 $\nabla \log \alpha_t$ 联系起来。

2. 最优输运（OT）

与预设插值不同，OT 寻求最小化位移成本的“最优”插值。

静态与动态公式：本文回顾了 Monge 问题（寻找映射 $T$ ）和 Kantorovich 松弛（寻找耦合 $\pi$ ）。它强调了 Benamou-Brenier 动态公式，该公式将 OT 视为沿流最小化动能： $W_2^2(\alpha_0, \alpha_1) = \inf \int \int |v_t|^2 d\alpha_t dt$ 。
梯度结构：OT 理论的一个关键见解是，OT 中的最优速度场是一个梯度场（ $v_t = \nabla \psi_t$ ），源自凸势函数。这与流匹配形成对比，在流匹配中，除非满足特定条件（如协方差矩阵可交换），否则向量场不一定是梯度场。
高斯情形：本文详述了高斯测度的闭式解，表明 OT 映射是线性的，并且仅当协方差矩阵可交换时，才与流匹配映射重合。

3. Wasserstein 梯度流

本综述将 OT 扩展到优化领域，通过解释测度的演化为 Wasserstein 空间中的梯度流。

JKO 方案：演化通过 Jordan-Kinderlehrer-Otto (JKO) 方案进行离散化，最小化泛函 $f(\alpha)$ 加上 Wasserstein 距离项。
应用：该框架将非线性偏微分方程（如多孔介质方程）解释为熵泛函的梯度流。在机器学习中，它将浅层神经网络的训练建模为神经元权重上概率测度的演化。

主要贡献与结果

1. 生成模型的统一

本文确立了现代生成模型（扩散模型和流匹配）依赖于在随机插值上通过最小二乘回归学习向量场。它阐明了，尽管这些方法在计算上高效且可扩展，但其几何性质与最优输运不同。具体而言，流匹配插值通常不是梯度流，也不以 OT 意义最小化位移成本。

2. 神经网络训练作为测度演化

平均场极限：两层 MLP 的训练被分析为权重分布上的 Wasserstein 梯度流。本文引用了 Chizat-Bach 定理，该定理保证在平均场假设（无限宽度）和特定初始化下，该流收敛于全局极小值。
线性网络：对于具有高斯神经元分布的线性网络，训练动力学被证明保持高斯结构，将无限维流简化为协方差矩阵上的 Riccati 型常微分方程。
深度网络：本文指出，将这些收敛性保证扩展到深度网络仍然是一个未解决的挑战，尽管 ResNet 可以被建模为具有广义深度 Wasserstein 度量的神经 ODE。

3. Transformer 动力学

本文提出了一种 Transformer 的测度论观点，将标记视为概率分布中的粒子，该分布随深度演化。

Transformer PDE：在无限深度极限下，离散层更新收敛于连续性方程（即"Transformer PDE"）。
非变分性质：与标准梯度流不同，Transformer 动力学通常不具备 Wasserstein 梯度流结构，因为注意力机制不是某个泛函的一阶变分。其动力学更接近 Vlasov 方程或聚集方程。
高斯闭合：对于高斯标记分布，协方差矩阵的演化由非线性二次 ODE 控制，该方程可能表现出有限时间爆破，反映了聚类现象。
普适性：本文引用了一个普适性定理，指出 Transformer 映射可以近似从分布和标记到输出的任何连续映射，形式化了上下文学习的概念。

4. 基因组学应用

本综述强调了 Wasserstein 流在单细胞基因组学中的应用，其中基于 OT 的方法用于从快照数据推断发育轨迹和细胞命运转变，有效地重构了细胞群体演化的速度场。

意义与主张

本文主张，将机器学习系统视为概率测度的演化，为计算、优化和泛化提供了统一的数学理解。

理论见解：它弥合了随机生成模型（扩散）与几何优化（OT）之间的鸿沟，阐明了它们各自的优势：扩散提供了算法可扩展性和实证成功，而 OT 提供了原则性的几何框架和收敛性保证。
未解决的挑战：本文谦逊地承认了显著的差距。它指出，虽然 Wasserstein 流理论为浅层平均场模型提供了收敛性保证，但将这些保证扩展到深度、高表达性架构仍然是一个突出的挑战。同样，得分估计的样本复杂度以及扩散模型中离散化误差的传播被确定为开放的研究问题。
未来方向：本综述建议，弥合这些范式之间的理论差距对于设计未来架构至关重要，这些架构应结合扩散的灵活性与最优输运的结构严谨性。

本文并未提出新的实验算法，也未声称解决深度网络的通用收敛问题；相反，它作为一篇综述，综合了现有的理论框架，以突出该领域的共同结构和剩余的开放问题。