📊 statistics

On Model-Based Clustering With Entropic Optimal Transport

本文提出了一种基于模型的新聚类方法，该方法利用熵最优传输损失函数来克服传统对数似然优化中的非凸性和虚假局部最优问题，并通过 Sinkhorn-EM 算法及实际应用验证，提供了一种更为稳健有效的替代方案。

原作者： Gonzalo Mena

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Gonzalo Mena

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正试图将一大堆混乱的线索整理成不同的组别。这些线索可能是模糊照片中的像素，也可能是来自大脑不同部位的微小基因片段。你的目标是找出哪些线索在自然状态下属于同一组。

在数据科学领域，这被称为聚类。几十年来，侦探们（统计学家）最流行的做法是使用一种名为**EM（期望最大化）**的方法。将 EM 想象成一名侦探，他先猜测分组情况，检查猜测的拟合程度，然后调整猜测以使其更贴合。他们反复进行这一过程，直到无法再改进猜测为止。

问题：“局部陷阱”
旧式 EM 侦探的麻烦在于，线索的分布充满了山丘和山谷。侦探就像一名试图找到最低山谷（最佳解）的徒步者。然而，由于地形崎岖不平，徒步者常常被困在一个小而浅的凹陷处（“局部最优解”），并心想：“好吧，这就是底部了”，却未意识到在下一个山丘的另一侧，还有一个更深、更完美的山谷。

为了解决这个问题，人类侦探通常会尝试从许多不同的随机位置开始徒步，希望其中某一次能通向真正的底部。但这既缓慢又昂贵，而且有时即使尝试多次，他们仍会困在错误的位置。

新方案：“熵”侦探
本文介绍了一种名为Sinkhorn-EM的新侦探工具。该工具不使用旧地图（对数似然），而是使用一种基于熵最优传输的不同地图。

理解两者差异的最佳方式如下：

旧地图（对数似然）： 想象你试图穿过一片浓密、多雾的森林，地面布满了隐藏的坑洞和小洼地。你可能会被困在一个看似底部的坑里，但这实际上只是一个陷阱。
新地图（熵最优传输）： 想象同样的森林，但有人已经抚平了地面。那些深而危险的坑洞消失了。通往真正底部的路径变得清晰得多。虽然两张地图的目的地（完美解）相同，但在新地图上的旅程不太可能让你陷入虚假的陷阱。

工作原理
新方法 Sinkhorn-EM 与旧方法非常相似。它仍然通过步骤来改进分组。但在第一步（“E 步”）中，它不再仅仅计算简单的概率，而是解决一个稍复杂的数学谜题（最优传输问题）。

可以这样理解：

旧 EM： “我会根据像素的颜色来猜测它属于哪个组。”
Sinkhorn-EM： “我会猜测这个像素属于哪个组，但我会确保分配给每个组的像素总数与预期的平衡完美匹配，即使在我进行猜测的同时也是如此。”

这种额外的“平衡检查”就像一道护栏，防止算法落入那些数学变得怪异、组别相互坍塌的虚假陷阱。

论文发现
作者 Gonzalo Mena 通过两种主要方式测试了这一新侦探工具：

模拟数据： 他们创建了具有已知分组的伪造数据。他们发现，当分组拥挤或数据混乱时，旧 EM 侦探经常被困在错误的位置。而新的 Sinkhorn-EM 侦探几乎总是能找到正确的分组。
现实世界示例：
- 秀丽隐杆线虫显微成像： 他们尝试识别线虫中的单个神经元（脑细胞）。旧方法经常将两个邻近的神经元挤压成一个团块。而新方法将它们分开，正确识别了不同的细胞。
- 空间转录组学： 他们研究了来自人脑不同层的基因表达数据。旧方法难以清晰地区分层级。而新方法成功地将数据分组以匹配大脑的实际物理层级，即使没有被告知层级的位置。

权衡
这里有一个代价。新方法计算量更大。运行时间更长——就像选择一条稍微更风景优美、更谨慎的路线，而不是冲刺。论文指出，在某些测试中，每一步所需的时间是旧方法的 10 到 100 倍。然而，作者认为，如果旧方法被困在一个错误的答案中，那么为了得到正确的答案，多花这些时间是值得的。

总结
本文提出了一种更智能的数据排序方法。它保持了与传统方法相同的目标，但改变了算法行走的“地形”。通过抚平景观，它避免了导致其他方法失败的常见陷阱，使其成为排序复杂数据（如脑图像和基因图谱）的有力新工具。

技术摘要：基于熵最优传输的模型聚类

问题陈述
基于模型的聚类，特别是通过高斯混合模型（GMMs），依赖于最大化对数似然来推断潜在的群体结构。用于此推断的标准计算工具是期望最大化（EM）算法。然而，混合模型中的对数似然函数通常是非凸的，导致 EM 算法频繁收敛至虚假的驻点（局部最优解），而非全局最优解。从业者目前通过多种启发式方法来缓解这一风险，例如多次随机初始化（如 k-means++），但这些方法无法提供找到全局解的理论保证，并且可能会系统地选择次优配置。

方法论
作者提出了一种新的基于模型聚类的方法，该方法用源自**熵最优传输（OT）**的损失函数取代了对数似然目标。

损失函数 ( $L(\theta)$ )：
提出的损失函数 $L(\theta)$ 定义为经验数据分布 $Q^*$ 与模型分布 $Q_\theta$ 之间的熵最优传输距离。具体而言，它在边缘约束下，最小化耦合 $\pi$ 与源自模型密度的吉布斯核之间的相对熵。
- 与对数似然的关系： 论文确立了 $L(\theta) \geq \ell(\theta)$ （其中 $\ell$ 为负对数似然），在设定良好的情况下，当参数为真实参数 $\theta^*$ 时等式成立。
- 几何性质： 与对数似然不同， $L(\theta)$ 被证明是强制的（即当参数发散时趋向于无穷大），并且在真实最小值周围具有严格更大的曲率。关键在于， $L$ 的梯度对应于在“倾斜”混合权重 $\alpha(\theta)$ 处评估的对数似然梯度，这些权重通过 OT 问题的半对偶势动态调整。
算法（Sinkhorn-EM）：
为了优化 $L(\theta)$ ，作者引入了Sinkhorn-EM (SEM)，这是一种类似于标准 EM 算法但针对熵 OT 框架进行了调整的算法。
- E-步： 标准 EM 算法计算标准责任（条件概率），而 SEM 的 E-步则通过求解熵最优传输问题来寻找最优耦合 $\pi$ 。这可以使用 Sinkhorn-Knopp 算法高效求解，该算法以近线性时间 $\tilde{O}(nK)$ 收敛。
- M-步： M-步通过在 E-步获得的耦合 $\pi$ 下最大化期望对数似然来更新模型参数（位置 $\theta$ ）。
- 权重更新： 虽然标准 E-步固定边缘权重，但作者扩展了该方法，允许通过指数梯度更新进行权重推断，确保算法能够处理未知的混合权重。

主要理论贡献

避免虚假局部最优解： 论文提供了“多对一拟合”配置的理论表征，这是一种普遍存在的虚假局部最优解类型，其中多个拟合分量坍缩到单个真实分量上。作者证明，在特定的分离条件下，此类配置不能成为 $L(\theta)$ 的驻点，而它们在 $\ell(\theta)$ 中却很常见。
收敛性保证： 定理 1 确立了 Sinkhorn-EM 收敛于 $L(\theta)$ 的驻点。与通常要求对数似然具有严格强制条件的标准 EM 收敛性证明不同，作者利用熵 OT 损失固有的强制性来保证收敛。
对称混合分析： 在两个高斯混合的具体情况下，作者证明 $L(\theta)$ 具有唯一全局最小值的参数集合严格大于 $\ell(\theta)$ 的集合。此外，他们表明 SEM 以指数速度收敛到全局最小值，并且在特定的初始化区域内，其表现从不差于标准 EM。

实证结果
该方法通过广泛的数值实验和两个现实世界的应用进行了评估：

模拟数据： 在合成 GMM 上的实验表明，Sinkhorn-EM 始终优于标准 EM 和 k-means，特别是在簇数量 ( $K$ ) 较大或方差较高的场景中。即使使用多个种子，EM 也往往无法摆脱不良局部最优解，而 SEM 经常能识别出全局解。
秀丽隐杆线虫（C. elegans）显微成像： 在涉及识别秀丽隐杆线虫神经元的神经分割任务中，SEM 成功避免了邻近神经元坍缩为单个分量的情况，这是标准 EM 中观察到的失效模式。
空间转录组学： 应用于人类背外侧前额叶皮层基因表达数据的共聚类（双聚类）时，变分 Sinkhorn-EM (SVEM) 算法生成的组织分区比标准变分 EM 和谱双聚类方法更忠实地反映了已知的解剖层，尽管该模型并未显式编码空间信息。

意义与局限性
论文声称，熵最优传输提供了一种有原则的、基于统计的替代方案，用于优化对数似然，从而降低收敛到次优解的风险。其主要意义在于证明了熵 OT 损失的“景观”比对数似然的景观表现更好，为从业者提供了更稳健的优化目标。

作者承认两个主要局限性：

计算成本： Sinkhorn-EM 中的 E-步涉及求解最优传输问题，使其计算成本更高（通常每次迭代比标准 EM 慢 10–100 倍）。作者认为，在标准方法无法找到全局最优解的情况下，这种权衡是合理的。
残留局部最优解： 虽然该方法避免了特定的“多对一拟合”病理现象，但 $L(\theta)$ 仍然是非凸的，并且可能具有其他不良局部最优解，特别是在混合权重高度不等的情况下，此时相对于 EM 的性能提升会减弱。

论文结论指出，虽然理论结果最专门针对具有等方差的高斯混合模型，但该方法的通用性足以适应各种位置 - 尺度族，并为那些标准基于似然的方法在初始化敏感性方面表现挣扎的聚类任务提供了有价值的工具。

类似论文