📊 statistics

Regularized estimation of Monge-Kantorovich quantiles for spherical data

本文通过利用熵正则化最优传输与球面谐波函数，引入了一种针对 Monge-Kantorovich 分位数的正则化估计量以及相应的球面数据深度度量，并通过一种新颖的随机算法证明了其统计有效性与实际应用价值。

原作者： Bernard Bercu, Jérémie Bigot, Gauthier Thurin

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Bernard Bercu, Jérémie Bigot, Gauthier Thurin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：在地球仪上绘制方向图

想象你有一个巨大的、透明的地球仪，代表着地球。你绘制的不是城市，而是方向——比如鸟类飞行的路径、野火蔓延的方向，或者是基因的取向。在统计学中，这被称为“方向性数据”（directional data）。

作者们解决的问题是：如何在球面上找到“中心”或“离群值”？

在平面的纸上（比如线形图），寻找中间值很容易。你只需要将数字从小到大排序即可。但在球面上，不存在“最小”或“最大”的方向。你不能说北比东“大”。这使得创建一个统计地图变得非常困难，因为地图需要告诉你哪里数据密集，哪里数据稀疏。

旧方法：“像素化”地图

论文提到了一种近期的研究方法，它试图通过在球面上建立一个完美的、空的点阵网格与你实际杂乱的数据点之间的“匹配”来解决问题。

这就像是一个像素化的电子游戏。你有一个方格网（空的球体）和一组彩色的点（你的数据）。计算机从每个方格画一条线，连接到最近的数据点。

问题在于： 这个地图是“块状”的。如果你选择了一个地图上并不正好对应原始数据点的位置，地图就不知道该怎么办了。它无法告诉你，如果一只新鸟以稍微不同的方向飞来，它是属于“正常”还是“异常”。这就像是在尝试猜测两个像素之间的地形；你看到的只是锯齿状的边缘。

新方案：“平滑”地图

作者提出了一种使用名为熵正则化最优传输（Entropic Optimal Transport）技术来构建这种新地图的方法。

类比：雾蒙蒙的镜头
想象你透过一个略显模糊的镜头观察你的数据。你看到的不再是数据点之间尖锐、锯齿状的边缘，而是由“雾气”（在数学上称为正则化）将线条适度模糊化，从而创造出一个平滑且连续的表面。

为什么这有帮助： 现在，如果一只新鸟以一种你从未见过的方向飞行，平滑的地图仍然可以准确地告诉你在哪里。它是在中心附近？还是在边缘？地图能为任何方向给出明确的答案，而不仅仅是那些你已经测量过的方向。

他们是如何做到的：“音乐”算法

为了构建这个平滑的地图，作者必须解开一个极其复杂的数学谜题。他们不能直接使用标准的计算机网格，因为球面的表面是弯曲的。

类比：调音球面鼓
他们使用了一种叫做球面谐波（Spherical Harmonics）的数学工具。把球面的表面想象成一面巨大的鼓的鼓皮。

当你敲击鼓面时，它会产生特定的振动模式（基音、泛音等）。
作者将他们的数学问题视作一面鼓。他们将复杂的数据形状分解为这些“振动模式”（就像音乐中的音符）。
他们构建了一个随机算法（一个通过不断尝试而变得越来越准的逐步猜测游戏）来调校这些“音符”。
结果： 他们得到的不是一个锯齿状的像素化地图，而是一个描述整个球面的平滑且连续的函数。这就像是将一个块状的 8 位像素游戏变成了高清的 3D 电影。

“深度”计：寻找离群值

一旦拥有了这个平滑的地图，他们引入了一个新概念：Monge-Kantorovich 深度。

类比：靶心
想象数据点是投向球形靶子的飞镖。

“最深”的点是靶心（数据的中心）。
“最浅”的点是落在边缘附近的飞镖。
他们的新方法创建了一个平滑的“深度计”。如果你拿着一枚新飞镖（一个新的数据点）对着球面，深度计会立即告诉你：“这是 90% 的深度（非常正常）”或者“这是 10% 的深度（非常异常）”。

为什么这很重要（根据论文所述）

它能处理新数据： 与旧有的“像素化”方法不同，这种新的平滑地图可以对尚未观测到的方向进行预测。
它更快： 通过使用“音乐音符”（球面谐波）和一种名为快速傅里叶变换（Fast Fourier Transform）的快速计算机技巧，他们可以比旧方法更快地解决这些问题。
它具有灵活性： 它适用于球面上的任何形状的数据，而不仅仅是完美圆形或对称的数据。

总结

作者通过平滑掉以往方法的粗糙边缘，解决了一个困难的问题（即如何在地球仪的方向中寻找规律）。他们利用一种类似音乐的数学方法，将一个锯齿状、块状的地图变成了一个平滑且连续的表面，从而使统计学家能够以更高的精度分析并预测方向性数据。

技术摘要：球面数据的正则化 Monge-Kantorovich 分位数估计

问题陈述
方向性数据（观测为单位 $d$ -球面 $S^{d-1}$ 上的点）缺乏规范的排序，这使得统计分位数的定义比欧几里得空间更为复杂。近期的非参数方法利用最优传输（Optimal Transport, OT）理论来定义 Monge-Kantorovich (MK) 分位数。具体而言，对于方向性数据，通过求解均匀分布在球面上的分布与经验测度之间的 OT 问题，来构建经验分位数函数 $Q_n$ 。

然而，现有的基于 OT 的方向性数据估计器存在两个主要局限性：

缺乏样本外能力： 两个离散分布（数据与规则网格）之间的经验匹配产生的是一个限制在观测集上的分段常数函数。它无法为新的、未见的数据点（ $X_{new}$ ）提供估计，而这对于深度学习分类或离散度测量等应用至关重要。
计算复杂度高： 求解离散 OT 问题通常随观测数量呈立方级增长，阻碍了可扩展性。

方法论
作者提出了一个使用 $S^2$ 上熵正则化最优传输（Entropic Optimal Transport, EOT）的正则化估计框架。该方法论如下：

熵正则化： 作者没有求解离散 Monge 问题，而是构建了一个在连续形式下，在均匀测度 $\mu_{S^2}$ 与目标测度 $\nu$ 之间的连续 OT 问题。他们引入了一个带有参数 $\varepsilon > 0$ 的熵正则化项。这将其转化为关于单个势函数 $u$ 的半对偶优化问题，其中：
$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$
其中 $u^{c,\varepsilon}$ 是 $u$ 的光滑共轭函数。
谱参数化： 为了求解这个无穷维问题，作者使用球面谐函数对对偶势函数 $u$ 进行参数化。该函数被展开为系数序列 $\bar{u} = (\bar{u}^m_l)$ 。作者证明，在正则化情况下，该势函数是二阶连续可微的，从而确保了球面谐函数级数属于 $\ell^1$ 空间。
随机算法： 开发了一种随机梯度下降算法来优化球面谐函数系数。
- 输入： 来自 $\nu$ 的一序列独立同分布观测值 $X_1, \dots, X_n$ 。
- 机制： 在每次迭代中，算法利用单个样本的梯度来更新系数。
- 效率： 该算法利用球面上的快速傅里叶变换（FFT）（通过 pyshtools 库）来计算必要的积分和变换。每次迭代的计算成本为 $O(p^2 \log^2 p)$ ，其中 $p$ 是网格规模，这显著优于离散 OT 求解器的立方复杂度。
- 在线学习： 该算法以在线方式运行，顺序处理数据，无需存储完整的 $n \times n$ 代价矩阵。
正则化分位数与分布函数：
- 一旦估计出最优势函数 $u_\varepsilon$ ，即可导出正则化分位数函数 $Q_\varepsilon$ 和分布函数 $F_\varepsilon$ 。
- 与未正则化情况不同，这些函数是光滑的，并通过涉及切空间加权平均（重心投影）的闭式表达式定义。
- 具体而言， $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)$ ，允许在任何点 $x \in S^2$ 直接进行评估。
方向性统计深度： 文中定义了一种方向性 MK 深度，其基于分布函数 $F(x)$ 到 Fréchet 中位数的接近程度。该深度度量满足经过适配的 Liu-Zuo-Serfling 公理，包括旋转不变性和沿符号曲线的单调性。

核心贡献

熵映射的扩展： 作者将熵映射的概念（此前已在欧几里得空间中定义）扩展到了非欧几里得的球面设置中，提供了一个光滑的正则化 MK 分位数估计器。
样本外估计： 提出的正则化分位数函数 $Q_\varepsilon$ 允许对新的观测值进行估计，这是以往基于离散 OT 方法所缺失的能力。
随机谱算法： 引入了一种新型随机算法，通过在球面谐函数中展开势函数来解决 $S^2$ 上的连续 OT 问题，并利用 FFT 实现计算高效性。
方向性深度定义： 提出了一种新的 MK 方向性统计深度概念，它继承了欧几里得 MK 深度的优良性质，并满足与方向统计学相关的公理。

结果与主张

理论性质： 文中证明了正则化势函数是二阶连续可微的，从而确保了生成的分位数和分布函数是光滑的。文中还证明了当 $\varepsilon \to 0$ 时，正则化势函数一致收敛于未正则化的 Kantorovich 势函数。
计算效率： 该随机算法避免了 $O(n^3)$ 的复杂度，将每次迭代的成本降低至 $O(p^2 \log^2 p)$ ，使其适用于大规模数据集和在线学习场景。
统计效用： 该方法通过提供连续且可微的映射，实现了基于深度的分类和离散度测量。文中通过数值实验展示了这些优势（详见全文第 6 节），表明与未正则化的离散估计器相比，正则化方法提供了更光滑的等高线和更好的样本外表现。

意义
本文声称其主要意义在于弥合了理论 OT 分位数与方向性数据实际统计应用之间的鸿沟。通过引入熵正则化和谱随机求解器，作者提供了一种计算上可行的方案，克服了以往离散方法的“样本外”局限性。这使得将 MK 分位数和深度度量应用于涉及方向性数据的现实问题（如分类和风险度量）成为可能，而在这些问题中，光滑性和评估新数据点的能力是必不可少的。这项工作也通过为球面提供显式的、易于处理的公式，为流形上的 OT 领域做出了贡献。