📊 statistics

Group invariance of $f$ -divergences and the Fisher--Rao distance

本文证明了在变换模型中， $f$ -散度与 Fisher–Rao 距离在群作用下具有不变性，从而将其对参数对的依赖性降低到极大不变量（如双陪集）上，特别是在多维位置-尺度族中。

原作者： Frank Nielsen, Kazuki Okamura

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Frank Nielsen, Kazuki Okamura

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在比较两种不同汤品的厨师。一种是小碗装的辣味番茄汤，另一种是巨型锅装的温和番茄汤。

如果你只看碗，它们看起来完全不同。但如果你知道“配方”（统计模型），你会意识到真正的区别仅仅在于你如何拉伸了这口锅（尺度/scale）以及你把它在柜台上移动到了哪里（位置/location）。如果你忽略了锅的大小和柜台的位置，这两份汤在本质上是同一种“风味特征”。

这篇论文旨在寻找一种数学方法，通过忽略这些无关的差异（如锅的大小和柜台的位置），从而公平地衡量两个分布（如两份汤）之间的真实差异。

以下是使用简单类比对该论文主要思想的拆解：

1. 问题所在：描述同一事物的多种方式

在统计学中，我们经常使用参数（如均值和方差）来描述数据。但自然界存在“对称性”。

平移（位置）： 如果你将整个数据集向右移动 5 个步长，数据中两点之间的关系不应该发生改变。
拉伸（尺度）： 如果你放大或缩小一个数据集，关系的形状不应该发生改变。

作者们问道：如果我们有一个数学工具来衡量两个分布之间的“距离”或“差异”，这个工具是否尊重这些对称性？ 换句话说，如果我们以完全相同的方式拉伸或移动这两个分布，它们之间的距离是否应该保持不变？

2. 重大发现：“群”的魔力

论文证明了这一大类衡量距离的工具——被称为 f-散度（f-divergences） 的工具（包括著名的 KL 散度）——自动尊重这些对称性。

类比： 想象你有一张画有两个点的橡胶片。

如果你拉伸整张橡胶片（尺度）或在桌面上滑动它（位置），橡胶片上两点之间的距离（在橡胶片上测量）并不会改变。
论文表明，对于这些特定的统计工具，这种“距离”就像是橡胶片上的测量值，而不是桌子上的测量值。它是不变的（invariant）。

3. 解决方案：“极大不变元”（终极身份证）

仅仅知道距离在拉伸或移动时不会改变是不够的。我们想要知道：究竟是什么决定了距离？

作者引入了一个概念，叫做 极大不变元（Maximal Invariant）。你可以把它看作是这对分布的“终极身份证”。

如果你有两对分布，并且它们拥有相同的“终极身份证”，那么它们之间的距离就是完全一样的。
如果它们的身份证不同，距离可能会有所不同。

这张身份证剥离了所有“噪声”（拉伸和移动），只留下相对信息。

相对位置： 中心点之间有多远？
相对尺度： 一个比另一个大多少？

4. “双陪集”：几何捷径

当作者观察复杂的多维数据（例如 3D 形状而非仅仅是 1D 线段）时，他们发现这个“终极身份证”具有一种特定的几何形状，叫做 双陪集（Double Coset）。

类比： 想象你正在尝试描述房间里两个人的相对位置，但房间正在旋转，而人们也在走动。

与其追踪他们的绝对坐标（这些坐标一直在变化），不如追踪他们的相对姿态。
“双陪集”是描述这种相对姿态的数学名称。它告诉了你关于这两个分布相对于彼此是如何定位的所有信息，而不必理会整个宇宙是否正在旋转。

5. 应用于实际模型（位置-尺度族）

论文将此应用于 位置-尺度族（Location-Scale families）（由中心和离散度定义的分布）。

他们证明了对于这些模型，“终极身份证”由两部分组成：
1. 奇异值（Singular Values）： 这些是不同方向上的“拉伸因子”。
2. 块范数（Block Norms）： 这些衡量中心的“相对偏移”，但仅限于发生拉伸的方向上。

这意味着你不需要为每种可能的旋转或平移计算复杂的公式。你只需要计算这些特定的数值（奇异值和块范数），这些就是你了解距离所需的所有信息。

6. Fisher-Rao 距离（“弯曲”的距离）

最后，论文研究了 Fisher-Rao 距离，这是一种用于信息几何的特殊距离类型。它就像是在弯曲的表面（测地线）上测量两点之间的距离，而不是在平面地图上测量。

作者证明了这种弯曲距离也遵循相同的规则。尽管数学计算更难，但结果是一样的：两个分布之间的距离仅取决于它们的相对位置和尺度（即“终极身份证”），而不取决于它们在宇宙中的位置。

总结

这篇论文是一份关于简化复杂比较的指南。

对称性存在： 移动或拉伸数据并不会改变两个分布的内在差异。
工具尊重对称性： 常用的统计距离工具（f-散度）自然会忽略这些移动。
“身份证”： 我们可以用一组更简单的数字（奇异值和相对偏移）来取代复杂的参数，这些数字捕捉了唯一重要的东西：两个分布之间的相对关系。
普遍适用性： 这既适用于标准的距离测量，也适用于更复杂的、弯曲的 Fisher-Rao 距离。

简而言之：为了公平地比较两个事物，请忽略它们在哪里以及它们有多大；只需观察它们是如何相互关联的。 论文为实现这一点提供了数学配方。

技术摘要：f-散度的群不变性与 Fisher–Rao 距离

问题陈述
许多统计模型具有由群作用描述的自然对称性，即样本空间和参数空间的变换不应改变两个分布之间的内在比较。虽然直觉上认为统计散度和距离应当尊重这些对称性，但仍需要对这种不变性如何约束度量函数的具体形式进行严谨的表征。具体而言，本文研究了在具有特定乘子的变换模型下（其中群作用于样本空间和参数空间）， $f$ -散度和 Fisher–Rao 距离的行为。核心问题在于如何将这些度量的依赖关系从全参数空间简化为捕捉两个分布相对位置的最小不变变量集（极大不变量）。

方法论
作者采用了变换模型和不变统计学的框架，借鉴了 Eaton 和 Wijsman 的经典结果。该方法论分为三个阶段进行：

一般不变性证明： 本文建立了一个通用的变换模型，其中拓扑群 $G$ 作用于测度空间 $(X, \mathcal{B}, \lambda)$ 和参数空间 $\Theta$ 。其密度通过乘子 $\chi(g)$ 进行变换，满足 $\chi(g)p(gx|g\theta) = p(x|\theta)$ 。在此条件下，作者证明了任何 $f$ -散度在参数对的对角群作用下都是不变的。
极大不变量约简： 作者证明，由于散度具有不变性，它必然是参数对的一个极大不变变量的函数。对于传递参数空间（齐次空间 $\Theta \cong G/H$ ），作者利用双陪集空间 $H \backslash G / H$ 对其进行了特征化。这提供了一种几何解释，即散度仅取决于两个点在齐次空间中的相对位置。
位置-尺度族（Location-Scale Families）的显式构造： 该理论被应用于多维位置-尺度族。作者通过修改参数空间（通过对正交旋转进行商运算）以确保可识别性，构造了显式的极大不变量。作者利用奇异值分解（SVD）对双陪集进行参数化，将散度约简为关于奇异值和变换后相对位置的块范数的函数。
向 Fisher–Rao 距离的扩展： 同样的不变性原理被应用于 Fisher–Rao 距离（Fisher 度量的测地距离）。作者表明，Fisher 度量的仿射不变性允许类似的约简，将任意分布之间的距离映射为到规范基分布的距离。

主要贡献与结果

一般不变性定理 (Theorem 2.1)： 本文证明了在满足乘子条件的变换模型中，每个 $f$ -散度 $D_f(\theta_1 : \theta_2)$ 在群作用下都是不变的： $D_f(g\theta_1 : g\theta_2) = D_f(\theta_1 : \theta_2)$ 。
极大不变量特征化 (Theorem 2.2 & 2.3)： 研究表明，任何不变散度都是一个极大不变量 $m(\theta_1, \theta_2)$ 的函数。对于传递作用 $\Theta = G/H$ ，极大不变量是双陪集 $H g_1^{-1} g_2 H$ ，它完整地描述了参数的相对位置。
位置-尺度模型的规范形式 (Section 3.1)： 对于具有径向基密度的多维位置-尺度模型，作者推导出了一个特定的极大不变量。通过将参数空间识别为 $R^d \times (GL(d, R)/O(d))$ $R^{d} \times (G L (d, R) / O (d))$ ，该散度仅取决于：
- 相对尺度矩阵 $S = V_2^{-1}V_1$ 的奇异值 $\tau_1, \dots, \tau_k$ 及其重数。
- 变换后的相对位置向量 $\nu = V_2^{-1}(\mu_1 - \mu_2)$ 的块范数 $r_j$ ，其中各块对应于奇异值的重数。
对偶群作用与 Bregman 散度 (Section 3.2)： 本文分析了基于对偶平坦几何的中心化尺度族。研究表明，虽然 $f$ -散度的不变性源于变换模型，但对偶平坦 Bregman/Fenchel-Young 散度的不变性则源于对偶群作用的抵消。这统一了这些散度的谱性质（对 $\Sigma_2^{-1}\Sigma_1$ 特征值的依赖性）。
Fisher–Rao 约简 (Proposition 4.2)： 位置-尺度族的 Fisher–Rao 距离被证明在仿射群下是不变的。因此，两个分布之间的距离是与 $f$ -散度相同的极大不变量（奇异值和块范数）相关的函数。问题被简化为计算到规范基点 $(0, [Id])$ 的距离。

意义与主张
本文声称通过利用传递参数空间的双陪集结构，提供了一种“表达不变散度的通用且几何化的方式”。其主要意义在于约简原则：与其将散度视为所有参数的函数，不如先移除群对称性，通过一组更小的不变变量来表达它们。

作者明确指出，这种方法：

简化了计算，通过降低问题的维度。
识别了相关量，通过确定哪些不变变量（例如奇异值、块范数）可以出现在任何不变公式中。
统一了不同的散度：表明相同的约简过程既适用于 $f$ -散度，也适用于 Fisher–Rao 距离。

本文对于闭式解（closed-form solutions）的表述较为审慎。文中指出，虽然约简原则确定了正确的变量，但它“并未给出维度 $d > 1$ 时 Fisher–Rao 距离的一般闭式公式”，因为测地边界值问题在解析上仍然困难。然而，它成功建立了任何此类公式所需的结构依赖关系。此外，这项工作也澄清了仿射不变 Fisher–Rao 几何与 Lovrić 等人提出的对称空间几何之间的关系，将其区分开来：前者是高斯位置-尺度族的特定几何，而后者是其对称空间类比。