📊 statistics

Weak Information Geometry: Riemannian Structures from Distributional Inference Functions and Stein Discrepancies

本文通过证明一类广泛的参数模型（包括那些缺乏经典似然函数或得分函数的模型）可以通过弱推断函数和 Stein 差异被赋予黎曼结构，从而扩展了信息几何框架，这些函数诱导了一系列 Godambe 度量，从而推广并支配了经典的 Fisher-Rao 几何。

原作者： Rodrigo Labouriau

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rodrigo Labouriau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在试图绘制一座神秘岛屿的形状。在旧有的统计学派中，你只有在岛屿拥有平滑、连续的表面（即“密度”）时才能绘制这张地图。如果岛屿是由锯齿状的岩石组成的，或者是一团无法落地的幽灵雾气，旧时代的制图师会束手无策地抱怨道：“我们无法测量这个。无法制图。”他们依赖一种叫做“得分函数”（score function）的工具，这就像是一个只能在平坦地形上工作的指南针。

这篇由 R. Labouriau 于 2026 年 7 月撰写的论文指出：“等等。如果我们改变工具，我们甚至可以绘制一切，无论是锯齿状的岩石还是幽灵般的雾气。”

新型指南针：“仪器”（The Instrument）

作者建议，我们不应该试图直接走在岛屿的表面上，而是使用一个测量仪器。请将这个仪器想象成不是岛屿的一部分，而是我们手中拿着的一个特殊的探测器或雷达天线。

旧方法： 你需要一个平滑的表面（概率密度）来使用你的指南针。如果表面是破碎的（比如康托尔分布，一种没有平滑部分的分形尘埃），指南针就会失灵。
新方法： 你向岛屿投射一道光（仪器）。光线反射回来，你测量回声。论文证明，只要你有一个好的探测器，你就可以计算出一个“Godambe 信息”度量。这种度量是一种新型的地图，它能告诉你关于岛屿形状的信息量有多少，即使这个岛屿是由纯粹的混沌构成的，或者在通常意义上根本不存在。

“Godambe” 地图

论文引入了一种被称为 Godambe–Riemannian 流形 的新地图。

它是什么： 一种测量统计模型上的距离和曲率的方法。
它是如何工作的： 它利用来自你探测器的两个数字：它的敏感度（Sensitivity）以及它的波动性（Variability）。将两者结合，你就能得到一张完美的地图。
代价： 与旧有的指南针（它是唯一的有效地图）不同，这种新方法给了你一个地图家族。不同的探测器会给出略微不同的地图。
- 类比： 想象你在测量一座山。激光测距仪给你一张地图；卫星照片给你另一张。两者都是真实的，但它们强调的特征不同。论文认为，在复杂的、破碎的世界里，不存在单一的“完美”地图。最好的地图完全取决于你选择了哪种工具。

四座“不可能之岛”

为了证明这套理论行得通，作者为四种旧学派认为无法测绘的岛屿构建了地图：

移动的海岸（均匀尺度模型）： 想象一个海滩，海水线会根据潮汐高度而移动。旧的指南针失效了，因为“地面”会在你脚下发生变化。新的仪器却能正常工作。
偏移指数分布（Shifted Exponential）： 一个数据的起始点取决于参数的模型。同样，旧的指南针失效了，但新的探测器能完美地测量回声。
分形尘埃（康托尔位置模型）： 这是最关键的一个。想象一座由康托尔集构成的岛屿——这种形状充满了孔洞，以至于它没有面积、没有密度，也没有可以站立的“地面”。旧学派说：“这里不存在似然函数，我们甚至无法写出公式。”新论文说：“看好了。”他们使用了一个有界仪器（比如轻柔的敲击），并成功地为这个分形尘埃绘制了一张平滑且扁平的地图。
混乱的混合模型（分层有限混合模型）： 想象一群人，你知道其中一些属于 A 组，另一些属于 B 组，但对于其他人，你只知道一个概率（例如，“60% 的概率属于 A”）。旧的指南针（得分函数）会感到困惑并给出偏差的读数。新的仪器则忽略了这种混乱，找到了真实的形状。

热方程与“谱间隙”（The Spectral Gap）

论文还研究了一个动态系统：一个热量在导线（格点）中流动的过程，但这种热量是由“ $\alpha$ -稳定噪声”（一种没有标准方差的狂野、不可预测的噪声）驱动的。

发现： 他们计算了这个系统的地图，并发现了一些有趣的事。地图趋于稳定（变得平稳）的速度，直接取决于格点的谱间隙。
类比： 想象一面鼓。当你敲击它时，声音会逐渐消散。声音消失的速度取决于鼓的形状。论文表明，这种嘈杂热流的“统计地图”趋于稳定的速率，与鼓声消散的速率完全一致。如果热流是不稳定的（鼓是破损的），地图就会坍缩为零。这在物理系统的特性与数据的几何特性之间建立了直接的联系。

论文否定了什么

论文非常明确地阐述了它拒绝的内容：

它拒绝了“密度”（平滑表面）是进行几何运算的必要前提这一观点。
它拒绝了在这些新的、混乱的模型中，总存在一个单一的、“规范的”（完美的）地图。在这些复杂模型中，不存在一个能统治一切的单一“Fisher 度量”。地图是相对于你使用的工具而言的。
它反对“如果似然函数存在，那么得分函数总是好工具”的观点。在“分层混合”的例子中，得分函数虽然存在，但它是带有偏差的（它在撒谎），因此旧方法即便在有公式的情况下也会失败。

结论的可信度如何？

作者对其主要主张在数学上是确定的。

他们通过定理和命题证明了，只要你拥有一个有效的仪器，你就能得到一个光滑的黎曼度量。
他们通过闭式解计算演示了，这套方法对于康托尔集、均匀分布和偏移指数分布是有效的。
他们通过数值模拟验证了格点热方程的稳定性速率，证明了数学计算与计算机代码是一致的。
他们根据伴随论文中的遍历性理论（transversality theory）提出，对于“泛型”仪器（随机选择的优秀工具），它们几乎总是有效的，但他们并未声称这对于每一个糟糕的工具选择都是万能药。

核心总结

这篇论文是为混乱世界准备的工具包。它告诉我们，不需要等待数据变得“美好”且平滑才能理解它。通过使用“仪器”（探测器）而非“密度”（表面），我们可以为分形、移动边界和混沌噪声绘制出美丽且精确的地图。代价是，我们失去了单一的“完美”地图，但我们获得了绘制任何事物的能力。正如作者所言，我们是用“Chentsov–Markov 不变性”（关于单一完美地图的旧规则）换取了存在性（绘制不可测绘之物的能力）。

技术摘要：弱信息几何 (Weak Information Geometry)

问题陈述
由 Fisher、Rao、Amari 等人开创的统计模型经典微分几何理论依赖于 Fisher–Rao 度量。该度量通过 Fisher 信息矩阵定义，而该矩阵的定义要求概率密度函数相对于一个占优的 $\sigma$ -有限测度存在、对数似然函数可微且信息矩阵有限。这些条件在以下重要的统计模型类中失效：

参数依赖型支撑集 (Parameter-dependent support)： 支撑集随参数变化的模型（如均匀尺度模型、平移指数模型），这使得得分函数 (score function) 出现偏差或未定义。
缺乏占优测度 (Absence of dominating measures)： 奇异连续族（如 Cantor 位置模型），其中不存在任何似然函数或得分函数。
缺乏矩 (Absence of moments)： 具有重尾特征的模型（如 $\nu \le 1$ 的 Student $t$ 分布、 $\alpha$ -稳定过程），其中经典矩会发散。
受控模型中的偏差得分 (Biased scores in dominated models)： 在受控有限混合模型中，得分函数是一个有偏的推断函数，导致尽管形式上存在似然函数，但极大似然估计量仍是不一致的。

在这些场景下，Fisher–Rao 构造要么无法使用，要么在推断上毫无意义，从而阻碍了信息几何工具（如测地线、曲率分析和自然梯度法）的应用。

方法论
本文通过将概率律的表示从密度函数转向温和分布 (tempered distribution) $T_\theta \in \mathcal{S}'(\mathbb{R}^k)$ ，提出了一种统计模型的推广。在该框架下，一个概率律被识别为一个将 Schwartz 空间中的测试函数 $g \in \mathcal{S}(\mathbb{R}^k)$ 映射到其期望值的连续线性泛函 $\langle T_\theta, g \rangle = \mathbb{E}_\theta[g(X)]$ 。

信息不再是从局部的似然行为中提取，而是通过一个仪器 (instrument)（或测量设备）提取。本文利用了两类仪器：

弱正则推断函数 (Weak Regular Inference Functions)： Godambe 正则推断函数的推广，其中无偏性和可微性是通过分布表示 $T_\theta$ 与测试函数之间的配对来表达的，而非涉及密度的逐点恒等式。
弱 Stein 表示 (Weak Stein Representations)： 作用于测试函数的算子 $A_\theta$ ，满足 $\langle T_\theta, A_\theta g \rangle = 0$ 。

对于选定的仪器 $\psi(\cdot, \theta)$ ，本文定义了弱敏感度 (weak sensitivity) $S(\theta) = -\mathbb{E}_\theta[\partial_\theta \psi]$ 和弱变异性 (weak variability) $V(\theta) = \mathbb{E}_\theta[\psi \psi^\top]$ 。Godbead 信息矩阵随后被构造为：
$G(\theta) = S(\theta)^\top V(\theta)^{-1} S(\theta)$
该矩阵作为参数空间 $\Theta$ 上的黎曼度量。该框架依赖于模型映射 $\theta \mapsto \langle T_\theta, g \rangle$ 是弱可微的（假设 2.3），从而允许使用弱 Bartlett 恒等式来联系敏感度与分布的导数。

核心贡献与结果

扩展黎曼统计模型 (定理 1.1)：
本文证明，如果一个参数族配备了一个具有全秩敏感度和正定变异性的仪器，则 Godambe 信息 $G(\theta)$ 定义了一个光滑的黎曼度量。这使能够拥有黎曼结构的模型类别远超 Fisher–Rao 类。
- 恢复 Fisher–Rao： 当密度存在且得分函数是一个可容纳的仪器时， $G(\theta)$ 与 Fisher 信息 $I(\theta)$ 一致。
- Loewner 排序： 每当 Fisher 信息存在时， $G(\theta) \preceq I(\theta)$ 在 Loewner 序下成立。当且仅当仪器是得分函数的非奇异线性变换时，两者相等。
非正则模型中仪器的存在性 (命题 1.2)：
本文展示了适用于因不同原因导致失效于 Fisher–Rao 条件的模型之合适仪器：
- 均匀尺度与平移指数模型： 通过基于矩或基于变换（特征函数）的仪器处理参数依赖型支撑集，从而产生光滑度量。
- Cantor 位置族： 这种没有占优测度的奇异连续模型，通过有界变换仪器（正弦波）或矩仪器，可以获得有效的 Godambe 度量。对于矩仪器，该度量是平坦的 ( $G(\theta) \equiv 8$ )。
- 受控有限混合模型： 在得分函数有偏的受控模型中，“层级无关 (stratification-agnostic)”的仪器（在每个分量律下均无偏）可以恢复有效的黎曼度量，而基于似然函数的路径则会失败。
- $\alpha$ -稳定格点 SPDE： 由 $\alpha$ -稳定噪声驱动的动力系统（其中方差未定义）可以通过特征模探测器得到闭式 Godambe 度量。
Stein 差异等价性 (第 6 节)：
本文确立了二次 Stein 差异会诱导出与 Godambe 度量相同的局部几何结构。具体而言，如果 Stein 差异是通过带有最优权重 $V(\theta)^{-1}$ 的期望残差的二次型定义的，那么所得度量正是 Godambe 信息。此外，本文还展示了 RKHS Stein 差异如何生成一种层级化的几何结构，聚合了连续的恒等式。
几何稳定性与谱间隙 (第 5 节)：
在格点随机热方程的例子中，本文表明 Godambe 度量稳定到其平稳值的速率受底层离散拉普拉斯算子的谱间隙 (spectral gap) 控制。这为系统的动力学稳定性与统计模型的几何稳定性之间提供了定量桥梁。
推断分离与块对角化 (第 8 节)：
本文提供了推断分离（非形成性/nonformation）的几何特征描述。Godambe 度量中非对角块的消失 ( $G_{\alpha\beta} = 0$ ) 对应于感兴趣参数与干扰参数的正交性。
- 自动正交性： 在对称位置-尺度模型中，使用奇函数（正弦）和偶函数（余弦）的仪器对可以自动产生块对角度量，即使在没有得分的模型（如 Cauchy 或 Cantor 模型）中也能实现精确的推断分离。
- Bhapkar–Godambe 投影： 提供了一种通过将感兴趣的仪器投影到干扰仪器的正交补空间上来实现度量块对角化的构造方法。

意义与主张
本文声称，只要度量是由仪器而非似然函数导出的，那么对统计模型的微分几何处理在移除基于密度的表示后依然可以生存。

存在性 vs. 规范性： 这种扩展以牺牲 Chentsov–Markov 不变性（Fisher 度量的唯一性）来换取存在性。在非正则模型中，不存在规范度量；相反，存在一个由仪器选择所索引的 Godambe 度量族。
相对于仪器的几何： 该度量被解释为通过特定仪器观察到的模型的几何。不同的仪器可能产生不同的几何；在非正则模型（如均匀尺度模型）中，该族可能缺乏极大元（不存在 Fisher 型的上界），这反映了超高效性 (superefficiency) 等现象。
效用： 该框架允许将几何工具（测地线、曲率、自然梯度）应用于此前被认为属于“病态”或难以处理的模型，包括具有参数依赖型支撑集、奇异测度以及无限方差的模型。

本文结论指出，God-Riemannian 结构提供了一种统一的、基于推断函数的统计模型表征，将几何结构的存在性与是否存在似然函数解耦。