Possibilistic inferential models: a review

标题：可能性推断模型：综述
作者：Ryan Martin
日期：2025 年 11 月 13 日

1. 问题陈述与动机

本文探讨了在缺乏真实先验信息的情况下，针对未知参数（$\Theta$）进行数据驱动的量化不确定性与归纳推断所面临的根本挑战。作者指出，传统的概率方法——特别是采用默认先验的贝叶斯推断以及费希尔的置信论证——存在固有的不可靠性。

核心问题被识别为“虚假置信”（false confidence）现象。正如虚假置信定理（Balch 等，2019）所确立的，任何依赖数据的概率不确定性量化方法（无论是贝叶斯、置信还是其他方法），若对假设赋予精确的概率值，则在先验信息为空的情况下，不可避免地会对某些错误假设赋予高概率。这会导致“系统性的误导结论”。作者认为，这并非特定先验或置信构造的缺陷，而是概率理论本身在缺乏先验知识时应用于认知不确定性（规范模糊性）时的局限性。

本文主张，为实现可靠性，必须超越可加性概率，转向不精确概率，特别是可能性理论。其目标是构建一个框架，既能提供完全条件化、类贝叶斯的不确定性量化，又能保持可证明的频率学派可靠性（校准性）。

2. 方法论：可能性推断模型（IMs）

本文综述并扩展了**可能性推断模型（IMs）**的构建。与原始 IM 框架（Martin 和 Liu，2015b）依赖涉及数据生成关联（$Z = a(\Theta, U)$）和随机集的三步过程不同，所综述的方法聚焦于一种更直接、基于似然的构建方式，无需手动降维或特定的关联选择。

关键构建步骤：

1. 排序：该方法利用排序函数评估参数值 $\theta$ 与观测数据 $z$ 的相容性。在标准情况下，这即为相对似然：
   $$R(z, \theta) = \frac{p_\theta(z)}{\sup_{\vartheta} p_\vartheta(z)}$$
   本文指出，根据具体情境，也可使用其他排序函数（如轮廓似然、经验风险）。
2. 有效性验证：为确保可靠性，排序函数通过概率到可能性的变换转化为可能性轮廓 $\pi_z(\theta)$。此步骤通过对抽样分布进行校准来“验证”排序：
   $$\pi_z(\theta) = P_\theta \{ R(Z, \theta) \leq R(z, \theta) \}$$
   该轮廓满足 $\sup_\theta \pi_z(\theta) = 1$，且最大值在最大似然估计处达到。
3. 不确定性量化：该轮廓定义了可能性测度（上概率）$\Pi_z$ 和必要性测度（下概率）$\bigtriangledown_z$：
   $$\Pi_z(H) = \sup_{\theta \in H} \pi_z(\theta), \quad \bigtriangledown_z(H) = 1 - \Pi_z(H^c)$$
   这些测度量化了关于 $\Theta$ 的假设 $H$ 的合理性与必要性。

处理讨厌参数：
本文详述了消除讨厌参数的两种策略：

• 扩展：一种基于扩展原理（在讨厌参数空间上进行优化）的通用操作，虽保持有效性但可能较为保守。
• 轮廓化：一种更高效的方法，在有效性验证之前，使用相对轮廓似然对感兴趣的参数值进行排序。这通常比基于扩展的边缘化具有更高的效率。

计算：
本文综述了一种新的计算策略（Martin，2025b），避免了昂贵的网格评估。该方法构建一个“信念集”（由可能性测度支配的精确概率集合），并从“内部概率近似”（通常是置信集边界上的均匀分布）中采样。随后将这些样本转换回可能性测度，从而促进蒙特卡洛评估。

3. 主要贡献与结果

A. 理论性质

• 强有效性：可能性 IM 被证明具有强有效性。具体而言，对于任意 $\alpha \in [0, 1]$：
  $$\sup_{\theta \in \mathcal{T}} P_\theta \{ \pi_Z(\theta) \leq \alpha \} \leq \alpha$$
  这意味着轮廓的上 $\alpha$ 水平集是精确的 $100(1-\alpha)\%$ 置信集。与贝叶斯可信集不同，这些集合无需渐近近似即可实现频率学派覆盖率。
• 虚假置信控制：IM 框架控制了虚假置信率（FCR）。对于任意假设 $H$，IM 将高下概率赋予错误假设 $H$ 的概率被显著性水平 $\alpha$ 所界定。这解决了概率方法固有的不可靠性问题。
• 效率（Bernstein–von Mises）：本文提出了一个新的可能性 Bernstein–von Mises 定理（Martin 和 Williams，2025）。该定理表明，在标准正则性条件下，可能性轮廓 $\pi_{Z_n}$ 收敛于一个高斯可能性测度，其方差匹配 Cramér–Rao 下界。因此，IM 具有渐近效率，在不牺牲有效性的前提下，其性能与经典估计量相当。

B. 推广

• 超越参数模型：该框架被扩展至缺乏参数似然的情境（如机器学习、风险最小化）。通过将似然替换为通用排序函数 $\rho(z, \theta)$（例如负经验风险），IM 构建依然保持有效。
• 预测：本文展示了与共形预测的联系。通过将 IM 框架应用于预测问题（将未来观测视为需通过对经验分布进行条件化而消除的讨厌参数），所得的预测 IM 轮廓被证明等价于归纳共形预测算法的输出。
• 讨厌参数：本文阐明，虽然轮廓化通常更高效，但在高维讨厌参数设置（如 Neyman-Scott 问题）中可能表现不佳，暗示此类情况需采用边缘或条件似然。

4. 意义与主张

本文主张，可能性 IM 在统计基础方面代表了重大进展，具体体现在：

1. 统一与填补空白：该框架提供了频率学派与贝叶斯目标的“统一”，但更重要的是，它填补了两者各自的缺陷。它既提供了贝叶斯主义者所期望的完全条件化、数据依赖的推断，又保证了频率学派所要求的误差率控制。
2. 解决“虚假置信”危机：它为虚假置信问题提供了数学上严谨的解决方案，证明了在缺乏先验信息的情况下，概率不确定性量化本质上不可靠，而可能性量化则不然。
3. 重新诠释经典概念：本文主张，p 值和置信区间可自然地被解释为可能性测度（合理性的测度）和合理参数值的集合。这为这些工具的实际应用提供了文献中此前缺失的严谨依据。
4. 实际适用性：通过新的计算工具以及与共形预测和自助法（bootstrap）的联系，本文论证 IM 不仅是理论构造，而且可扩展至现代统计与机器学习问题，包括风险最小化和预测。

作者总结道，尽管 IM 领域仍在发展中（特别是在高维扩展和非空先验信息方面），但该框架为现有范式提供了一种稳健、可靠且灵活的替代方案，解决了统计推断中的基础性危机。