技术摘要：积分不精确概率度量 (IIPM)

1. 问题陈述

量化概率分布之间的差异是统计学和机器学习的基础，主要用于比较统计（偶然）不确定性。然而，依赖于单一可加测度的经典概率理论难以表示认知不确定性 (EU)——即源于知识不完整、歧义或“未知未知”的不确定性。经典模型往往无法区分真正的无知与无差别，导致机器学习系统中出现过度自信和泛化能力差等问题。

尽管不精确概率机器学习 (IPML) 提供了更丰富的表示形式（如 credal 集、信念函数、下/上概率）来建模 EU，但缺乏用于比较这些模型的稳健统计度量。现有的散度度量往往缺乏统一的理论框架，或者无法在不精确模型空间中实现收敛的度量化。此外，在单个不精确模型内部量化 EU 仍然具有挑战性，许多现有度量缺乏严格的公理支持或计算可扩展性。

2. 方法论

2.1 理论框架：IIPM

作者引入了积分不精确概率度量 (IIPM)，这是将经典积分概率度量 (IPMs) 推广到容量（非可加集函数）设定下的产物。

• 数学基础：该框架利用Choquet 积分来定义容量上的期望，推广了标准 IPMs 中使用的 Lebesgue 积分。
• 定义：对于函数类 $\mathcal{F} \subseteq C_b(X)$ 和两个容量 $\nu, \mu$，IIPM 定义为：
  $$\text{IIPM}_{\mathcal{F}}(\nu, \mu) := \sup_{f \in \mathcal{F}} \left| \int f d\nu - \int f d\mu \right|$$
  其中积分为 Choquet 积分。
• 性质：作者证明 IIPM 是容量空间上的伪度量。在特定条件下（例如，当 $\mathcal{F}$ 在 $\|\cdot\|_\infty$ 范数下于 $C_b(X)$ 中稠密时），IIPM 作为一个有效的度量，能够度量化 Choquet 弱收敛。这确保了 IIPM 的收敛意味着底层容量的“真实”收敛。
• 通用性：该框架涵盖了各种 IP 模型，包括下概率、信念函数和概率区间，作为容量的特例。

2.2 认知不确定性量化：MMI

为了解决单个模型内部 EU 的量化问题，作者提出了最大平均不精确度 (MMI)。该度量量化了容量（例如下概率 $\underline{P}$）与其共轭（上概率 $\overline{P}$）之间的差异。

• 定义：
  $$\text{MMI}_{\mathcal{F}}(\underline{P}) := \text{IIPM}_{\mathcal{F}}(\underline{P}, \overline{P}) = \sup_{f \in \mathcal{F}} \left( \int f d\overline{P} - \int f d\underline{P} \right)$$
  （注：省略了绝对值，因为 $\overline{P}$ 在集合意义上支配 $\underline{P}$，确保了非负性）。
• 公理性质：作者证明 MMI 满足文献中提出的 credal 不确定性测度的关键公理 (A1–A6)，包括非负性、连续性、单调性和概率一致性（精确概率的 EU 为零）。
• 计算效率：对于全变差 (TV) 距离的特定情况，精确计算 MMI 需要评估 $2^K$ 个子集，这对于大的 $K$ 是不可行的。作者通过用最近的 $\epsilon$-污染模型近似下概率，推导出了线性时间上界 (MMI-Lin)。该上界计算高效 ($O(K)$)，并通过单调性公理在理论上得到了证明。

3. 主要贡献

1. 统一度量框架：引入 IIPM，这是首个利用 Choquet 积分专门为不精确概率设计的统计距离族。该框架将经典 IPMs（如 Wasserstein 距离和 MMD）推广到了不精确设定中。
2. 理论保证：证明 IIPM 度量化了 Choquet 弱收敛，为比较不精确模型提供了严谨的基础。论文还展示了 IIPM 如何恢复现有结果，例如 $\epsilon$-污染下的最优传输结果。
3. 新的 EU 度量 (MMI)：提出 MMI 作为一种满足既定公理性质的原则性认知不确定性度量。
4. 可扩展近似：推导了 MMI 的线性时间上界 (MMI-Lin)，使其能够应用于精确计算不可行的高维分类任务。

4. 实证结果

作者通过在具有不同类别数量 ($K=7, 10, 100$) 的数据集上进行选择性分类实验，验证了 MMI 和 MMI-Lin，包括 UCI 数据集（肥胖、数字）和图像数据集（CIFAR-10、CIFAR-100）。

• 性能指标：研究使用了准确率 - 拒绝 (AR) 曲线，其中模型在不确定输入上放弃预测。一个有信息量的 EU 度量应产生单调的 AR 曲线，趋近于左上角。
• 比较：将 MMI 和 MMI-Lin 与熵差 (E-Diff) 和广义 Hartley (GH) 度量进行了比较。
• 发现：
  • MMI 和 MMI-Lin 在所有数据集上始终优于 E-Diff。
  • MMI 和 MMI-Lin 的表现与 GH 相当，GH 通常被视为 credal 不确定性量化 (UQ) 的金标准。
  • 可扩展性：在大规模问题 ($K=100$) 中，当 MMI 和 GH 的精确计算变得不可行 ($O(2^K)$) 时，线性时间上界MMI-Lin 仍然保持高效，并继续优于 E-Diff，证明了其在高维设置中的实用价值。

5. 意义与主张

该论文声称在 IPML 的理论和实践方面均取得了进展：

• 理论进步：它提供了一个基于 Choquet 积分的原则性框架来比较容量，填补了关于不精确模型统计距离的文献空白。它确立了这些度量有效并度量化收敛的条件。
• 实用价值：通过引入 MMI，这项工作提供了一种新的、公理上健全的认知不确定性量化工具。线性时间上界解决了限制 credal UQ 度量在大规模机器学习中应用的计算瓶颈。
• 更广泛的影响：该框架能够在统一度量下比较不同的 IP 模型（如信念函数、随机集），从而可能促进在安全关键应用和稳健统计中在歧义下的更好决策。

作者承认了局限性，特别是由于不精确模型的主观性质，目前缺乏针对一般 IIPM 的基于采样的估计方法（不同于经典 IPMs），并将非参数估计器的开发确定为未来工作的关键方向。