📊 statistics

MMD-Balls as Credal Sets: A PAC-Bayesian Framework for Epistemic Uncertainty in Test-Time Adaptation

本文提出了一种用于测试时适应的 PAC-贝叶斯框架，该框架将最大均值差异（MMD）球解释为 credal 集，以推导出显式依赖于分布偏移幅度的泛化界，从而为量化认知不确定性并指导适应决策提供了一种原则性方法。

原作者： Ahanaf Hasan Ariq

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahanaf Hasan Ariq

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，多年来一直在用来自当地农场（源）的食材，精心完善一款特定汤品的食谱。你确切知道那款汤的味道，并且自信能够预测它的成品效果。

现在，想象你突然被派往另一个城市的一家新厨房（目标）。那里的农场种植的蔬菜略有不同。这碗汤可能依然美味，也可能难以下咽。问题在于，你并不知道新蔬菜究竟有多大的差异，也没有办法衡量端出一碗难喝汤品的风险。

本文针对这种确切情境，为机器学习模型提出了一种新的“安全计量器”。它被称为测试时适应（TTA），即模型尝试利用新的无标签数据实时自我调整。但在此之前，这些模型无法说出：“嘿，食材差异太大；我不应信任我的预测。”

以下是本文如何利用简单类比来解决这一问题的：

1. “不确定性气泡”（MMD 球）

作者引入了一个名为MMD（最大均值差异）的概念。你可以将其想象为一把高科技尺子，用于测量两组食材之间的差异程度。

核心思想：本文不再仅仅断言“新农场不同”，而是在原始农场的食材周围画出一个气泡（球体）。
气泡的大小：这个气泡的大小代表了新食材可能存在的差异程度。如果气泡很小，说明新农场与旧农场非常相似；如果气泡巨大，则意味着新农场可能正在种植某种完全狂野的东西。
可信集：本文将这个气泡称为**“可信集”**。用通俗的话说，这就是“所有可能现实的集合”。它表示：“我们并不确切知道新食材是什么，但我们知道它们就在这个气泡内的某个地方。”

2. “安全保证”（PAC-贝叶斯界）

本文构建了一个数学公式（界），根据该气泡的大小，精确告诉你那碗汤可能难喝到什么程度。

公式：总风险 = (食谱的难度) + (你修改食谱的程度) + (气泡的大小)
神奇之处：“气泡的大小”这一部分对应的是认知不确定性。这是本文的重大突破。它将以下两者区分开来：
- 偶然不确定性：“这个食谱本身就很难做对。”（固有噪声）。
- 认知不确定性：“我不知道新食材是什么，所以我是在猜测。”（因分布偏移导致的无知）。

如果气泡变得太大，公式就会告诉模型：“你的风险太高了。停止猜测。要么寻求帮助，要么拒绝提供这碗汤。”

3. “味道的几何学”（测地线保持）

本文还解释了为什么使用这种特定的“气泡”方法优于其他方法。

其他方法的问题：一些现有方法试图通过让味道变得“更平淡”或更通用（熵最小化）来修复汤品。作者认为，这就像把所有蔬菜都捣成糊状。对于常见蔬菜，味道可能还行，但这会破坏稀有、精致香草（稀有类别）的独特形态。
本文的解决方案：他们的方法充当了“几何守护者”。它确保即使食材发生变化，风味轮廓的形状和结构也能保持完整。它保留了“局部几何结构”，意味着稀有和独特的风味不会仅仅因为稀有而被压碎。

4. 决策者

最后，本文给出了何时进行适应的明确规则：

小气泡：新食材足够接近。你可以信任当前的预测。无需惊慌。
中气泡：食材有所不同，但你可以通过调整食谱（适应）来保持安全。
大气泡：食材差异过大。“上界风险”太高。模型应表示：“我不知道这里发生了什么”，并停止做出预测，而不是错误地猜测。

总结

简而言之，本文为人工智能构建了一个值得信赖的安全网。它利用数学上的“气泡”来衡量自 AI 训练以来世界发生了多大变化。随后，它计算出 AI 可能犯错的严格“最坏情况”。如果气泡太大，AI 就会知道停下来并说“我不确定”，而不是自信地给出错误答案。这对于自动驾驶或医疗诊断等安全关键任务至关重要，因为在这些领域，一个无声的错误可能是危险的。

技术摘要：作为测试时适应中认知不确定性信度集的 MMD 球

1. 问题陈述

本文解决了测试时适应（TTA）中的一个关键缺口：尽管现有方法（如熵最小化、正则化）提高了模型在分布偏移下的准确性，但它们缺乏将偏移幅度与预测可靠性联系起来的正式保证。在安全关键领域（自动驾驶、医学成像），当模型遇到与源训练分布（ $P_s$ ）不同的目标分布（ $P_t$ ）时，可能会无声地退化。

现有的不确定性量化方法往往混淆了偶然不确定性（数据固有的噪声）与认知不确定性（由于对数据生成过程知识有限而产生的不确定性）。此外，它们未能提供关于风险如何随分布偏移而退化的正式界限。作者形式化了核心问题：我们能否将目标风险界定为分布偏移的函数，从而提供可操作的认知不确定性？

2. 方法论与理论框架

本文提出了一个统一框架，整合了PAC-贝叶斯理论、核均值嵌入（MMD）和Walley 的不精确概率理论。

2.1 核心定义

RKHS-利普希茨损失（假设 1）： 假设条件期望损失函数 $L(w, \cdot)$ 属于一个再生核希尔伯特空间（RKHS） $\mathcal{H}$ ，且具有有界范数 $\|L(w, \cdot)\|_\mathcal{H} \leq L_H$ 。这使得利用核性质来界定风险差异成为可能。
MMD 诱导的信度集： 作者将一组合理的目标分布定义为源分布周围的 MMD 球：
$C_\varepsilon(P_s) = \{Q \in \mathcal{P}(\mathcal{X}) : \text{MMD}(P_s, Q) \leq \varepsilon\}$
通过 Walley 理论解读，该集合代表了在分辨率 $\varepsilon$ 下与源分布无法区分的所有分布，形成了一个量化认知不确定性的信度集。

2.2 理论推导

带 MMD 惩罚的 PAC-贝叶斯界限（定理 1）：
作者推导了一个针对目标风险 $R_{P_t}(\rho)$ 的泛化界限，该界限明确包含了依赖于 MMD 的偏移惩罚项：
$R_{P_t}(\rho) \leq \hat{R}_{P_s}(\rho) + \sqrt{\frac{KL(\rho\|\pi) + \log(2\sqrt{n}/\delta)}{2n}} + L_H \cdot \text{MMD}(P_s, P_t)$
这将风险分解为：(i) 偶然不确定性（经验风险），(ii) 估计不确定性（PAC-贝叶斯复杂度），以及 (iii) 认知偏移惩罚（与 MMD 线性相关）。
有限样本版本（定理 3）：
由于总体 MMD 未知，本文利用无偏 MMD 估计量 $\widehat{\text{MMD}}_u$ 和源自次高斯集中不等式的集中项 $\varepsilon_{m,n}$ 提供了一个可计算的界限。该界限以 $1-\delta$ 的概率成立，并实现了极小极大最优速率 $O(1/\sqrt{n})$ 。
风险分解（推论 9）：
通过在信度集上定义下界（ $\underline{R}_\varepsilon$ ）和上界（ $\overline{R}_\varepsilon$ ）风险，该框架得出了一个不精确区间。该区间的宽度将认知不确定性（由偏移惩罚 $L_H \cdot \varepsilon$ 和复杂度驱动）与偶然不确定性（由经验风险捕获）区分开来。
几何保持（命题 10）：
本文建立了 RKHS 中测地线畸变的界限。它表明，在特征映射有界的假设下，源和目标邻域之间局部特征几何的畸变受 MMD 控制。这从理论上解释了为何基于核的适应比熵基方法更能保持稀有类的结构，后者可能会导致稀有类区域的坍塌。

3. 主要贡献

本文声称有四项主要的理论贡献：

带 MMD 偏移惩罚的 PAC-贝叶斯界限： 一个泛化界限（定理 1）及其有限样本对应版本（定理 3），明确地将风险退化参数化为分布偏移幅度。
信度集解释： 将 MMD 球解释为信度集的新颖视角（命题 7），为所有合理分布集合提供了最坏情况下的风险保证。
不确定性分解： 正式的下界 - 上界风险分解（推论 9），将认知不确定性（分布偏移）与偶然不确定性（任务难度）分离开来，回应了 Hüllermeier 和 Waegeman (2021) 关于原则性不确定性分离的呼吁。
测地线保持： 解释了为何基于核的适应能保护局部特征几何的界限（命题 10），为对抗稀有类坍塌的鲁棒性提供了理论基础。

4. 结果与启示

适应决策准则： 不精确区间 $[\underline{R}_\varepsilon, \overline{R}_\varepsilon]$ 充当决策准则。当上界风险超过容忍阈值 $r_{max}$ 而下界风险未超过时，适应是 warranted（有理由的）。如果下界风险已经超过 $r_{max}$ ，则适应被视为徒劳。
假设检验联系： 信度集的宽度 $\varepsilon$ 可以利用 MMD 双样本检验的渐近零分布进行校准，从而将经典统计检验与认知不确定性量化联系起来。
稀有类鲁棒性： 几何保持界限表明，控制 MMD 可以防止局部特征流形的畸变，为基于核的 TTA 方法相对于熵最小化的鲁棒性提供了正式论据。

5. 意义与主张

本文将自己定位为首个通过 MMD 诱导的信度集来形式化 TTA 不确定性的工作，统一了 PAC-贝叶斯泛化、核方法和不精确概率。

可信部署： 该框架使系统能够在认知不确定性（由信度集宽度衡量）超过可容忍阈值时触发弃权或回退机制，符合认知智能的目标。
正式保证： 与依赖启发式方法的现有 TTA 方法不同，该方法提供了将偏移幅度与风险联系起来的、依赖于数据的正式界限。
与共形预测的关系： 作者指出，虽然共形预测处理预测不确定性（边际覆盖率），但他们的信度宽度 $\varepsilon$ 处理分布认知不确定性。他们提出了一种未来的组合方案，即 $\varepsilon$ 用于调整共形预测器的覆盖率水平，尽管他们并未展示该组合的实验结果。

承认的局限性：
本文承认，假设 1（RKHS-利普希茨损失）对于具有 softmax 输出的深度网络而言并非平凡之事，尽管 RBF 核的普适性提供了非正式的支持。它还指出，假设 2（有界特征映射）在特定机制下（例如 NTK、谱归一化）近似成立，但需要针对特定架构的进一步分析。MMD 收敛速率虽然是极小极大最优的，但在没有自适应核选择的情况下，实践中可能较为宽松。