📊 statistics

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

本文从信息守恒和公理化两个视角出发，建立了一个规范的可能推理更新规则，该规则通过乘积与上确界归一化将先验与似然相结合，并引入了一个用于控制认识强度的学习率参数。

原作者： Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探。你有一个关于谁是罪犯的直觉（你的先验信念），然后你在犯罪现场发现了一个新线索（你的数据）。在标准统计学的世界里，你使用一个著名的配方——贝叶斯法则——将这两者结合起来，得到你的最终答案。

但如果你的直觉不是一个精确的概率（比如“70% 确定”），而更像是一种模糊的感觉、一种“可能性”呢？也许你认为罪犯可能是管家、园丁或厨师，但你并没有确切的数字。这就是可能性理论（Possibility Theory）发挥作用的地方。这是一种处理不确定性的方法，它不依赖于数字的累加，而是通过寻找可能性的“最大值”或“上确界”来进行。

这篇题为《从贝叶斯法则到贝叶斯规则》（From Bayes' Rule to Bayes Rules）的论文提出了一个大问题：如果我们不再使用标准的概率，而是开始使用这些模糊的“可能性”图谱，是否仍然存在一种单一且完美的更新我们信念的方法？

重大发现：统领一切的规则

作者 Jeremie Houssineau 和 Badr-Eddine Chérief-Abdellatif 认为，答案是肯定的。 即使是在这个模糊的世界里，也存在一种“规范的”（即唯一的真理）更新方式。

他们通过从两个完全不同的角度观察这个问题，找到了这个规则，就像两名使用不同工具解决同一案件的侦探：

“信息守恒”侦探： 这位侦探相信，当你结合旧的直觉与新的线索时，你不应该意外地发明新的事实或丢失旧有的事实。你应该只是重新排列你已知的知识。通过坚持不创造也不破坏信息，他们推导出了一个特定的公式。
“逻辑一致性”侦探： 这位侦探会问：“如果我逐步更新我的信念，或者如果我观察谜题的一个较小部分，我的逻辑是否依然成立？”通过建立一套任何合理的更新都必须遵循的严格逻辑规则（公理），这位侦探也得到了完全相同的公式。

公式：
他们共同发现的规则出奇地简单。要获得你的新信念（后验），你需要将你的旧直觉（先验）乘以新线索（似然），然后除以结果中的最大值，以确保一切都符合“1 到 0”的比例。

用数学语言表达，它看起来是这样的：
$\text{新信念} = \frac{\text{旧直觉} \times \text{新线索}}{\text{结果中的最大值}}$

这就是“上归一化先验-似然乘积”（sup-normalised prior-likelihood product）。它是经典贝叶斯法则在模糊世界里的亲戚。

“魔力旋钮”（学习率）

这里有一个本文非常谨慎对待的转折点。在这个模糊的世界里，有一个特殊的“旋钮”或参数（我们称之为 $w$ ），它控制着你信念的强度。

论文证明了： 该规则对于这个旋钮的任何设置都完美适用。
论文排除了： 你无法仅通过观察数据来确定这个旋钮的完美设置。论文明确指出，这个强度参数从证据本身来看是不可识别的（not identifiable）。

可以这样理解：如果你正在尝试调收音机，数据告诉你正在播放什么歌，但它并不会告诉你音量应该有多大。你必须根据你最初对广播电台的信任程度来决定音量。论文认为，试图仅从数据中“学习”这个音量旋钮是一个死胡同；这是一个关于你自身信心的选择，而不是隐藏在数字中的事实。

这篇论文对什么说“不”

作者们非常清楚这个规则不是什么：

它不是一种发明新信息的方法。如果你的更新规则使你的信念比数据和你的旧直觉所能证明的更加确定，那么你就“创造”了信息，论文认为这是一种错误。
它不是一种丢失信息的方法。如果你的更新使你变得比你应该有的程度更不确定，那么你就“丢失”了信息。
它不是一种要求你知道生成数据的确切“真实”概率的方法。事实上，整个系统就是为了当你没有这些确切概率时而设计的。

他们有多确定？

作者对他们的发现非常有信心，但同时也对适用范围保持精准。

已证明： 他们已经通过数学证明（使用严密的逻辑和公理）得出，如果你想要在基于可能性的世界中保持信息守恒或逻辑一致，你必须使用这个特定的更新规则。这不是猜测，而是一种推导。
非模拟： 他们不仅仅是通过计算机模拟来看看它是否有效；他们构建了一个逻辑框架，迫使这个规则成为唯一的答案。
并非解决所有问题的“终极方案”： 他们承认，虽然他们找到了规则，但尚未解决如何为每个具体情况挑选完美“音量旋钮”（ $w$ ）的问题。他们建议，这个旋钮需要根据外部目标进行校准（调整），例如确保你的预测能够覆盖正确范围，而不是自动从数据中学习。

给好奇青少年的启示

想象你正在建造一个向世界学习的机器人。如果你告诉机器人使用标准数学，它会累加概率。但如果世界是混乱的，且你无法确定具体的数字，你就告诉机器人使用“可能性”数学。

这篇论文告诉机器人：“这是在不对自己撒谎、也不忘记已知知识的前提下，更新你大脑的唯一方法。将你的旧猜测乘以新线索，然后进行归一化。顺便说一句，不要试图仅仅通过线索来猜测你的信念应该有多‘强’；你必须自己决定这种强度。”

这是一种全新的规则，用于应对一个模糊的世界，证明了即使当事物并非完全清晰时，仍然存在一种思考它们的完美方式。

技术摘要：从贝叶斯法则到贝叶斯规则

问题陈述
标准的贝叶斯推断依赖于概率论，其中不确定性是可加的，并通过贝叶斯法则进行更新。然而，经典统计学和现代机器学习经常偏离这一框架，利用基于损失的更新、温度后验或证据融合方案，在这些方案中，不确定性并非自然可加。一个基本问题仍然存在：为什么贝叶斯法则被视为“正确”的信息处理规则，以及这如何取决于信息的数学表示？具体而言，当关于固定参数的不确定性不是由概率分布表示，而是由一个可能性函数（可能性理论中的极大值加性类比）表示时，其原则性的更新规则是什么？

方法论
本文通过将推断视为信息处理来处理这一问题。作者从两个互补的基础视角出发，推导出了可能性推断的规范更新规则，这借鉴了经典的概率推导但将其适配于可能性理论的结构。

视角 1：最优信息处理（信息守恒）
- 框架： 作者将传统上与 Zellner [1988] 和标量交叉熵相关的信息守恒原则（ICP）重新表述为可能性设置。
- 核心机制： 本文并非将信息压缩为一个标量（如熵），而是利用了可能性函数固有的逐点偏序关系（ $f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$ ）。
- 推导： 通过引入一个满足序一致性、归一化以及在独立合取（乘积 t-算子）下具有加性的逐点信息得分 $S$ ，作者推导出了一个规范的对数信息映射： $I[f](\theta) = -\log f(\theta)$ 。
- 守恒： 一个信息处理规则（IPR）被定义为最优，如果它既不导致信息丢失也不导致信息创造。这通过一个信息不平衡泛函 $\Delta(\text{IPR})$ 来形式化，该泛函是参数空间上的一个函数而非标量。条件 $\Delta(\text{IPR}) = 0$ （逐点相等）唯一确定了更新规则。
视角 2：公理化方法（相干性）
- 框架： 作者提出了一个针对广义贝叶斯推断的相干性公理的可能性类比，该推断由 Bissiri 等人 [2016] 建立。
- 公理： 更新规则 $\psi[\ell, \pi]$ $ψ [ℓ, π]$ （将先验 $\pi$ $π$ 和损失 $\ell$ $ℓ$ 映射到后验）必须满足：
  - 序列相干性 (A2.1)。
  - 限制兼容性 (A2.2)。
  - 损失单调性 (A2.3)。
  - 对空损失和加性偏移的不变性 (A2.4, A2.5)。
- 推导： 与概率情况中归一化涉及积分不同，可能性推导要求证明极大值限制保持成对几率（pairwise odds），并且二元更新在三元组上是相干的。这些公理强制后验采取特定的函数形式。

主要贡献与结果

规范更新规则：
两种推导都收敛于同一个唯一的更新规则，称为可能性贝叶斯规则：
$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$
其中 $\pi(\theta)$ 是先验可能性函数， $L(\theta | y)$ 是似然（或证据）。
- 如果输入是采样分布 $p_\theta(y)$ ，则 $L$ 是似然。
- 如果输入是通用损失 $\ell(\theta, y)$ ，则 $L(\theta | y) \propto \exp(-w \ell(\theta, y))$ ，其中 $w \geq 0$ 是学习率参数。
学习率 ( $w$ ) 的角色：
论文明确指出参数 $w$ （控制认识强度）对于两种推导都是外生的。
- 在视角 1 中， $w$ 是将损失转化为证据可能性函数时的编码选择。
- 在视角 2 中， $w$ 是由相干性公理未确定的常数。
- 结果： 强度 $w$ 无法从归一化证据本身中识别。最大化可能性证据仅仅是将可容许的强度驱动至其最小值。因此， $w$ 代表的是关于认识强度的建模选择，而非数据可识别的量。
信息丢失与创造：
通过利用逐点偏序，本文区分了信息丢失和信息创造作为真实的、可观测的现象，这与概率设置中信息作为标量摘要的情况不同。
- 如果后验在处处被贝叶斯更新所支配（ $g \preceq \pi(\cdot|y)$ ），则 IPR 不会创造信息。
- 如果后验支配贝叶斯更新（ $g \succeq \pi(\cdot|y)$ ），则 IPR 不会丢失信息。
- 贝叶斯规则是同时避免这两种情况的唯一 IPR。
与现有工作的联系：
- 推导出的规则与近期非精确概率文献中提出的上确界归一化先验-似然乘积（例如 Martin [2026]）相一致。
- 信息不平衡函数对应于极大值 Donsker–Varadhan 对偶（Singh 等人 [2025]）中的被积函数，表明贝叶斯规则是对偶一致性界限的唯一共同优化器。

意义与主张
本文声称，贝叶斯法则不仅仅是一个公式，而是由底层信息演算（加性与极大值加性）以及数据与参数之间联系的性质所索引的一个规则族。

基础性证明： 本文认为，上确界归一化乘积不仅是结合似然与部分先验信息的启发式方法或便捷选择，它是由可能性设置下的信息守恒和相干性基本原则所强制要求的。
澄清广义贝叶斯： 本文通过证明在可能性框架下，该参数在本质上是无法从数据中识别的，从而解决了广义贝叶斯更新中关于学习率的歧义，该参数被视为一种认识强度的校准。
范围： 本工作是基础性的且公理化的。它并未提出新的经验算法或广泛的实验对比，而是为为什么上确界归一化更新是可能性推断的规范选择提供了理论支撑。它表明该框架自然地扩展到连续参数空间，而无需处理概率扩展中常见的测度论复杂问题，因为可能性函数是逐点定义的。

总之，本文证明了当不确定性由可能性函数表示时，“正确”的信息处理方式必然会导致上确界归一化更新规则，而学习率则作为一个外部校准参数，而非可学习的统计量。