📊 statistics

An Old Look at Empirical Bayes

本文批评现代经验贝叶斯方法混淆了层级并歪曲了不确定性，认为随着全层级建模成本的降低，计算资源应转而用于真正符合层级结构的贝叶斯方法。

原作者： Nicholas G. Polson, Vadim O. Sokolov, Daniel Zantedeschi

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Nicholas G. Polson, Vadim O. Sokolov, Daniel Zantedeschi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《重新审视经验贝叶斯》的解读。

大局观：来自过去的警示

想象一位名叫丹尼斯·林德利（Dennis Lindley）的著名统计学家曾开过一个玩笑：“只有一件事比死板的规则遵循者（频率学派）更糟糕，那就是试图根据当前正在玩的游戏来制定自己规则的规则遵循者（经验贝叶斯学派）。”

这篇由波森（Polson）、索科洛夫（Sokolov）和赞特德斯奇（Zantedeschi）撰写的论文，重新审视了这个玩笑。他们关注的是戴维·布莱（David Blei）在 2026 年提出的一种“经验贝叶斯”的新高科技版本。虽然布莱的新方法极其强大，并利用了现代计算机（如神经网络）等花哨的工具，但作者们认为，布莱仍在犯同样的老错误。

这个错误就是：重复使用同一组数据。

核心问题：“双重利用”

要理解这篇论文，让我们使用一个侦探与嫌疑人的类比。

理想侦探（完全分层贝叶斯）：
- 侦探首先拥有一套关于罪犯行为模式的通用理论（“先验”）。
- 他们查看犯罪现场的具体证据（“数据”）。
- 他们将理论与证据结合，以推断出真凶。
- 结果： 得出一个公平、合乎逻辑的结论，同时尊重理论的不确定性。
“经验”侦探（旧方法 & 布莱的新方法）：
- 侦探首先查看犯罪现场。
- 他们仅根据所见，发明一套关于罪犯行为模式的新理论。
- 然后，他们再次查看犯罪现场，利用同一份证据，结合他们刚刚发明的理论来破案。
- 结果： 他们进行了“双重利用”。他们利用数据构建了规则，然后又利用数据应用这些规则。这使他们过于自信。他们认为自己比实际情况更了解答案，从而导致“覆盖率不足”（他们的置信区间过窄，导致他们比预期更频繁地错过真相）。

戴维·布莱在做什么？

戴维·布莱是一位现代统计学家，他提出了三种新的、花哨的方法来进行这种“经验贝叶斯”侦探工作：

对称性： 利用数据中的模式（如壁纸的重复图案）来猜测规则。
模拟： 当数学公式难以直接写出时，利用计算机模拟来猜测规则。
校准： 利用过去的实验来猜测新研究中的“偏差”。

作者们承认布莱的工具令人印象深刻。它们速度快，能处理复杂问题。然而，作者们认为，布莱只是给“双重利用”问题换了个名字。他不再只是猜测一个简单的数字（如平均值），而是利用数据猜测一个复杂的形状或分布，然后再次利用该数据进行预测。

三大主要批评

1. 名称游戏（“贝叶斯经验贝叶斯”）

布莱称他的方法为“贝叶斯经验贝叶斯”。作者们认为这具有误导性。

真正的贝叶斯： 你写下一个支配你规则的“超级规则”（超先验），并让数学来处理不确定性。
布莱的方法： 他利用数据找到最佳规则，然后将该规则视为既定事实。
类比： 这就像一位老师批改试卷，然后根据全班平均分决定什么是“及格线”，最后再用这个新的及格线重新批改试卷。及格线不是在考试前决定的，而是由考试决定的。

2. “总体后验”与真实情况

布莱引入了一个名为“总体后验”（Population Posterior）的概念。

作者的观点： 这实际上并不是一个“后验”（基于特定证据对特定事件的信念）。它是如果你运行一百万次实验会发生的平均结果。
类比： 假设你想知道一枚特定的硬币是否公平。
- 真实后验： “基于我翻转这枚特定硬币的 10 次结果，我认为它有 60% 的可能性是公平的。”
- 总体后验： “如果我有像这样的一百万枚硬币，并且我把它们都翻转了，这是平均结果。”
- 作者们认为，布莱将“一百万枚硬币的平均值”包装成好像是“这枚特定硬币”的答案。这对某些事情很有用，但它不是同一回事，将其称为“后验”会混淆人们对不确定性可信度的判断。

3. 蒂威公式（收缩机器）

现代统计学的很大一部分涉及“收缩”估计值（将极端数值拉向平均值以避免噪声）。

问题： 一种流行的方法（f-建模）平滑数据以创建收缩规则。但有时，这种平滑后的规则并非源自任何逻辑上的“先验”或理论。它仅仅是一条数学曲线。
解决方案： 作者们建议使用马蹄先验（Horseshoe Prior）。
类比： 想象一张渔网。
- 坏网（f-建模）： 你根据今天抓到的鱼来拉伸渔网。如果你抓到了一条小鱼，你就把网眼变小；如果你抓到了一条大鱼，你就把网眼变大。渔网的形状根据捕获物而改变。
- 好网（马蹄先验）： 你拥有一张具有特定设计的网（具有重尾以放过大鱼，具有紧密的网眼以捕捉小鱼）。你并不根据鱼来改变网的设计，你只是用这张网去捕鱼。“马蹄”是一种特定的、经数学证明的网的设计，它能在不破坏概率规则的情况下，完美地用于在噪声数据中寻找罕见的大信号。

作者们的解决方案：“直接写下规则”

这篇论文认为，在 2026 年，计算机速度如此之快，我们不再需要走捷径。

旧借口： “我们无法计算完整的贝叶斯答案，因为它太难了，所以我们将使用经验捷径。”
新现实： “我们现在可以计算完整的答案。成本微不足道。”

作者们建议，与其使用“双重利用”的捷径，研究人员应该：

为问题写下一个恰当的“超级规则”（超先验）。
利用现代计算机工具（如马蹄先验）来计算完整、诚实的答案。
这确保了不确定性被正确计算，并且结果是“连贯的”（它们相互一致）。

总结

这篇论文是对统计学中知识诚实的呼吁。

布莱的计划： “看看这种利用数据猜测规则，然后再利用数据解决问题的惊人新方法！”
作者们的回应： “这很巧妙，但它仍然是在重复使用数据。这就像一位侦探根据罪行制定法律，然后根据该法律逮捕嫌疑人。”
建议： 停止试图用捷径耍小聪明。利用我们今天拥有的强大计算机，去做那件“枯燥”但正确的事情：写下完整的规则集（分层结构），并让计算机正确地解决它。这将为你提供你真正可以信赖的答案。

技术摘要：对经验贝叶斯的一种旧审视

问题陈述
本文重新审视了丹尼斯·林德利（Dennis Lindley）的批评，即经验贝叶斯（EB）在统计上是不连贯的，因为它“重复使用了同一组数据”：首先从边际分布估计超参数（或先验），然后计算后验分布，仿佛该先验是固定且已知的。作者认为，EB 的现代扩展，特别是大卫·布莱（David Blei）2026 年 IMS 奖章讲座计划，试图通过计算创新（概率对称性、基于模拟的推断和校准研究）和术语转变（例如“贝叶斯经验贝叶斯”、“总体后验”）来解决这一问题。核心问题在于，这些计算和概念上的扩展是否解决了 EB 的根本不连贯性——具体而言，未能传播先验/超参数的不确定性——或者仅仅是掩盖了它。作者主张，维持完全层级纪律的计算成本已降至足够低，使得 EB 这种“捷径”不再能由效率增益所证明其合理性。

方法论与理论框架
本文采用理论与比较分析，而非新的实验模拟。它对比了三种不同的推断方法：

完全层级贝叶斯（Full Hierarchical Bayes）： 指定一个联合概率模型，在超参数 $\eta$ 上设定一个适当的超先验 $\rho(\eta)$ ，从而得到连贯的后验分布 $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$ 。
经典经验贝叶斯（Type II ML）： 通过边际最大似然（或矩估计法）估计 $\eta$ 以获得 $\hat{\eta}(x)$ ，然后计算 $p(\theta | x, \hat{\eta})$ 。这种方法忽略了 $\hat{\eta}$ 的变异性。
布莱的现代计划：
- 贝叶斯经验贝叶斯（BEB）： 利用概率对称性（可交换性、平移不变性）和遍历分解来定义一个导向测度 $g$ ，并通过变分推断或神经网络进行估计。
- 总体后验（Population Posterior）： 将目标定义为 $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$ ，即对重复数据集的期望，而非对已实现数据的后验。
- 基于模拟的 EB： 使用隐式似然和摊销推断网络来近似总体后验。

作者通过Tweedie 公式（ $E[\theta|x] = x + \sigma^2 \nabla \log m(x)$ ）的视角分析这些方法，区分了：

f-建模（f-modeling）： 直接平滑边际密度 $m(x)$ 。作者认为，这不能保证所得估计量源自有效的先验，可能违反容许性和连贯性。
g-建模 / 非参数最大似然估计（NPMLE）： 估计混合分布 $\pi$ 。虽然具有连贯性，但所得先验是离散的且支持集有限，可能无法捕捉稀疏信号恢复所需的重尾特性。
马蹄形层级贝叶斯（Horseshoe Hierarchical Bayes）： 一种连续的全局 - 局部收缩先验（半柯西超先验），在稀疏正态均值问题中产生有效的 Tweedie 公式并实现极小极大最优性。

主要贡献与论点
本文提出了四个主要技术论点：

“贝叶斯经验贝叶斯”的区别： 作者澄清，布莱的“贝叶斯经验贝叶斯”（BEB）在结构上不同于迪利 - 林德利（Deely–Lindley）的“贝叶斯经验贝叶斯”。迪利 - 林德利在有限维参数上设定适当的超先验。布莱的 BEB 则利用神经网络作为优化工具，通过边际最大似然（MML）拟合无限维导向测度，而不对该导向测度设定后验分布。因此，BEB 继承了经典 EB 的数据依赖性和覆盖率不足问题，仅仅是将插入估计（plug-in estimation）转移到了更高一层的抽象层面。
“总体后验”的本质： 本文认为，“总体后验”（ $q^*$ ）是一个频率派对象（对假设重复的期望），而非基于已实现数据的贝叶斯后验。虽然它具有有效的预测解释（与 PAC-贝叶斯理论相关），但将其营销为“后验”会造成关于不确定性量化的混淆。作者建议将其重命名为“总体预测分布”，以反映其频率派的平均性质。
对 f-建模和 Tweedie 公式的批评： 作者完善了达塔 - 波尔森（Datta–Polson）对埃夫伦（Efron）f-建模的批评。他们证明，平滑后的边际得分函数并不一定对应于有效的先验。因此，所得的“后验均值”并非真正的贝叶斯规则，缺乏与适当先验相关的容许性和极小极大保证。相比之下，马蹄形 Tweedie 公式源自一个适当的层级先验（半柯西尺度混合），确保收缩曲线是一个具有稀疏信号最优尾部行为的真正贝叶斯规则。
基于模拟的推断（SBI）与目标： 本文区分了针对标准后验 $p(\theta|x)$ 的 SBI 方法（如神经后验估计、生成贝叶斯计算）与布莱的 SBI-EB（针对总体后验）。作者认为，现代 SBI 工具能够直接计算完全层级后验；因此，使用它们来近似总体平均对象是一种目标选择，而非计算上的必要性。

结果与发现

连贯性与不确定性： 本文确立，EB 捷径（插入估计量）系统地低估了不确定性，导致可信区间覆盖率不足，特别是在小样本或稀疏情形下。完全层级贝叶斯正确地传播了超参数的不确定性。
最优性： 在稀疏正态均值问题中，马蹄形层级贝叶斯估计量实现了极小极大最优速率。作者表明，NPMLE（一种连贯的 EB 方法）产生的离散先验无法匹配马蹄形先验的重尾行为，导致尾部推断性能次优。
计算权衡： 作者断言，随着现代变分推断、神经摊销和基于模拟方法的发展，完全层级贝叶斯的计算成本与 EB 捷径的推断成本相比现已微不足道。
案例研究：
- 药物警戒（DuMouchel）： 表明成功的强度借用依赖于真实的层级结构（Gamma-Poisson），其中 EB 步骤仅是一种计算上的权宜之计，而非基础性必要。
- 校准研究： 显示通过校准结合实验数据和观察数据需要针对偏差的层级模型。将偏差参数的 MLE 估计值直接插入会失败于传播不确定性，而具有偏差尺度马蹄形先验的层级模型则能提供连贯的推断。

意义与建议
本文结论认为，对经验贝叶斯概念的“重命名”（例如改为“贝叶斯经验贝叶斯”）并未解决林德利、古德（Good）和杜穆谢尔（DuMouchel）所指出的根本统计不连贯性。这项工作的意义在于呼吁将现代统计学令人印象深刻的计算机器（变分推断、神经网络、SBI）重新部署用于适当的层级贝叶斯，而不是将其作为替代方案。

作者建议：

采用全局 - 局部收缩先验（特别是马蹄形及其变体）作为稀疏问题的默认选择，因为它们提供连贯的不确定性量化和极小极大最优性。
将“总体后验”视为频率派预测对象，而非贝叶斯后验。
认识到 EB 与完全层级贝叶斯之间的计算差距已经消除，从而移除了 EB 捷径的主要理由。
确保任何使用“经验”方法的情况都明确表述为对层级模型的近似，并清楚说明近似失效的条件（例如，组数少、高稀疏性）。

本文并不声称经验贝叶斯无用，而是认为其现代计算扩展应被视为计算完全层级后验的工具，从而在保持贝叶斯推断纪律的同时，实现曾经被认为需要 EB 捷径才能达到计算效率。