📊 statistics

To select or not to select: predictively consistent priors instead of model selection

本文认为，在有限数据机制下，模型选择往往是不必要的甚至会对预测性能产生不利影响，因此提议使用能够随着模型复杂度增加而保持合理预测含义的预测一致先验，从而使灵活的模型能够匹配或超越被选中的简单模型。

原作者： Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在尝试创造完美汤品的厨师。你有一个基础配方（一个简单的模型），它效果还可以，但你怀疑加入更多异域香料和蔬菜（复杂度）会让它味道更好。然而，你听到了一个警告：“如果你加入太多食材，你可能会破坏风味，让那些没试过的人觉得味道很奇怪”（过拟合）。

长期以来，统计学家一直遵循一条经验法则：“保持简单。” 他们会做一锅复杂的汤，尝一下，如果觉得太复杂了，他们就会扔掉多余的食材，坚持使用更简单的版本。这被称为模型选择。

这篇文章由 Anna Riha 及其同事撰写，提出了一个大胆的问题：如果问题不在于汤的复杂度，而在于我们最初调味的方式呢？

核心问题：“狂野”的调味

作者认为，当统计学家构建复杂模型时，他们使用的“默认调味”（先验分布/pellar）往往过于松散。想象一下，如果不加计量地撒盐。如果你在一小碗汤里只加一小撮盐，没问题。但如果你把这种“一小撮”的逻辑用在一大锅拥有 50 种不同食材的汤上，你会得到一锅咸得无法入口的汤。

用统计学术语来说，当你向模型中添加更多变量（食材），却仍然使用独立、未经测量的“先验”（调味规则）时，模型的预测会变得非常疯狂。它会开始预测一些不可能发生的事情，比如一锅纯盐或纯水的汤，仅仅是因为数学上允许这样做。为了解决这个问题，人们以前的做法是说：“好吧，让我们删掉一些食材吧（选择一个更简单的模型）。”

解决方案：“预测一致性”的先验

作者提出了一种新的思考方式。与其扔掉食材，不如从一开始就改变调味的方式。他们称之为**“预测一致性先验”**。

你可以把它想象成一个智能量勺。

旧方法： 你有一个固定装盐量的勺子。如果你加入 10 种食材，你就加 10 勺盐。汤就会变得太咸。
新方法（预测一致性）： 你有一个神奇的量勺，它知道锅里有多少种食材。如果你加入 10 种食材，它会自动调整，以确保汤的总咸度始终保持在你想要的位置。

通过使用这些“智能先验”，无论模型多么复杂，模型都能很好地处理 50 种食材。无论模型如何增加复杂度，预测依然保持稳定且合理。

实验：测试这锅汤

研究人员进行了几项实验来测试这个想法，将“旧方法”（选择更简单的模型）与“新方法”（在复杂模型上使用智能先验）进行了对比。

增加食材（线性与逻辑回归）： 他们不断向模型中添加变量。
- 结果： “旧方法”（简单模型）通常表现良好，但“新方法”（带有智能先验的复杂模型）的表现同样出色甚至更好。复杂模型并没有变得“太咸”或变得奇怪。
前向选择（挑选最好的食材）： 他们尝试通过逐一添加最好的食材来构建模型。
- 结果： 使用“旧方法”时，由于调味不对，选择过程经常会产生混乱并选错食材。使用“新方法”时，包含所有食材的复杂模型可以安全使用，且选择过程运作得更好。
非线性形状（曲线配方）： 他们尝试使用多项式来模拟复杂的曲线模式（比如过山车）。
- 结果： “旧方法”（原始多项式）随着曲线数量的增加而陷入混乱。而“新方法”（使用高斯过程，一种智能先验）无论添加多少曲线，都能保持曲线平滑且准确。

核心结论

该论文得出结论：我们通常不需要选择更简单的模型。

如果你担心模型过于复杂会导致过拟合，解决方案并不是削减它。解决方案是修正调味（先验），让模型在增长时知道如何表现。

如果你选择了一个更简单的模型且效果更好： 论文指出这是一个红旗（警示信号）。这通常意味着你原本的“调味”不好（在不可能的预测上分配了过多的权重），而简单的模型恰好掩盖了这个缺陷。
建议： 不要过度痴迷于“稀疏性”（拥有很少的食材）。相反，应该专注于“预测一致性”（确保你的调味规则随着食材的增加而保持合理）。

最后的比喻

想象你正在搭建一座积木塔。

旧观点： “如果塔太高，它会倒塌。让我们在 10 块积木时停止搭建。”
本文观点： “塔之所以倒塌，是因为你使用的是摇晃的胶水。如果你使用坚固、一致的胶水（预测一致性先验），你可以建造一座 100 块积木的塔，而且它能像 10 块积木的塔一样直立。你不需要停止搭建，你只需要更好的胶水。”

简而言之：不要畏惧复杂度。要畏惧糟糕的先验。 如果你把先验处理得当，你可以使用现有的最大、最复杂的模型，并且它对未来的预测很可能与任何你选出的简化版本一样好，甚至更好。

技术摘要：选择还是不选择：使用具有预测一致性的先验而非模型选择

问题陈述

在贝叶斯建模工作流中，从业者经常面临模型复杂性与泛化能力之间的权衡。统计学常识认为，选择更简单的模型（简约性）对于避免过拟税（overfitting）至关重要，尤其是在有限数据的情况下。然而，模型选择本身就是一种不稳定的来源，并可能引入选择诱导的偏差，根据所使用的标准，可能会偏向于过拟合或欠拟合的模型。

核心问题在于确定何时需要进行模型选择，以及何时进行模型选择是多余甚至有害的。作者研究了对更简单模型的需求究竟源于模型结构本身，还是源于随着模型复杂度增加而无法保持合理的先验设定。具体而言，他们考察了先验的选择如何影响在增加协变量或增加非线性复杂度时预测性能的稳定性。

方法论

理论框架

本文形式化了**预测一致性先验（predictively consistent priors）**的概念。作者定义了一系列具有递增复杂度 $d$ （例如预测变量的数量或基函数）的嵌套模型 $\{M_d\}$ 。他们为该序列中的先验引入了两个关键属性：

二阶预测一致性（Second-Order Predictive Consistency）： 如果先验序列的诱导信号分布（系统成分 $\eta_d$ ）的方差在全局范围内保持有界，并且当 $d \to \infty$ 时收敛到一个有限极限，则称该先验序列是预测一致的。形式上， $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ 且 $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$ 。这确保了增加模型组件不会导致先验预测分布爆炸或变得荒谬。
预测简约性（Predictive Parsimony）： 一个较弱的条件，要求连续的诱导信号分布之间的 Kullback-Leibler (KL) 散度是可求和的。作者证明，仅靠预测简约性不足以防止方差爆炸（例如，独立正态先验满足简约性，但无法满足一致性）。

作者将这些属性与标准的独立正态先验（例如 $\beta_j \sim \mathcal{N}(0, \tau^2)$ ）进行了对比，并指出后者往往违反了预测一致性，因为总信号方差会随预测变量数量 $d$ 线性增长（ $d\tau^2$ ），从而导致不合理的先验预测分布。

实验设计

作者通过使用模拟数据的四个实验设置来评估这些概念：

逻辑回归中的协变量添加： 一个稠密场景，真实的生成过程（DGP）包含所有协变量。他们将独立正态先验与 R2D2 先验（对贝叶斯 $R^2$ 设置先验）进行了比较。
前向逐步选择： 一个稀疏场景，只有一部分协变量是相关的。他们比较了使用独立正态先验的前向选择与 R2D2 先验，以及投影预测推断（projpred）。
增加非线性复杂度： 一个单预测变量设置，其多项式阶数或基函数不断增加（原始多项式、正交多项式、薄板样条函数以及希尔伯特空间近似高斯过程）。
随机对照试验 (RCTs)： 一个在控制高维协变量的情况下估计处理效应的因果推断场景。他们比较了联合先验（对所有系数使用 R2D2）与分裂先验（对协变量使用 R2D2，对处理效应使用独立正态）。

性能通过在独立测试数据上的期望对数预测密度（elpd）进行衡量，在缺乏测试数据时通过 PSIS-LOO-CV 进行估计。

核心贡献

预测一致性先验的形式化： 本文为能够随着模型复杂度增长而保持稳定预测含义的先验提供了严谨的数学定义。它区分了“简约性”（惩罚复杂度）与“预测一致性”（控制先验预测分布的规模）。
证明了选择的危害性： 作者表明，当使用预测一致性先验时，选择更简单的模型通常是不必要的。在许多实验中，带有一致先验的完整复杂模型能达到或优于所选的简单模型。相反，当模型选择看起来“有帮助”时（即较简单的模型表现更好），这通常表明复杂模型的先验设定不佳（例如，将过多的概率质量置于不合理的值上），而非模型结构本身存在缺陷。
R2D2 和函数空间先验作为解决方案： 作者通过以下方式实现预测一致性：
- R2D2 先验： 通过对解释方差比例（ $R^2$ ）设置先验，诱导出的系数先验会自动缩放，以防止方差爆炸。
- 函数空间先验： 高斯过程和惩罚样条函数被证明通过限制函数的边际方差，自然地满足了预测一致性。
因果推断的启示： 在 RCT 实验中，论文揭示了联合 R2D2 先验会随着协变量数量 ( $p$ ) 的增加，引入处理效应估计的偏差。这凸显了虽然预测一致性对于预测至关重要，但因果推断可能需要通过分裂先验来避免对特定参数产生意外的收缩。

结果

线性与逻辑回归： 在添加协变量的实验中，使用独立正态先验的模型由于先验方差爆炸，其样本外预测性能（elpd）随预测变量数量的增加而大幅下降。相比之下，使用 R2D2 先验的模型在达到真实模型规模时仍能保持性能稳定。
前向选择： 使用独立正达先验时，前向选择通常会为了避免过拟合而提前停止，但得到的模型表现仍逊于带有 R2D2 先验的完整模型。R2D2 先验允许使用所有协变量而不出现性能退化。
非线性建模： 带有独立先验的原始多项式回归在较高阶数时表现出爆炸性的先验预测方差和递减的测试性能。惩罚薄板样条函数和 HSGPs（属于预测一致型）则保持稳定。
因果推断： 在 RCT 实验中，联合 R2D2 先验导致估计的处理效应出现严重的向下偏差，随着协变量数量 ( $p$ ) 的增加，覆盖率变差。分裂先验（对协变量使用 R2D2，对处理效应使用固定正态）实现了最佳平衡，既提供了来自协变量的方差缩减，又没有引入偏差。

意义与主张

本文认为，传统上依赖模型选择来管理复杂性的做法，往往是针对糟糕先验设定的权宜之计。作者声称，预测一致性先验允许建模者安全地扩展模型以包含所有可用信息，只要先验设定能使先验预测分布保持合理。

给从业者的关键启示包括：

联合先验设定： 模型组件之间的独立性假设并非安全的默认选项；它们可能暗示了高度信息化且不现实的联合先验。
先验预测检查： 检查联合量（如先验 $R^2$ ）对于检测先验是否将过多概率质量置于荒谬值上至关重要。
重新评估选择： 如果模型选择倾向于更简单的模型，这可能预示着复杂模型的先验设定不佳，而非真正需要简约性。
语境至关重要： 虽然预测一致性对预测至关重要，但因果推断需要仔细考虑哪些参数应该被收缩。一个对预测结果具有预测一致性的联合先验，对于特定的因果参数仍可能产生偏差。

作者总结道，目标应该是指定那些在模型变得更加复杂时，在预测空间内仍能保持合理的先验，而不是通过在组件层面强制执行稀疏性来进行管理。这种方法支持了更安全、更具迭代性的模型扩展工作流。