Translating predictive distributions into informative priors

这是一篇关于贝叶斯统计中先验分布设定（Prior Specification）的技术论文，题为《将预测分布转化为信息先验》（Translating predictive distributions into informative priors）。作者 Andrew A. Manderson 和 Robert J. B. Goudie 提出了一种通用方法，用于将专家提供的关于可观测变量（observable）或模型导出量（model-derived quantities）的先验信息，转化为复杂贝叶斯模型中潜在参数（latent parameters）的联合先验分布。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在贝叶斯建模中，构建信息先验（Informative Prior）通常很困难，尤其是对于复杂、非线性或过参数化的模型。

• 核心矛盾：专家通常能提供关于可观测数据（如生存时间、身高、$R^2$）的直觉或经验分布，但贝叶斯模型需要的是关于潜在参数（$\theta$）的先验分布。
• 现有挑战：
  • 直接对参数进行elicitation（征询）往往不直观且不可靠。
  • 对于共轭模型或简单结构，可以通过解析方法转换；但对于非共轭模型或复杂结构（如分层模型、非线性回归），这种转换（Translation）通常没有解析解。
  • 现有的自动化方法（如基于高斯过程的“人在回路”方法）往往针对特定场景，缺乏通用性，且难以直接处理分布形式的信息。

目标：开发一种模型无关（model-agnostic）的方法，将专家提供的目标预测分布 $T(Y)$ 转化为模型参数 $\theta$ 的超参数 $\lambda$ 的最优设置，使得模型的先验预测分布 $P(Y|\lambda)$ 尽可能忠实于 $T(Y)$。

2. 方法论 (Methodology)

作者提出了一种基于多目标全局优化的自动化流程，旨在最小化目标分布与先验预测分布之间的差异。

2.1 核心框架

假设模型参数为 $\theta$，超参数为 $\lambda$。

• 目标：寻找最优超参数 $\lambda^*$，使得先验预测分布 $P(Y|\lambda)$ 与专家提供的目标分布 $T(Y)$ 尽可能一致。
• 三个理想属性：
  1. 忠实性 (Faithfulness)：先验分布必须准确编码目标数据分布。
  2. 唯一性 (Uniqueness)：在复杂模型中，可能存在多个 $\lambda$ 产生相同的预测分布。需要引入次要目标来区分它们（例如，选择不确定性最大的先验，即最大熵原则）。
  3. 可复现性 (Replicability)：算法在不同运行下应产生一致的结果。

2.2 优化目标函数

该方法采用两阶段优化策略，联合最小化两个目标：

1. 主要目标：预测差异 (Predictive Discrepancy, $\tilde{D}$)
   衡量先验预测分布与目标分布之间的差异。作者定义了多种差异函数：

   • 基于 CDF 的差异：Cramér-von Mises (CvM) 和 Anderson-Darling (AD)。AD 对尾部匹配更敏感。
   • KL 散度：前向 (Forward) 和反向 (Reverse) Kullback-Leibler 散度。
   • 公式：$\tilde{D}(\lambda | X) = \frac{1}{R} \sum \int d(P(Y|\lambda, X_r), T(Y|X_r)) dT(Y|X_r)$。

2. 次要目标：正则化/唯一性 (Regularisation, $\tilde{N}$)
   用于在多个“同样忠实”的解中选择最优解。

   • 策略：最大化先验的不确定性（例如，最大化参数 $\theta$ 的边际标准差的对数之和）。
   • 公式：$\tilde{N}(\lambda | X) = -\frac{1}{Q} \sum \log(\text{SD}(\theta_q))$。

2.3 优化算法流程

采用两阶段全局优化：

1. 第一阶段 (初始化)：使用 CRS2 (Controlled Random Search 2) 算法仅最小化主要目标 $\tilde{D}$。这能快速找到忠实度高的区域，并生成初始设计点（Design points）。
2. 第二阶段 (精细搜索)：使用 多目标贝叶斯优化 (Multi-objective Bayesian Optimisation)，具体采用 MSPOT 算法。
   • 利用高斯过程 (GP) 代理模型来近似 $\tilde{D}$ 和 $\tilde{N}$。
   • 寻找 Pareto 前沿 (Pareto Frontier)，即在不牺牲一个目标的情况下无法改进另一个目标的解集。
   • 通过损失函数 $L(\lambda) = \log(\tilde{D}) + \kappa \tilde{N}$ 从 Pareto 前沿中选择最终解，其中 $\kappa$ 是权衡两个目标的超参数。

2.4 实现细节

• 重要性采样 (Importance Sampling)：由于先验预测分布通常没有解析形式，作者使用重要性采样来估计差异函数，并设计了混合分布作为重要性分布 $Q(Y)$ 以保证估计的稳定性。
• R 包：方法已实现为 R 包 pbbo。

3. 关键贡献 (Key Contributions)

1. 通用转换框架：提出了一种不依赖特定模型结构的通用方法，将关于可观测量的专家知识转化为复杂模型的参数先验。
2. 多目标优化策略：创新性地引入了“唯一性”作为次要优化目标，解决了在低维观测信息下高维参数先验不唯一的问题（通过最大化先验不确定性）。
3. 自动化与可复现性：通过两阶段优化（CRS2 + 贝叶斯优化）和 Pareto 前沿分析，实现了从专家输入到先验设定的自动化流程，并提供了评估可复现性的机制。
4. 广泛的适用性验证：通过三个截然不同的案例验证了方法的鲁棒性。

4. 实验结果 (Results)

论文通过三个案例进行了验证：

案例 1：治愈率生存模型 (Cure-fraction survival model)

• 场景：生存数据中存在“治愈”个体（混合离散/连续分布）。
• 发现：
  • 单目标优化（仅最小化差异）倾向于找到退化解（Degenerate solution），即所有变异归因于截距和形状参数，回归系数接近 0。
  • 多目标优化成功找到了更合理的解，增加了回归系数的不确定性，改善了唯一性，尽管在协方差结构上仍存在一定非唯一性。
  • 结果高度忠实于目标分布。

案例 2：基于模型导出量 ($R^2$) 的先验

• 场景：利用关于决定系数 $R^2$ 的分布信息来设定线性回归系数 $\beta$ 的先验。
• 对比：比较了高斯先验、Dirichlet-Laplace 先验和正则化 Horseshoe 先验。
• 发现：
  • 灵活性：正则化 Horseshoe 先验最灵活，能最好地拟合各种 $R^2$ 目标分布。
  • 唯一性：高斯先验在超参数估计上最稳定（唯一），但缺乏灵活性导致无法忠实拟合目标。
  • 噪声参数问题：发现噪声方差 $\sigma^2$ 的超参数在优化中极不稳定（缺乏唯一性），表明仅凭 $R^2$ 信息不足以确定噪声先验，需结合外部知识。

案例 3：人类生长模型 (Preece-Baines 模型)

• 场景：非线性回归模型，设定关于身高的先验。
• 对比：与 Hartmann et al. (2020) 基于分位数的征询方法对比。
• 发现：
  • 本文方法生成的先验能产生合理的生长轨迹，且比 Hartmann 的方法更稳定（Stan 警告更少）。
  • 多目标方法虽然增加了参数的变异性，但避免了先验过于集中导致的模型拟合失败。
  • 揭示了模型结构本身的局限性：在某些协变量特定目标下，模型无法同时完美匹配所有年龄点的分布。

5. 意义与局限性 (Significance & Limitations)

意义：

• 解决了贝叶斯工作中“先验设定”这一瓶颈，特别是当专家知识仅存在于数据层面而非参数层面时。
• 提供了一种系统化的、可复现的、模型无关的工具，减少了手动调整先验的主观性和随意性。
• 强调了在优化过程中平衡“忠实度”与“唯一性/不确定性”的重要性。

局限性：

• 全局最优解保证：由于使用了启发式优化算法（CRS2 和贝叶斯优化），不能保证在有限时间内找到全局最优解，结果依赖于随机种子和超参数设置。
• 非唯一性问题：虽然引入了次要目标，但在某些复杂模型中（如高维协方差结构），先验的唯一性仍难以完全保证。
• 计算成本：多目标贝叶斯优化和重要性采样计算量较大，尤其是在高维数据空间。
• 次要目标的选择：目前主要采用最大化不确定性作为次要目标，未来可探索其他原则（如最小化特定子集参数的变异）。

总结：
这篇文章提出了一种强大的、基于优化的框架，将专家对数据的直觉转化为复杂的贝叶斯模型先验。它通过多目标优化巧妙地处理了“忠实度”与“唯一性”之间的权衡，为复杂统计建模中的先验设定提供了新的标准化路径。