Bayesian Variable Selection with the Quasi-Posterior

这是一篇关于**贝叶斯变量选择（Bayesian Variable Selection）的学术论文，标题为《基于拟后验的贝叶斯变量选择》（Bayesian Variable Selection with the Quasi-Posterior）。作者提出了利用拟后验（Quasi-Posterior）**框架来解决传统贝叶斯方法在模型误设（Model Misspecification）下表现不佳的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 传统贝叶斯变量选择的局限性：传统的贝叶斯变量选择方法依赖于对数据生成过程的**完整似然函数（Full Likelihood）**的精确设定。然而，在实际应用中，数据往往不符合假设的分布（例如存在重尾、异常值、过离散等），导致模型误设。
• 误设的后果：
  • 如果数据尾部比假设分布更重（如重尾分布），贝叶斯方法检测真正活跃变量的能力（Power）会下降。
  • 如果数据包含内点（Inliers），会导致假阳性率（False Positives）增加。
  • 现有的缓解误设的方法要么需要极其复杂的模型（牺牲可解释性），要么脱离了严格的贝叶斯不确定性量化框架（如引入需要调节的“学习率”参数）。
• 核心挑战：如何在不需要指定完整似然函数的情况下，保持贝叶斯变量选择的优良性质（如一致性、有限样本性能）和严格的不确定性量化。

2. 方法论 (Methodology)

论文提出了一种基于**拟似然（Quasi-likelihood）的模型拟后验（Model Quasi-Posterior）**框架。

2.1 核心概念

• 广义贝叶斯推断：不再假设数据服从特定的概率分布 $F$，而是仅指定条件均值函数 $\mu(x^T\beta)$ 和方差函数 $V(\mu)$。
• 拟似然函数：利用 McCullagh (1983) 定义的拟似然函数 $Q_n$，它仅依赖于均值和方差结构，无需知道完整的概率密度。
  $$\ell_\psi(y_i; x_i, \beta) = \int_{a}^{\mu(x_i^T\beta)} \frac{y_i - t}{\psi V(t)} dt$$
• 模型拟后验：将先验分布 $\pi(\gamma)$ 与基于拟似然的指数项结合，定义模型 $\gamma$ 的后验概率：
  $$\tilde{\pi}(\gamma \mid y, X) \propto \tilde{f}(y \mid X, \gamma) \pi(\gamma)$$
  其中 $\tilde{f}$ 是边缘拟似然（Marginal Quasi-likelihood）。

2.2 计算策略

• 线性回归：在正态线性回归模型中，边缘拟似然具有闭式解（Closed-form expression），类似于方差固定为 $\hat{\psi}$ 的高斯线性模型。
• 广义线性模型 (GLMs)：对于非线性情况（如计数数据），使用**拉普拉斯近似（Laplace Approximation）**来计算边缘拟似然。
  • 论文证明了在特定条件下（如对数拟似然函数是凹的），拉普拉斯近似是渐近准确的。
• 采样算法：
  • 使用**随机扫描吉布斯采样器（Random-scan Gibbs Sampler）**在模型空间中进行探索。
  • 引入缓存策略（Caching Strategy）：存储已访问模型的模态（MAP 估计）、Hessian 矩阵和近似边缘似然，避免重复优化，显著提高计算效率。
  • 结合 NUTS 采样器对选定模型下的回归系数进行后验采样。

2.3 先验设定

• 采用**尖峰 - 平板（Spike-and-Slab）**先验：
  • 指示变量 $\gamma_j$ 服从伯努利分布。
  • 系数 $\beta_j$ 在 $\gamma_j=0$ 时为 0（尖峰），在 $\gamma_j=1$ 时服从正态分布（平板）。
  • 稀疏度参数 $w$ 服从 Beta 先验，诱导 Beta-Binomial 模型先验。

3. 主要贡献与理论保证 (Key Contributions & Theoretical Guarantees)

• 渐近一致性：
  • 证明了在均值和方差函数正确设定的前提下（无需完整似然正确），模型拟后验与标准贝叶斯后验具有相同的渐近分布。
  • 证明了拟贝叶斯因子（Quasi-Bayes Factor）在模型误设下具有正确的渐近行为：
    • 对于欠定模型（遗漏真实变量），后验概率以指数速率收敛到 0。
    • 对于过定模型（包含多余变量），后验概率受到复杂度惩罚（类似 BIC），确保模型选择的一致性。
• 无需调节学习率：
  • 与许多广义贝叶斯方法不同，该方法不需要手动调节“学习率”参数。
  • 分散参数 $\psi$ 的估计量 $\hat{\psi}$ 自然地充当了校准因子，使得后验不确定性量化（如置信区间覆盖）在渐近意义下是有效的。
• 计算可行性：
  • 提供了线性回归的闭式解和 GLM 的拉普拉斯近似，使得该方法在计算上是可行的，并证明了拉普拉斯近似的渐近准确性。

4. 实验结果 (Results)

论文通过广泛的模拟研究和真实数据应用验证了方法的有效性。

4.1 模拟研究

在三种典型的模型误设场景下，拟后验（QP）方法均优于传统贝叶斯方法和 Lasso：

1. 过离散计数数据（Overdispersed Count Data）：
   • 数据生成过程为 Gamma 分布（过离散），但传统方法假设 Poisson 或负二项分布。
   • 结果：QP 在保持低假发现率（FDR < 5%）的同时，统计功效（Power）显著高于负二项模型（NB）和 Poisson 模型，特别是在小样本量下。
2. 重尾误差（Heavy-tailed Errors）：
   • 数据服从 Student-t 分布（重尾），传统方法假设高斯分布。
   • 结果：QP 的统计功效比传统贝叶斯方法（mombf 包）高出约 10%，且 FDR 控制在 5% 以下。
3. 内点数据（Inliers）：
   • 数据包含一部分无误差的观测值（内点），导致传统高斯模型后验区间收缩，产生假阳性。
   • 结果：QP 将 FDR 降低了一半（相比传统方法），且没有牺牲统计功效。

4.2 真实数据应用

1. NMES 1988 数据集（医疗支出）：
   • 任务：预测医生就诊次数（计数数据）。
   • 发现：QP 和负二项模型选出的变量一致，且符合医学常识。诊断分析显示，QP 在均值 - 方差关系上的拟合误差（MSE）远小于 Poisson 和负二项模型，表明其对过离散数据的描述更准确。
2. DLD 数据集（基因组学）：
   • 任务：预测基因 DLD 的表达量。
   • 发现：QP 与传统贝叶斯方法识别出相同的关键基因。在子采样分析中，QP 在小样本量下表现出更高的功效和 F1 分数。

5. 意义与结论 (Significance)

• 理论突破：这是首个在渐近有效的不确定性量化下，实现广义贝叶斯变量选择的方法。它证明了仅依靠均值和方差结构即可进行稳健的模型选择。
• 实践价值：
  • 鲁棒性：对模型误设（重尾、过离散、内点）具有极强的鲁棒性。
  • 易用性：无需复杂的超参数调节（如学习率），且计算效率高（通过缓存策略）。
  • 可解释性：保留了贝叶斯变量选择的稀疏性和可解释性，避免了非参数模型的黑盒特性。
• 未来方向：论文指出该方法目前主要适用于中等维度，未来可探索将其扩展到超高维场景（结合惩罚回归估计分散参数）以及使用非局部先验（Non-local priors）进一步优化。

总结：该论文提出了一种基于拟后验的贝叶斯变量选择新范式，成功解决了传统方法对完整似然函数依赖的痛点，在模型误设的复杂数据环境下提供了更准确、更稳健且理论严谨的变量选择工具。