论文技术总结：通过坐标重缩放进行离散马尔可夫随机场的贝叶斯推断

论文标题：Bayesian Inference for Discrete Markov Random Fields Through Coordinate Rescaling
作者：Giuseppe Arena 和 Maarten Marsman (阿姆斯特丹大学心理学系)
核心领域：贝叶斯统计、马尔可夫随机场 (MRF)、双重不可处理分布 (Doubly Intractable Distributions)、MCMC 采样。

---

1. 研究背景与问题 (Problem)

离散马尔可夫随机场 (Discrete MRFs) 是一类用于捕捉离散变量之间复杂条件依赖关系的无向图模型，广泛应用于遗传学、心理学（如精神健康症状网络）等领域。然而，对离散 MRFs 进行精确的贝叶斯推断面临巨大的计算挑战，主要源于双重不可处理性 (Double Intractability)：

1. 似然函数的不可处理性：离散 MRF 的似然函数包含一个归一化常数 $Z(\eta)$，该常数需要对所有可能的状态配置进行求和。随着变量数量 $p$ 和状态数的增加，状态空间呈指数级增长，导致 $Z(\eta)$ 无法直接计算。
2. 后验分布的不可处理性：由于似然函数中包含不可处理的 $Z(\eta)$，结合先验分布后，后验分布 $\pi(\eta|X)$ 同样包含一个不可处理的归一化常数（边缘似然），使得标准的 MCMC 采样（如 Metropolis-Hastings）无法直接应用。

现有方法的局限性：

• 双重 Metropolis-Hastings (DMH)：通过引入辅助变量和内部 MCMC 链来近似归一化常数比率。虽然能提供准确的后验估计，但计算成本极高（嵌套采样），难以扩展到大规模网络。
• 伪似然 (Pseudo-likelihood)：将全似然近似为条件分布的乘积，避免了计算 $Z(\eta)$，计算速度极快。然而，基于伪似然的后验分布会系统性地低估后验变异性 (Posterior Variability)，导致置信区间过窄，不确定性量化不可靠。
• 事后重缩放 (Post hoc rescaling)：虽然可以校正伪似然的方差，但通常是在采样后进行的，难以与联合结构学习（如边选择）无缝集成。

核心挑战：如何在保持伪似然计算可扩展性的同时，提供可靠的后验不确定性量化（即校正方差和协方差结构）。

---

2. 方法论 (Methodology)

作者提出了一类新的采样方法，称为坐标重采样 (Coordinate Rescaling, CoRe)。该方法的核心思想是在采样过程中对参数空间进行线性变换，将基于伪似然的后验分布“拉伸”和“旋转”，使其几何结构逼近目标全似然后验分布。

2.1 坐标重采样 (CoRe) 算法

CoRe 方法定义了一个变换后的参数 $\beta$ 与原参数 $\eta$ 之间的关系：
$$\beta = A(\eta - \eta^\star) + \eta^\star$$
其中：

• $\eta^\star$ 是参数的点估计（如最大后验估计 MAP 或最大伪似然估计 MPLE）。
• $A$ 是重缩放矩阵 (Rescaling Matrix)，用于近似目标后验的协方差结构。

采样过程：

1. 在变换后的空间 $\beta$ 上定义目标后验 $\pi(\beta|X)$。
2. 使用 Metropolis-Hastings 算法在 $\beta$ 空间进行采样。
3. 接受概率计算中，雅可比行列式（Jacobian）是常数，因此可以抵消。
4. 采样得到的 $\beta$ 通过逆变换映射回 $\eta$，从而获得校正后的后验样本。

2.2 重缩放矩阵 $A$ 的构建

矩阵 $A$ 的设计旨在匹配目标后验的协方差结构：
$$A = \Gamma L^\top$$

• $L^\top$：伪似然后验在 $\eta^\star$ 处的负 Hessian 矩阵的 Cholesky 分解（代表伪后验的局部曲率）。
• $\Gamma$：基于 Godambe-Huber-White (GHW) 估计量构建的稳健协方差估计器的 Cholesky 分解。GHW 估计量结合了伪似然的 Hessian 和得分函数的方差，能够更准确地估计目标后验的协方差。

2.3 自适应版本 (AdaCoRe)

为了消除对先验曲率估计的依赖，作者提出了 AdaCoRe。

• 在采样预热阶段 (Burn-in)，根据运行均值 $\eta_s$ 动态更新重缩放矩阵 $A^{-1}$。
• 仅当局部曲率的相对变化超过特定阈值（$3/\sqrt{n}$）时才更新矩阵，以避免对蒙特卡洛噪声做出过度反应。
• 利用线性方程组求解而非显式矩阵求逆，提高了数值稳定性和计算速度。

---

3. 主要贡献 (Key Contributions)

1. 提出 CoRe 采样框架：首次将坐标重缩放直接嵌入到 MCMC 采样过程中，而非作为事后校正。这使得参数估计和结构推断可以在校正后的尺度上直接进行。
2. 理论保证：证明了该方法保留了马尔可夫链的遍历性和细致平衡条件，且收敛于目标分布。
3. 计算效率与精度的平衡：
   • 相比 DMH，CoRe 避免了昂贵的内部 MCMC 循环，计算成本大幅降低（示例中从 9 分钟降至 28 秒）。
   • 相比伪似然，CoRe 显著改善了后验变异性（方差）和协方差的估计，解决了系统性低估问题。
4. 引入实证似然 (Empirical Likelihood)：作为对比基准，引入了一种基于观测状态子空间的似然近似方法，并评估了其性能。

---

4. 实验结果 (Results)

作者通过模拟研究（基于真实数据生成的不同网络结构：小世界图、随机图、全连接图；不同节点数 $p=6, 9$；不同样本量 $n$）对比了 CoRe、AdaCoRe、DMH、事后校正方法 (PH-RM, PH-GHW, PH-MCH) 和伪似然。

关键发现：

• 后验重叠度 (Posterior Overlap)：
  • 伪似然与精确后验的重叠度仅为 65-70%。
  • CoRe 和 AdaCoRe 的重叠度达到 90-95%，与 DMH 相当，显著优于伪似然。
• Savage-Dickey 密度比 (边缘独立性检验)：
  • 伪似然在零值附近高估证据，远离零值时低估证据（由于方差被低估）。
  • CoRe 方法能够准确复现精确后验的密度高度，从而提供可靠的贝叶斯因子用于条件独立性检验。
• 后验标准差比率：
  • 伪似然的标准差比精确值低 30-35%。
  • CoRe、AdaCoRe 和 PH-GHW 的标准差比率接近 1，表明不确定性量化准确。
  • DMH 虽然准确，但在大网络 ($p=9$) 下有效样本量 (ESS) 急剧下降。
• 计算效率：
  • DMH/AdaDMH：计算极其昂贵（每链 38 分钟至 1 小时以上），且随着网络规模增大，ESS 显著下降。
  • CoRe/AdaCoRe：计算成本适中（每链约 30-400 秒，取决于 $p$ 和 $n$），比 DMH 快一个数量级，同时保持了高统计精度。
  • 伪似然：最快，但统计推断不可靠。
  • Empirical：速度最快，但在小样本下存在偏差。

---

5. 意义与结论 (Significance)

1. 解决双重不可处理性的新范式：CoRe 方法提供了一种无需嵌套采样即可解决离散 MRF 双重不可处理性的有效途径。它利用伪似然的计算优势，通过几何变换校正其统计缺陷。
2. 适用于联合结构学习：由于重缩放是在采样过程中进行的，CoRe 方法可以直接集成到边选择 (Edge Selection) 和联合结构学习框架中，这是事后校正方法难以做到的。
3. 可扩展性：该方法在保持计算可扩展性的同时，显著提升了不确定性量化的可靠性，使得在中等规模网络（如心理学症状网络、基因网络）中进行精确贝叶斯推断成为可能。
4. 未来方向：作者计划将该方法集成到 R 包 bgms 中，并探索将其扩展到其他复合似然模型（如 ERGMs、Potts 模型）及更高维系统。

总结：这篇论文提出了一种高效且统计严谨的解决方案，填补了离散 MRF 贝叶斯推断中“计算速度”与“推断精度”之间的空白，为复杂网络模型的分析提供了强有力的工具。