技术摘要：针对离散双重难解问题的共轭广义贝叶斯推断

1. 问题陈述

本文研究了贝叶斯推断中的双重难解问题（doubly intractable problems），这在离散统计模型中十分常见。在这些场景中，似然函数和后验分布都只能以未归一化的形式给出。具体而言，由于需要在极大或无限的状态空间上进行求和，似密函数 $p_\theta(x) = \tilde{p}_\theta(x)/Z(\theta)$ 的归一化常数（配分函数）$Z(\theta)$ 是无法计算或难以高效近似的。

在标准的贝叶斯推断中，后验分布与似然函数乘以先验分布成正比。然而，当 $Z(\theta)$ 难以处理时，后验分布的归一化常数也会变成一个关于数据和参数的、同样难以处理的函数。现有的解决方案通常依赖于：

• 带有辅助变量的 MCMC（例如 Exchange 算法），这类方法计算成本高昂且需要调参。
• 近似方法（例如伪似然法、变分贝叶斯），这些方法可能会引入偏差或模型误设定问题。
• 使用诸如离散费舍尔散度（Discrete Fisher Divergence, DFD）（Matsubara 等人，2023）的广义贝叶斯推断（GBI）。虽然 DFD-Bayes 避免了计算 $Z(\theta)$，但它无法产生共轭后验。因此，它仍然需要进行 MCMC 采样，从而面临在高维空间中混合缓慢、多峰性以及需要进行收敛性检查等问题。

核心挑战在于开发一种针对离散难解模型的方法，在保持 GBI 计算效率的同时，通过实现共轭性（闭式解或 Gibbs 更新）来消除对 MCMC 的需求。

2. 方法论

2.1 对数比例匹配 (LRM) 散度

作者提出了一种名为**对数比例匹配（Log-Ratio Matching, LRM）**的新型统计散度，用于构建广义后验。

• 匹配集（Matching Sets）： 对于一个数据点 $x$，定义一个匹配集 $M(x)$ 为有限的邻域状态集合 $\{M_j(x)\}_{j \in J}$。该集合根据数据结构构建（例如在晶格中翻转比特位或增加计数）。
• 定义： 数据生成过程 $q_0$ 与模型 $p_\theta$ 之间的 LRM 散度定义为模型与数据对数比例之差的平方期望：
  $$D_{LRM}(q_0 \| p_\theta) = \mathbb{E}_{x \sim q_0} \left[ \frac{1}{|M(x)|} \sum_{x' \in M(x)} \left( \log \frac{p_\theta(x')}{p_\theta(x)} - \log \frac{q_0(x')}{q_0(x)} \right)^2 \right]$$
• 关键特性： 与标准散度不同，$D_{LRM}$ 不依赖于难以处理的归一化常数 $Z(\theta)$，因为比值 $p_\theta(x')/p_\theta(x)$ 会抵消掉 $Z(\theta)$。
• 理论有效性： 在假设匹配集在状态空间上诱导了一个连通图的条件下，$D_{LRM}(q_0 \| p_\theta) = 0$ 当且仅当 $q_0 = p_\theta$。

2.2 LRM-Bayes 后验

利用 LRM 散度，作者定义了一个损失函数 $L_{LRM}(\theta)$ 以及一个基于数据 $\{x_i\}_{i=1}^n$ 和估计的概率质量函数 $\hat{q}$（通常通过拉普拉斯平滑实现）的估计量 $\hat{L}_{LRM}^n(\theta)$。LRM-Bayes 后验定义为：
$$\hat{\pi}_M^\beta(\theta; \{x_i\}) \propto \exp\left( -\beta n \hat{L}_{LRM}^n(\theta) \right) \pi(\theta)$$
其中 $\beta > 0$ 是一个缩放参数。

2.3 指数族模型的共轭性

主要的理论突破在于，对于形式为 $p_\theta(x) \propto \exp(\eta(\theta)^\top T(x) + B(x))$ 的离散指数族模型，LRM 损失在自然参数 $\eta(\theta)$ 上是二次的。

• 损失结构： $\hat{L}_{LRM}^n(\theta) = \eta(\theta)^\top \Lambda_n \eta(\theta) - 2\eta(\theta)^\top \nu_n + C$。
• 共轭更新： 如果先验 $\pi(\eta)$ 是指数二次的（例如多元高斯分布），则后验也是多元高斯分布（或者如果参数空间受限，则是截断高斯分布）。
• 计算意义： 这使得闭式推断（计算均值和协方差矩阵）成为可能，而无需使用 MCMC。
• 部分共轭（Partial Conjugacy）： 对于损失仅在部分参数中为二次型的模型（例如自回归时间序列或带有马蹄形先验的模型），该方法能够为这些参数块实现精确的 Gibbs 更新，从而显著加速 MCMC 的混合速度。

3. 主要贡献

1. 新型散度： 引入了**对数比例匹配（LRM）**散度，该散度绕过了归一化常数，并为指数族模型诱导出二次损失。
2. 共轭广义后验： 证明了对于离散难解指数族模型，LRM-Bayes 会产生共轭后验，这一特性在以往使用 DFD 等离散散度的方法中是无法实现的。
3. 计算效率： 该方法用闭式矩阵运算或快速 Gibbs 更新取代了昂贵的 MCMC 采样，将计算时间降低了数个数量级。
4. 理论保证： 证明了后验一致性和Bernstein-von Mises 定理，表明在温和的正规性条件下，LRM-Bayes 后验是渐近高斯的，并收敛于真实损失的极小值点。
5. 灵活性： 该框架支持复杂先验（如马蹄形先验、Spike-and-Slab 先验）和时间序列模型的部分共轭，从而实现特定参数块的精确更新。

4. 实验结果

该方法在多个具有挑战性的离散难解模型上进行了评估：

• 单变量 Conway-Maxwell-Poisson (CMP) 模型：
  • LRM-Bayes 生成的后验置信区间与标准 MCMC 和 DFD-Bayes 几乎一致。
  • 速度： 在中等样本量下，LRM 比 DFD-Bayes 快了 >100 倍，比标准 MCMC 快了 >20 倍。
• 多元 CMP 图模型（乳腺癌数据，$d=10, p=65$）：
  • 标准贝叶斯推断在计算上是不可行的。
  • LRM-Bayes 提供了可靠的后验预测分布。
  • 速度： LRM 比 DFD-Bayes 快了 >35 倍（约 2 秒对比 31 分钟）。
  • 稀疏性： 该方法成功结合了马蹄形和 Spike-and-Slab 先验，在实现稀疏性的同时保持了精确的 Gibbs 更新。
• 自回归计数时间序列（犯罪数据）：
  • 展示了部分共轭特性：自回归参数 $\phi$ 通过 Metropolis-Hastings 更新，而其他参数通过精确的 Gibbs 步骤更新。
  • 速度： LRM-Bayes 在约 1 分钟内完成混合，而标准近似 MCMC 需要约 20 分钟（20 倍加速）。
• 马尔可夫随机场（Ising 和 Potts 模型）：
  • Ising 模型： LRM 在恢复参数的准确性上与 DFD 和伪似然法相当，但速度快了约 10 倍。
  • Potts 模型（南极冰数据）： LRM 比辅助变量 MCMC 快了 >35 倍，且明显快于 DFD/PL 方法。其后验与其他方法相当，尽管作者指出该模型本身对异质性数据存在误设定。

5. 重要性与主张

论文声称 LRM-Bayes 为离散双重难解问题提供了一种高效的替代方案。其重要性在于：

• 弥补差距： 它为离散领域复制了连续域 KSD-Bayes（Matsubara 等人，2022）的计算优势，这是一项此前未能实现的成就。
• 可扩展性： 通过实现共轭性，它消除了对 MCMC 迭代次数 ($T$) 的依赖，将复杂度从 $O(ndpT)$降至$O(ndp^2 + p^3)$。
• 实际应用价值： 它使得应用复杂的灵活模型（如高维图模型、带有重尾先验的时间序列）变得可行，而这些模型此前在计算上过于昂贵。
• 理论完备性： 该方法并非仅仅是启发式方法；它拥有严谨的渐近理论支持，确保了一致性和正态性。

作者对研究范围保持了审慎态度，指出该方法依赖于参考 PMF ($\hat{q}$) 的估计，且匹配集 $M$ 的选择会影响后验收敛，不过通过估计缩放参数 $\beta$ 有助于减轻这种敏感性。这项工作被定位为向更广泛的基于模拟的推断和潜在变量模型应用迈进的一步。