技术摘要：通用先验：通过贝叶斯推理与预训练解决经验贝叶斯问题

问题陈述

本文解决了泊松模型中的经验贝叶斯 (Empirical Bayes, EB) 问题。给定 $n$ 个独立同分布的观测值 $X_1, \dots, X_n$，其中 $X_i \sim \text{Poi}(\theta_i)$，且参数 $\theta_i$ 抽取自一个未知的先验 $G_0$（其支撑集在 $[0, A]$ 上），目标是构建一个估计量 $\hat{\theta}_n$，使其在所有可能的测试先验 $G_0$ 下都能实现近乎最优的性能（低遗憾值）。性能指标是遗憾值 (Regret)，定义为相对于已知 $G_0$ 的神谕估计量（Oracle Estimator）的贝叶斯风险而言的超额均方误差 (MSE)。

最近的实证工作 [TJP25] 表明，在合成生成数据上进行预训练的 Transformer 模型在处理 EB 任务时表现出色，其性能优于最先进的非参数极大似然估计 (NPMLE)，且推理速度显著更快。然而，关于为什么一个在特定合成分布上训练的模型能够泛化到任意测试分布的理论依据仍是一个开放问题。本文旨在为这一现象提供理论证明。

方法论

作者采用了一种间接方法，绕过了对特定 Transformer 架构或训练动态的分析。相反，他们分析了预训练贝叶斯估计量本身的统计特性。

1. 分层贝叶斯公式化

预训练估计量被建模为在从先验之先验 (Prior-on-Prior, PoP) $\Pi$ 生成的大规模训练批次上进行经验风险最小化 (ERM) 问题的解。

• 训练过程： 从一个 PoP $\Pi$ 中抽取一个先验 $G$。然后生成参数 $\theta_n \sim G^{\otimes n}$ 和观测值 $X_n \sim \text{Poi}(\theta_n)$。
• 估计量： ERM 问题的总体级极小值器是分层贝叶斯估计量 $\theta_n^\Pi = \mathbb{E}_{\Pi}[\theta_n | X_n]$。
• 通用先验： 本文研究是否存在一个“通用”的 PoP $\Pi$，使得生成的分层贝叶斯估计量在所有测试先验下都能实现一致的趋于零的遗憾值。

2. 理论框架：后验收敛

驱动结果的核心理论机制是后验收敛 (Posterior Contraction)。作者表明，对于一类特定的“厚” PoP，给定测试数据 $X_n$ 的先验 $G$ 的后验分布会向真实的测试先验 $G_0$ 集中。

• 核心见解： 预训练估计量 $\theta_n^\Pi$ 能够有效地适应未知的 $G_0$，因为先验的后验均值 $\mathbb{E}_{\Pi}[G | X_n]$ 随着 $n$ 的增加而收敛于 $G_0$。
• 厚 PoP： 如果一个 PoP 在边缘分布之间的 $\chi^2$ 散度意义下，在任何真实先验 $G_0$ 附近都放置了足够的质量，则称该 PoP 是“厚”的。

3. 通过分数后验实现的长度泛化

本文将分析扩展到了长度泛化 (Length Generalization)，即在序列长度为 $n$ 的数据上训练的模型，在更长的序列长度 $n_{\text{test}} > n$ 上进行测试。

• 机制： 作者证明，应用于较长序列的估计量表现得就像是在执行使用 $\alpha$-后验（或分数后验）的贝叶斯推理，其中 $\alpha = n / n_{\text{test}} \le 1$。
• 结果： $\alpha$-后验的后验收敛速率取决于 $\alpha n$。因此，长度泛化的遗憾值界限饱和在 $\tilde{O}(1/n)$ 而不是改进到 $\tilde{O}(1/n_{\text{test}})$，这解释了为何当 $n_{\text{test}} \gg n$ 时性能会出现平台期这一实验观察结果。

核心贡献

1. 通用先验的存在性

本文证明了一个极其简单的通用 PoP $\Pi$ 的存在性（该 $\Pi$ 是由原子均匀分布且权重来自狄利克雷分布的离散先验组成的混合分布），它能产生近乎最优的遗憾值界限。

• 定理 1.1： 对于 $k = \lceil c_0 \frac{\log n}{\log \log n} \rceil$ 个原子，分层贝叶斯估计量实现的遗憾值界限为：
  $$\sup_{G_0} \text{Regret}(\theta_n^\Pi; G_0) \le C \frac{\log^3 n}{n (\log \log n)^2}$$
  该界限是近乎最优的，与极小极大下界仅差一个对数因子。

2. 可容纳性与极小极大最优性

• 命题 1.1： 建立了一个极小极大定理，证明了存在一个达到极小极大遗憾值的最不利 PoP。
• 命题 1.2： 证明了分层贝叶斯估计量对于大多数 PoP 都是可容纳的 (Admissible)，而标准的基于 NPMLE 的估计量在整数 $A \ge 3$ 时被证明是不可容纳的 (Inadmissible)。这突显了在此设定下贝叶斯方法相对于经典频率派估计器的理论优势。

3. 长度泛化的理论解释

• 定理 1.3： 为 Transformer 的长度泛化提供了严谨的解释。它表明该估计量作为一个 $\alpha$-后验下的分层贝叶斯估计量在起作用。测试长度为 $n_{\text{test}}$ 的遗憾值为：
  $$\text{Regret} \le C \frac{\log n_{\text{test}}}{\log \log n_{\text{test}}} \left( \frac{\log n_{\text{test}}}{n_{\text{test}} \log \log n_{\text{test}}} + r^2 \right)$$
  其中与训练长度 $n$ 相关的项 $r^2$ 防止了遗憾值在 $n_{\text{test}} \to \infty$ 时比 $\tilde{O}(1/n)$ 消失得更快。

4. 扩展

该框架被扩展到了：

• 亚指数先验： 在无界支撑集上实现近乎最优的遗憾值（定理 3.1）。
• 高斯 EB： 建立了类似的回归界限用于高斯位置模型（定理 3.2）。
• 函数估计： 将结果推广到估计函数 $g(\theta)$，例如多项式（定理 3.3）。

实验结果

论文通过数值实验验证了其理论主张：

1. 遗憾值性能： 使用算法 1 中简单 PoP 的预训练 Transformer 在各种测试先验（神经先验和多项分布先验）和序列长度下，性能均优于基于 NPMLE 的估计器。
2. 贝叶斯推理验证：
   • 训练后的 Transformer 输出被证明与训练 PoP 下的真实分层贝叶斯估计量极其接近。
   • 对于长度泛化，Transformer 的输出与使用 $\alpha \approx n/n_{\text{test}}$ 的 $\alpha$-后验计算出的分层贝叶斯估计量高度一致，证实了其理论机制。

重要性与主张

本文声称提供了第一个关于预训练 Transformer 在解决经验贝叶斯问题中取得成功的理论证明。

• 机制： 它指出，这种成功并非源于特定的架构归纳偏置（如注意力机制），而是源于分层贝叶斯框架固有的后验收敛统计特性。
• 通用性： 它证明了单一、简单的“先验之先验”足以在广泛的测试分布类中实现近乎最优的性能，有效地实现了推理成本的“摊销”。
• 长度泛化： 它为长度泛化提供了一个统计学解释，将其归因于分数后验的行为，而非纯粹的算法或架构因素。

作者强调，他们的分析依赖于 Transformer 能够近似贝叶斯估计量的假设（已通过数值验证），并且他们并不声称所使用的特定 PoP 是实际最优的，而是将其作为该方法通用性的一个概念验证。