技术摘要：LLM 在期望上是贝叶斯的，而非实现上是贝叶斯的

1. 问题陈述

本文探讨了上下文学习（In-Context Learning, ICL）的贝叶斯解释与 Transformer 架构现实性之间的根本矛盾。

• 贝叶斯观点： ICL 通常被解释为一个过程，其中支持示例识别出一个潜在任务，模型生成下一个 token 的后验预测分布。在这种观点下，对于可交换数据，后验预测对于支持集的排列应该是具有不变性的。
• 经验现实： Transformer 是处理带有位置编码序列的自回归模型。近期的诊断（鞅测试）显示，对无序支持集进行排列通常会改变下一个 token 的概率，从而违反了精确的可交换性。
• 冲突点： 这些违反行为被解读为对贝叶斯 ICL 假设的反驳。作者认为这是一种范畴错误：它混淆了结构不变性（精确后验律的一个属性）与操作性能（在线设置中预测的成本）。

核心问题不在于 Transformer 是否是精确的可交换后验采样器（它们不是），而在于在面对序列化导致的顺序敏感性时，它们在预验对数损失（prequential log loss）方面是否仍保持贝叶斯竞争力（Bayes-competitive）。

2. 方法论与理论框架

2.1 理论桥梁：预验遗憾与 KL 散度

作者将评估目标从二元不变性转向了超额预验代码长度（excess prequential code length）。

• 预验比较恒等式（定理 1）： 他们证明了模型 $Q$ 相对于贝叶斯参考模型 $B$ 的期望超额对数损失，恰好等于累积的预测 Kullback-Leibler (KL) 散度之和：
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  这确立了：只有当可交换性违反在操作层面积累了显著的预测 KL 时，这种违反才具有意义。

• 顺序平均分解（定理 2）： 对于必须序列化的无序信息状态，单个排序的遗憾可以分解为：

  1. 顺序平均预测器（所有保持任务的排序的期望）的遗憾。
  2. 一个非负的顺序平均增益（$J_t$），代表使用单一任意序列化而非平均分布所支付的额外对数损失。
  • 含义： 可交换性失效并非“二元反驳”，而是一个可量化的、以比特计价的成本。

2.2 实验方案

作者使用 Qwen2.5-7B/14B 和 Llama-3.1-8B 在以下几个方面评估该理论：

1. 闭式贝叶斯审计： 在离散任务（Beta-Bernoulli, Dirichlet-categorical）和连续任务（粗粒化贝叶斯线性回归 - BLR）上进行测试，其中已知的真实贝叶斯后验预测分布是已知的。
2. 频率派基准： 将模型性能与极大似然估计（MLE）和拉普拉斯插值预测器进行比较，以确保模型的行为不同于简单的频率派计数。
3. 干预实验：
   • 位置干预： 在推理时修改 position_ids，以区分保持任务的顺序（此时顺序不应重要）与语义顺序（此时位置携带信号）。
   • 从头训练消融： 训练带有和不带有位置编码的小型 Transformer，以隔离顺序敏感性的来源。
   • 激活补丁（Activation Patching）： 测试充分统计量（计数和位置）是否被用于因果性地确定预测。
4. 下游诊断： 使用排列混合（permutation mixtures）测量在 MMLU、GSM8K 和基于证据的问答任务中，任意排序带来的成本。

3. 核心贡献

1. 形式化评估目标： 论文将超额预验代码长度定义为衡量贝叶斯竞争力的操作指标，用定量的“违反产生多少 KL 成本”取代了二元的“是否具有可交换性”测试。
2. 顺序平均分解： 提供了一个理论分解，表明单一序列化的遗憾等于顺序平均预测器的遗憾加上一个可测量的“顺序平均增益”。
3. 安全代码底限与候选集分解： 引入了一种在不隐藏概率质量的情况下对固定候选集进行评分的方法，通过使用“安全代码底限”（与均匀分布混合）来确保有限时界的可采纳性并报告显式开销。
4. 贝叶斯机制的因果验证： 通过激活补丁和线性探测，作者证明了模型不仅包含充分统计量（计数、位置），而且因果性地使用它们来塑造下一个 token 的分布。

4. 主要结果

4.1 预测 KL 与贝叶斯竞争力

• 离散任务： 在支持集大小为 256 的 Bernoulli 和 4 路分类任务中，模型表现出极低的单步超额预验代码长度：
  • Bernoulli： 7B 模型为 0.020 bits，14B 模型为 0.011 bits。
  • Categorical： 7B 模型为 0.039 bits，14B 模型为 0.022 bits。
  • 候选质量（分配给得分事件的概率）超过 0.999。
• 连续任务 (BLR)： 随着支持集增大，模型的诱导数字分布越来越接近粗粒化的贝叶斯后验预测分布。在支持集为 100 时，与贝叶斯期望的相关性分别达到 ~0.988（1-协变量）和 ~0.965（2-协变量）。

4.2 与频率派插值器的区别

• 小数据机制： 模型比 MLE 插值预测器更接近贝叶斯后验预测。
  • MLE 通常是退化的（对未见符号分配零概率），会导致无限的代码长度。
  • 在支持集为 4 时，对于 4 路分类任务，模型比 MLE 更接近贝叶斯参考模型约 3.3 bits (7B) 和 3.8 bits (14B)。
• 收敛性： 随着支持集增大，模型、贝叶斯参考模型与频率派插值器之间的差距逐渐消失，这符合渐近理论。

4.3 顺序敏感性的来源

• 位置编码： 位置干预表明，绝对演示位置驱动了序列化方差。在贝叶斯预测任务中，重置演示中的位置可将顺序方差降低约 21 倍。
• 消融实验： 没有位置编码的 Transformer 实现了近乎完美的交换性（方差 $\approx 10^{-16}$）。带有学习到的绝对、正弦、RoPE 或 ALiBi 编码的 Transformer 则显示出 $10^{-8}$ 到 $10^{-6}$ 范围内的方差。这证实了顺序敏感性是编码的属性，而非架构本身的属性。
• 因果使用： 激活补丁确认了充分统计量（计数和位置）与下一个 token 的 logits 存在因果联系。

4.4 下游成本

• 顺序平均增益： 在 MMLU 和 GSM8K 上，对随机排列进行预测平均可以带来 NLL（负对数似然）和校准度的微小但可测量的提升，这证实了任意序列化会产生微小的对数损失成本。
• 证据问答： 在处理无序证据块的任务中，顺序平均增益是可测量的（例如 Qwen2.5-7B 为 0.1041 nats/token），这表明将一个任意的顺序视为任务是次优的。

5. 重要性与主张

本文声称实现了对 Transformer 架构与贝叶斯 ICL 假设的定量调和：

• 对“精确性”的反驳： 对于每一种序列化，Transformer 并不是精确的可交换后验预测分布。
• 对“竞争力”的验证： 它们是贝叶斯竞争的预验预测器。由于顺序敏感性带来的操作成本很小（以分数比特衡量）且是有界的。
• 视角的转变： 不应将精确可交换性的失败视为对贝叶斯 ICL 的二元反驳。相反，应将其视为一种定价成本。这个“价格”即顺序平均增益，它足够小，使得模型在在线预测设置中仍能与最优贝叶斯预测器保持竞争力。

作者强调这是一个诊断框架。它并不声称 Transformer 是字面意义上的后验采样器，而是指出其预测分布比频率派插值器更接近贝叶斯后验预测，且由序列化引起的偏差在操作层面上是可以忽略不计的。