技术摘要：自回归语言模型中的多项式上下文截断敏感性

1. 问题陈述

本文探讨了自回归语言模型（LLM）中在线 KV（键 - 值）缓存压缩的理论极限。随着上下文长度的增长，KV 缓存的线性增长成为推理的主要瓶颈。尽管存在多种经验性压缩方案（例如重击者剔除、滑动窗口、注意力汇、量化），但针对在线压缩问题缺乏关于可实现性的定量理论界限。

核心问题是：在压缩上下文时，维持下一个词元分布特定失真度（准确率）需要多少内存（窗口大小）？

经典信息论通常假设几何混合（或$\rho$-混合），即遥远过去词元的影响呈指数衰减（$C\rho^w$）。在此假设下，$O(\log(1/\epsilon))$的窗口大小足以实现$\epsilon$-精度。然而，该假设并非源自语言建模设定，且可能不适用于训练后的 LLM。

2. 方法论与框架

2.1 序列 Wyner–Ziv 公式化

作者将 KV 缓存压缩公式化为序列 Wyner–Ziv 信源编码问题。

• 信源：由模型生成的词元序列 $X_{1:t-1}$。
• 编码器：因果在线编码器 $\phi_t$，将过去词元映射为压缩码 $\hat{C}_t$。
• 解码器边信息：下一步查询向量 $Q_t$（由未压缩模型计算）作为解码器处的边信息。
• 目标：从 $(\hat{C}_{\le t}, Q_t)$ 重构下一个词元分布 $\tilde{p}_t$，使得在给定速率下，期望 KL 散度 $E[D_{KL}(p_t \| \tilde{p}_t)]$ 最小化。

2.2 截断敏感性的经验表征

作者并未假设几何混合，而是经验性地测量了训练后模型的截断敏感性。他们将敏感性 $d_{TV}^w$ 定义为完整上下文下一个词元分布与仅基于最近 $w$ 个词元的条件分布之间的总变差（TV）距离：
$$d_{TV}^w := TV(p_\theta(\cdot | X_{1:t-1}), p_\theta(\cdot | X_{t-w:t-1}))$$

关键经验发现：在四个模型（Qwen2.5-0.5B/1.5B/3B, SmolLM2-1.7B）和两个领域（自然语言、代码）中，$d_{TV}^w$ 的衰减遵循幂律而非指数衰减：
$$d_{TV}^w \propto w^{-\alpha}$$

• 测得的指数：$\alpha_{\text{nat}} \approx 0.44$（自然语言）和 $\alpha_{\text{code}} \approx 0.38$（代码）。
• 幂律拟合在外推中显著优于指数拟合（log-RMSE 提升 2–2.5 倍）。
• 通过位置保持消融实验验证，该特性不受位置编码伪影的影响。

3. 主要贡献与理论结果

基于$\alpha$-多项式截断敏感性的经验观察，本文构建了一个信息论框架，包含以下核心结果：

C1：序列 Wyner–Ziv 逆定理（下界）

作者建立了实现目标失真 $D$ 所需速率的基本下界。对于任何因果在线方案：
$$\liminf_{n \to \infty} E[R_n] \ge R^\star(D)$$
该界限的成立无需假设特定的混合条件，仅依赖于序列 Wyner–Ziv 问题的结构。

C2：仅后缀策略的窗口缩放

本文刻画了仅后缀策略（即重构仅依赖于最近 $w$ 个词元的方案，如滑动窗口）的内存需求。

• 上界：滑动窗口方案以窗口大小 $w = O(\epsilon^{-1/\alpha})$ 实现 TV 失真 $\epsilon$。
• 下界（逆定理）：在额外的“双向贝叶斯风险”条件（定义 4.4）下，任何仅后缀策略都需要 $w = \Omega(\epsilon^{-1/\alpha})$。
• 结果：仅后缀策略的每词元内存需求是紧确的：$\Theta(\epsilon^{-1/\alpha})$。
  • 与几何混合的对比：在几何混合下，$w = O(\log(1/\epsilon))$。当 $\alpha \approx 0.5$ 时，窗口大小呈多项式缩放（例如，对于 $\epsilon=0.01$，$w \sim 10^2$），这解释了为何部署的方案需要比几何混合预测大得多的窗口。

C3：显式可达方案

作者提出了一种显式的块马尔可夫随机编码方案，该方案达到了理论界限。

• 窗口大小：$w_n = \lceil n^{1/(\alpha+1)} \rceil$。
• 收敛性：该方案实现的失真在目标值的 $O(n^{-\alpha/(\alpha+1)})$ 范围内。
• 速率收敛：
  • 在期望意义上，速率以指数 $\alpha/(\alpha+1)$ 收敛。
  • 在高概率下，若无进一步假设，指数为 $\alpha/(2(\alpha+1))$。
  • 在额外假设下（前向协方差衰减、加性倾斜信息），高概率指数与逆定理匹配（$\alpha/(\alpha+1)$）。

C4：汇加近期剔除策略的推论

本文分析了流行的“汇加近期”（sink-plus-recent）剔除策略（保留注意力汇 + 近期词元）。

• 结果：在$\alpha$-多项式敏感性下，KL 失真差距以 $O(k^{-2\alpha})$ 衰减，其中 $k$ 为预算。
• 机制：指数加倍（$2\alpha$ 而非 $\alpha$）源于有界底值（bounded-floor）区域中 KL 散度与 TV 距离之间的局部二次关系（$KL \le C \cdot TV^2$），而非 Pinsker 不等式。
• 经验验证：测得的 KL 指数（自然语言 $\alpha_{KL} \approx 1.04$，代码 $0.74$）约为 TV 指数（$0.44$和$0.38$）的两倍，证实了理论预测。

4. 经验结果

本文在 Qwen2.5（0.5B, 1.5B, 3B）和 SmolLM2（1.7B）上验证了该框架：

1. 多项式衰减：在所有模型和领域上，TV 衰减的幂律拟合均优于指数拟合。
2. 指数一致性：比率 $\alpha_{KL} / \alpha_{TV}$ 始终围绕预测因子 2 波动（观测比率：1.93 至 2.38）。
3. 策略退化：基于近期性的策略（滑动窗口、汇加近期）在同等预算下，相比随机词元保留，将失真抑制了约两个数量级。
4. 领域差异：自然语言表现出更快的截断敏感性衰减（$\alpha \approx 0.44$），而代码较慢（$\alpha \approx 0.38$），表明代码更强烈地保留了长程结构依赖（作用域、导入）。
5. 鲁棒性：幂律在窗口大小高达 $w=8192$ 时依然成立，远超典型的 4k 部署范围，且对位置编码伪影具有鲁棒性。

5. 意义与主张

本文主张以下意义：

• 理论基础：它首次基于 LLM 经验观察到的多项式截断敏感性，提供了 KV 缓存压缩的定量率失真表征，取代了未经验证的几何混合假设。
• 解释经验实践：多项式缩放律（$\Theta(\epsilon^{-1/\alpha})$）解释了为何部署的系统（例如窗口 $w=4096$ 的 Mistral、StreamingLLM）需要比几何混合建议大得多的窗口。
• 仅后缀策略的最优性：它确立了对于仅后缀策略类，内存缩放是紧确的。更复杂的循环或传播摘要能否超越此缩放仍是一个未解问题。
• “汇加近期”的验证：它为“汇加近期”剔除策略的性能提供了理论依据，将观测到的 $k^{-2\alpha}$ 衰减与底层多项式敏感性以及局部二次 KL-TV 关系联系起来。

作者承认的局限性：

• 由于计算限制，分析仅限于参数量 $\le 3B$ 的模型；更大模型（7B–8B）留待未来工作。
• 实现紧确高概率界限所需的“双向贝叶斯风险”条件和前向衰减假设，并非仅由截断敏感性推导得出，因此被视为额外假设。
• 该框架假设标准的 Transformer 架构；未分析状态空间模型（如 Mamba）。
• 本文并未声称从架构参数推导出指数 $\alpha$，而是对其进行经验测量。

总之，本文论证了多项式上下文截断敏感性是训练后 LLM 的根本属性，它决定了内存 - 速率权衡，需要多项式缩放的窗口以实现高精度压缩，并为基于近期性的剔除策略的有效性提供了理论基础。