💬 NLP

Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs

Polestar 是一个无需训练的推理框架，它利用 Token 表示漂移作为统一信号，以实现高效的 KV 缓存复用和可靠的 Token 提交，从而显著提高扩散大语言模型的准确性和吞吐量。

原作者： Mingyu Lee, Akshat Ramachandran, Souvik Kundu, Tushar Krishna

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyu Lee, Akshat Ramachandran, Souvik Kundu, Tushar Krishna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解决一个巨大的拼图，但你不能一次看全整个画面，而是被迫一次只能放一块碎片，必须等前一块碎片固定下来后，才能看下一块。这就是当今大多数现代 AI 聊天机器人工作的方式；它们非常聪明，但因为过于谨慎而行动缓慢。一种更新、更快的 AI 类型——“扩散模型”（diffusion model）——则试图通过一次性猜测许多碎片来解决拼图，就像画家用一笔涂满整块画布的一个区域一样。然而，这种新方法有一个棘手的问题：随着 AI 填补的图像越来越多，整个图像的语境（context）也会发生变化，导致它之前对其他碎片的猜测突然变得过时了。这就像是你正在画一幅日落图，每当你增加一朵云时，你五分钟前画的海水的颜色突然看起来就不对了。为了解决这个问题，AI 通常不得不停止工作，并在每次添加云朵时重新绘制整个海洋，这极其缓慢且浪费资源。

科学家们一直试图找出如何让这些快速的 AI 模型在不犯错的情况下保持速度。核心问题在于：我们如何告诉 AI 何时可以安全地锁定一块拼图并继续前进，以及何时需要回头修正它之前的错误？如果我们判断失误，AI 要么会陷入重复重绘同一部分的死循环（变慢），要么会锁定错误的碎片，导致最终画面看起来很奇怪（不准确）。这正是佐治亚理工学院和英特尔的研究人员试图通过一种名为“Polestar”的新方法来解决的挑战。

漂移的指南针

研究人员发现，解决这个问题的秘诀在于他们称之为“标记表示漂移”（token representation drift）的东西。用通俗的话说，想象 AI 对一个词的理解就像一个微小的、发光的指南针指针。当 AI 第一次猜测一个词时，指针指向某个方向。但随着 AI 理解周围更多的词，语境发生了偏移，那个指针就会开始摇晃或“漂移”到一个新的方向。团队意识到，这种漂移不仅仅是一个错误，它还是一个信号。

以往的方法试图通过静态规则来预测何时更新 AI 的记忆，比如“每 10 步更新一次”或“如果置信度分数很高则更新”。Polestar 团队发现，这些方法就像是仅通过观察时速表来驾驶汽车；它们忽略了路面本身正在发生变化的事实。相反，Polestar 直接观察指南针指针。如果一个指针开始剧烈摇晃，这意味着 AI 对那部分句子的记忆变得陈旧，需要快速刷新。如果一个指针突然停止摇晃并锁定在一个稳定的方向，这意味着 AI 已经搞定了它，可以安全地“提交”（commit）那个词，从而更快地处理下一个词。

Polestar：聪明的画家

该论文介绍了一种名为 Polestar 的系统，它就像是这些 AI 画家的超级智能艺术总监。它有两个主要职责，作者称之为“Polestar-Cache”和“Polestar-Commit”。

首先，Polestar-Cache 是内存管理器。它不会在每次添加云朵时都重新绘制整个海洋，而是观察指南针指针。它只回到那些指针摇晃最剧烈的特定位置进行重绘。这是一个巨大的效率提升。研究人员发现，通过使用这种“漂移”信号，他们可以比以前更精确地更新 AI 的记忆。他们不仅仅是在猜测，而是使用一种叫做 KL 散度（KL-divergence，这是一种衡量概率分布偏移程度的数学工具）的工具来测量 AI 对一个词的理解变化了多少。通过只关注那些“漂移”的部分，他们节省了大量的计算能力。

其次，Polestar-Commit 是决策者。通常情况下，AI 会等到 100% 确定才会锁定一个词。但 Polestar 注意到，有时一个词的指南针指针在 AI 的置信度分数达到触发通常“锁定”信号的水平之前，就已经停止漂移并变得稳定了。Polestar-Commit 捕捉到了这些“尖锐漂移事件”（sharp drift events）——即指针突然稳定下来的时刻——并发出指令：“嘿，这个已经完成了！现在就把它锁定吧。”这使得 AI 能够在不损失准确性的情况下同时处理多个词（并行处理）。

结果：更快、更聪明

团队在多项困难任务上测试了 Polestar，包括数学问题 (GSM8K)、编程挑战 (HumanEval) 和复杂推理 (MATH)。结果令人印象深刻。在这些测试中，Polestar 使 AI 的速度提升了高达 3.7 倍（以每秒 token 数衡量），同时在特定场景下实现了高达 10.73% 的准确率提升。

例如，在 GSM8K 数学基准测试中，标准方法每次前向传播只能处理约 1 个 token（意味着它非常慢）。Polestar 则能在保持 78.33% 高分的同时，实现每次前向传播处理 3.67 个 token。虽然在该特定运行中，基准模型的得分略高（79.30%），但其速度明显较慢。Polestar 的真正威力在于它能够建立一个新的准确率与吞吐量权衡（accuracy-throughput trade-off）的最高水平，经常大幅超越其他快速方法。在另一个 HumanEval 编程基准测试中，Polestar 在保持高准确度的同时，实现了比基准模型 9.1 倍 的加速。

研究人员还展示了他们的方法无需重新训练 AI 模型即可生效。它是一种“无需训练”（training-free）的升级，这意味着它可以直接插入现有的 AI 系统（如 LLaDA 或 Dream-7B）中，使其瞬间变得更快、更可靠。他们甚至构建了一个系统优化方案，将部分繁重的工作转移到计算机的 CPU 上，以防止图形处理器（GPU）过载，确保速度提升是真实的而非仅仅是理论上的。

Polestar 不是什么

需要注意的是，Polestar 并不做哪些事情。论文明确反对认为 token 漂移仅仅是“KV-cache 错误”（一种内存系统的故障）并应当被忽略或平均掉的观点。相反，他们证明了漂移是这些模型运作方式中一个基本且自然的一部分。他们也排除了仅仅降低置信度阈值（让 AI 变得不那么挑剔）是提高速度的好方法的想法；他们的测试表明，如果不观察漂移就这样做，会导致 AI 犯下太多错误。Polestar 不仅仅是在猜测，它利用模型内部“指南针”的具体行为来进行决策。

为什么这很重要

Polestar 的美妙之处在于它将一个问题（AI 的记忆过时）转化为了一个特性（利用漂移来知道何时更新）。通过将 AI 不断变化的理解视为一个有用的信号而非噪声，研究人员创造了一种让这些强大的快速 AI 模型真正发挥潜力的途径。他们不仅是在让 AI 变快，还在让它变得更聪明，知道何时前进，何时回头，为高效的 AI 推理设定了新的标准。正如论文所暗示的，这种方法可能是解锁基于扩散的语言模型全部速度，同时又不牺牲其回答质量的关键。

技术摘要：Polestar —— 用于扩散大语言模型（dLLM）高效推理的漂移感知缓存校准与 Token 提交技术

1. 问题陈述

扩散大语言模型（dLLMs）通过迭代去噪实现并行 Token 解码，为自回归大语言模型（AR-LLMs）提供了一种极具前景的替代方案。然而，其推理效率目前受到两个相互关联的挑战的制约：

KV 缓存低效性：与 AR-LLMs 不同，dLLMs 利用双向注意力机制，导致 Token 表示在每次解码步骤更新上下文时都会发生演变（即“漂移”）。这使得标准的键值（KV）缓存变得无效，因为缓存的表示会迅速过时。现有的解决方案要么假设块内表示是静态的（导致精度下降），要么依赖粗略的代理信号（例如注意力最集中的 Token），这些信号无法捕捉整个序列中 Token 表示的联合演化。
并行度与质量的权衡：增加解码并行度（即每次前向传播解码多个 Token）通常需要静态的置信度阈值来控制 Token 提交。这些固定阈值往往无法适应变化的解码步骤和输入，导致要么过早提交（降低质量），要么过于保守的提交（限制吞ment/吞吐量）。

作者观察到，这两个挑战都源于一个共同的现象：Token 表示漂移。随着 Token 的解码，通过双向注意力进行的上下文整合会导致其隐藏状态表示发生演变。这种漂移不仅是误差产物，更是 dLLM 推理的一个内在特征。

2. 方法论：Polestar 框架

Polestar 是一个无需训练的推理框架，它利用 Token 表示漂移作为一个统一的信号，来同时解决 KV 缓存过时和 Token 提交问题。它由三个核心组件组成：

A. Polestar-Cache（漂移感知的 KV 刷新）

Polestar-Cache 不再刷新整个 KV 缓存或依赖静态间隔，而是根据漂移幅度识别过时的位置。

漂移测量：使用连续步骤间的 KL 散度 来量化漂移（ $D^{(t)}_i = KL(A^{(t)}_i \| A^{(t-1)}_i)$ ）。相比于在子集上的余弦相似度，这能更准确地捕捉上下文偏移。
局部窗口与聚类：为了最小化开销，系统维护当前解码块周围的局部窗口（前缀和后缀块）。它使用 球面 K-Means（Spherical K-Means） 对该窗口内的隐藏状态进行聚类，并使用 NVFP4 对残差进行量化，以创建紧凑的代理表示。
稀疏更新：在每一步，系统使用聚类质心计算“代理注意力”。它识别出前 $k$ 个发生漂移的簇，并仅对这些位置执行 稀疏前向传播 以生成“更新数据包（update packet）”。该数据包负责刷新后续层中对应的 KV 缓存条目和隐藏状态，从而避免了全序列重计算。
调度机制：当解码上下文导致显著失配时（例如解码了 $\tau_{upd}$ 个 Token 后），或者通过针对非局部位置的周期性全序列传递来触发更新。

B. Polestar-Commit（漂移感知的 Token 提交）

Polestar-Commit 通过检测“剧烈漂移事件”来识别 Token 表示何时趋于收敛，从而实现比静态置信度阈值更早、更可靠的提交。

当前块提交：它监测 漂移增量（ $\Delta^{(t)}_j$ ），即当前漂移与历史均值的偏差。剧烈的正向增量表示快速的上下文整合。如果 Token 的漂移增量超过了 置信度调节的动态阈值（ $\tau^{(t)}_{d,j} = \alpha(\tau_s - c^{(t)}_j)^2$ ），则将其提交。这允许那些虽然置信度较低但表现出强收敛信号的 Token 能够被提交。
后缀块提交：系统还会分析最后一层的更新数据包。如果后缀窗口的质心被选为前 $k$ 个高漂移簇，则表明当前块带来了强烈的上下文更新。后缀 Token 只有在满足高置信度阈值（ $\ge \tau_s$ ）时才会被提交，从而在提高并行度的同时确保安全性。

C. 系统优化

为了确保高吞吐量，Polestar 采用了以下技术：

CPU 卸载：将量化后的隐藏状态簇卸载到锁定的 CPU 内存中，而仅将质心保留在 GPU 上。Top- $k$ 簇的获取是异步进行的。
延迟隐藏：利用 CUDA 流将辅助操作（聚类、量化、代理注意力、更新数据包生成）与主 dLLM 前向传播过程进行重叠，从而有效地隐藏了计算漂移带来的开销。

3. 核心贡献

统一信号：将 Token 表示漂移识别为一个原则性的信号，用于共同解决 KV 缓存过时和并行提交问题，超越了仅将漂移视为缓存误差的传统观点。
Polestar-Cache：一种新型的稀疏刷新方案，利用层级化的漂移检测和基于簇的代理来维持缓存有效性，且开销极小。
Polestar-Commit：一种检测剧烈漂移事件以实现可靠早期 Token 提交的机制，能够在不导致精度崩溃的前提下，实现更高的解码并行度。
系统协同设计：通过利用 CPU 卸载和延迟隐藏优化的执行流，最大限度地减少了监控漂移带来的运行时成本。

4. 实验结果

作者在多个 dLLM 系列（LLaDA-8B, LLaDA-1.5, Dream-7B）以及数学（GSM8K, MATH）、编程（HumanEval, MBPP）和并行化压力测试（ParallelBench）基准测试上评估了 Polestar。

准确率-吞吐量帕累托前沿（Pareto Frontier）：Polestar 刷新了现状，在提升吞吐量的同时，比现有基线模型实现了高达 10.73% 的准确率提升。
吞吐量增益：与基线模型相比，它实现了高达 3.7 倍的吞吐量（TPS）提升；在特定配置下（如 GSM8K-512），其提升可达 20.5 倍。
解码并行度：Polestar 实现了每轮前向传播 3.67 个 Token（TPF） 的高解码并行度，显著优于 Fast-dLLM (2.72 TPF) 和 Elastic-Cache (2.93 TPF)，同时保持或提高了准确率。
消融实验：实验证实，基于 KL 散度的漂移测量优于余弦相似度或基于不确定性的选择。此外，结合漂移感知提交与后缀块提交对于在不降低准确率的情况下实现高 TPF 至关重要。

5. 重要意义

论文声称 Polestar 从根本上改变了 dLLM 的效率范式。通过将 Token 表示的固有漂移视为一种控制信号，该框架将“漂移”从一种负担转变为一种优势。这使得以下目标成为可能：

高效的缓存复用：使 dLLMs 能够复用 KV 缓存，而不产生以往方法中出现的精度损失。
可靠的并行化：将解码并行度与僵化的静态置信度阈值解耦，允许模型根据其表示的实际收敛情况来提交 Token。

最终，Polestar 证明了无需训练的推理优化可以同时最大化准确率和吞吐量，为扩散式语言模型的实际部署建立了新的基准。