🤖 AI

Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents

Vortex 是一个结合了 Python 嵌入式前端与高效后端的系统，旨在实现稀疏注意力算法的快速原型设计与部署，使 AI 智能体能够自动发现设计，从而实现比全注意力机制高出达 3.46 倍的吞吐量，并将这些增益扩展到新兴的大规模架构中。

原作者： Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一座巨大的图书馆（即大语言模型，LLM），一位图书管理员（AI）必须一次写一个词，写出一个非常长的故事。

每当图书管理员写下一个新词时，他们都必须回顾之前写过的所有内容，以确保新词能够衔接得上。在传统的图书馆里，图书管理员必须走遍每一排书架，检查每一本书，并阅读每一个句子，才能找到相关的部分。随着故事变得越来越长（数千个词），这种“行走与检查”的过程会变得极其缓慢且令人精疲力竭。这就是**全注意力机制（Full Attention）**的问题。

**稀疏注意力机制（Sparse Attention）**就像是给了图书管理员一个聪明的捷径：“只看最后 5 页以及开头最重要的 3 个章节。”这节省了大量时间。然而，构建这些捷径目前是工程师们的噩梦。这就像是你每产生一个新的捷径想法，都必须重新建造一整条定制的高速火车轨道。如果你想测试一个新想法，你必须从头开始重建整个轨道，这需要耗费数周时间。

Vortex 正是为此而生。

Vortex 是一个全新的系统，它充当了这些捷径的**“通用火车轨道建造者”**。以下是它的工作原理，我们使用简单的类比来解释：

1. 问题所在：“分页式”图书馆

现代图书馆并不将书籍存储在一条连续的长行中。为了节省空间，它们将书籍存储在分散、不连续的箱子中（称为分页注意力机制/Paged Attention）。

旧方法： 如果你想告诉计算机“查看特定的分散箱子”，你必须编写复杂的底层代码来寻找每个箱子、取出它们并按顺序排列。这就像是要求机器人通过一个一个挖掘的方式，去寻找沙滩上特定的沙粒。
Vortex 的方式： Vortex 引入了一种全新的思维方式，称为 vTensor。它给了图书管理员一张“魔法地图”。你不需要知道箱子在物理上的具体位置，你只需要说：“我想要前 5 个最相关的箱子，”魔法地图就会处理好在分散存储中寻找这些箱子的复杂细节。

2. 语言：vFlow（“食谱书”）

Vortex 配有一种名为 vFlow 的编程语言。

类比： 想象你是一名厨师。你不需要编写代码来告诉计算机如何切每一根胡萝卜，你只需要写一个食谱：“取胡萝卜，切碎，然后与洋葱混合。”
它如何提供帮助： 研究人员（甚至是 AI Agent）可以用短短几行代码来编写新类型捷径（稀疏注意力算法）的“食谱”。他们不需要成为精通复杂硬件细节的专家。他们只需描述他们想要做什么，Vortex 就会搞定如何高效地实现它。

3. AI Agent： “自主发明家”

这是最令人兴奋的部分。论文显示，Vortex 如此易于使用，以至于 AI Agent（旨在像人类一样行动的计算机程序）也可以利用它来发明新的捷径。

实验： 研究人员要求 AI Agent “发明 20 种加速图书管理员的方法”。
结果： AI Agent 不仅仅是在模仿旧的想法；它们创造了全新的、多样化的食谱。其中一个由 AI 生成的捷径让图书管理员的速度提升了 3.46 倍，且没有损失任何故事的准确性。
循环： AI 在 18 小时内不断尝试、失败并调整其食谱。它最终找到了一个人类可能会错过的、在速度与准确性之间的完美平衡点。

4. 结果：加速未来

Vortex 不仅仅适用于小型模型；它也能在世界上最庞大、最复杂的图书馆上运行。

大型模型： 团队在拥有 2290 亿参数的超大规模模型（MiniMax-M2.7）以及超级计算机芯片（NVIDIA B200）上测试了 Vortex。即使在这种规模下，Vortex 的捷径也让系统提速了 1.37 倍。
新架构： 他们还将它用于一种新型的图书馆设计——MLA（被 DeepSeek 和 GLM 等模型使用）。他们使用 vFlow 设计了一个定制的捷径，并实现了 4.7 倍的加速。

总结

把 Vortex 看作是一个集翻译官和施工队于一身的角色。

它将复杂、混乱的硬件规则转化为简单、易读的食谱。
它允许人类和 AI Agent 快速发明、测试并部署用于阅读长文本的新型“捷径”。
它将过去长达数月的工程项目缩短为几个小时，使我们能够找到更快的方式来运行 AI 模型，而不必牺牲其智能水平。

论文声称，通过让实验变得容易，Vortex 已经帮助 AI Agent 发现了比目前生产环境中使用的算法更快的算法，这证明了我们可以在无需等待新硬件的情况下，让 AI 变得更快、更高效。

技术摘要：Vortex —— 用于 AI Agent 的高效且可编程的稀疏注意力服务系统

1. 问题陈述

随着大语言模型（LLM）生成长度的增长，特别是在推理、智能体（agentic）系统和强化学习领域，解码过程中键值（KV）缓存的移动已成为主要的系统瓶颈。稀疏注意力是一种缓解该问题的关键技术，然而，在大规模部署和评估新的稀疏注意力算法方面，工程实现依然极其复杂。

本文识别了阻碍进展的三个具体差距：

难以泛化至动态稀疏性： 现有系统（如 FlashInfer、FlexAttention）在已知稀疏模式时可以优化稀疏算子，但在处理“动态”稀疏注意力（即模式由实时生成的场景决定）时表现挣扎。确定这些模式的开销往往超过了注意力算子本身的开销。
缺乏可编程性： 当前的服务系统（如 SGLang、vLLM）提供的可编程性有限。集成新算法通常需要针对分页张量（paged tensors）重新实现底层的算子（如 GeMM、Reduce、Top-K），这需要编写数千行代码，阻碍了人类和 AI Agent 的快速原型设计。
与演进中的服务系统不兼容： 许多稀疏方法依赖于自定义算子，这些算子与现代服务栈组件（如分页注意力、前缀缓存以及不断演进的后端如 GQA、MLA）不兼容。因此，理论上的加速往往无法转化为端到端的性能提升。

2. 方法论：Vortex 系统

Vortex 是一个旨在弥合稀疏注意力研究与实际服务应用之间鸿沟的系统。它由三个核心组件组成：

A. 编程模型：vFlow

vFlow 是一个嵌入 Python 的前端语言，允许研究人员和 AI Agent 使用**单请求心理模型（single-request mental model）**来表达稀疏注意力算法。

抽象： 它将张量视为具有批大小为 1 且布局连续的状态，隐藏了物理分页内存的复杂性。
两阶段分解： 算法被分解为：
1. 查询无关的预处理（forward_cache）： 从 KV 缓存中构建辅助结构（例如块质心、摘要）。
2. 查询相关的执行（forward_indexer）： 计算相关性得分，动态选择前 k 个块，并执行注意力计算。
可组合性： 复杂的算法（如 DoubleSparse、Quest、H2O）是通过组合一组可重用的原语（GeMM、Softmax、Top-K）构建的，而不是编写单体内核。

B. 张量抽象：vTensor

为了解释用于执行的 vFlow 程序，Vortex 引入了 vTensor，这是一个以页为中心的张量系统。

布局处理： vTensor 通过显式的布局元数据（ $C = (b, p, I)$ ）扩展了 PyTorch 张量，捕捉了批大小、索引指针和不规则索引结构。这使得系统能够处理现代服务中使用的物理上非连续的、块稀疏的 KV 缓存。
算子语义： 算子独立地应用于批次中的每个序列，并通过形状和布局传播进行聚合。这确保了中间结果保持在可被后续算子消费的格式中，而无需不必要的物化。

C. 执行后端与优化

后端将 vTensor 程序集成到现代服务栈（如 SGLang）中，并包含以下关键优化：

工作负载规划与算子融合： 编译器根据张量布局规划 GPU 工作负载，并融合共享兼容执行模板的算子（如 GeMM、逐元素运算、归约运算），以减少中间内存传输。
随机基数 Top-K（Stochastic Radix Top-K）： 为了解决非矩阵乘法（non-matmul）Top-K 选择的瓶颈，Vortex 采用了随机早期终止策略。通过在发现高置信度候选者后从阈值箱中采样，它通过牺牲精确度来换取速度，从而显著降低了精炼开销。
后端兼容性： Vortex 复用了高度优化的注意力后端（FlashInfer、TensorRT-LLM）来支持分组查询注意力（GQA）和多头潜在注意力（MLA）。对于 vendor 内核不支持的 MLA 几何结构，Vortex 提供了一个支持通用潜在形状和更细粒度块大小的自定义 cuda_mla 内核。

3. 核心贡献

vFlow/vTensor 框架： 一个统一的可编程抽象，允许将稀疏注意力算法表达为模块化、可组合的代码，同时透明地处理分页内存布局。
AI-Agent 驱动的研究： 一种使 AI Agent 能够自主生成、精炼和评估稀疏注意力算法的工作流。该系统成功促成了一个 18 小时的自主优化循环。
可扩展的评估： 证明了 Vortex 可以支持超大规模模型（高达 229B 参数）和新兴架构（MLA）的实验，而由于工程复杂性，这些模型此前难以进行实验。
新见解： 利用该框架作为研究工具，发现 GQA 中的路由信号集中在特定的通道组（g3 和 g7）中，并且位置旋转嵌入（rope）组件对于 MLA 块选择至关重要。

4. 实验结果

评估在 NVIDIA H200 SXM 和 B200 GPU 上针对多种模型（Qwen3 系列、GLM-4.7-Flash、MiniMax-M2.7）进行。

AI Agent 创新：
- AI Agent（Claude Code, Codex）生成了多样化的稀疏注意力算法。
- 一个 18 小时的自主优化循环在 AIME24（Qwen3-1.7B）上实现了高达 3.46× 于全量注意力的吞吐量，同时保持了准确性。
架构适配（MLA）：
- 在 GLM-4.7-Flash（MLA 架构）上，一种感知 rope 的稀疏注意力设计实现了高达 4.7× 于全量注意力的加速，同时匹配准确度。
服务器吞吐量：
- 与 SGLang 全量注意力相比，Vortex 在稠密模型（Qwen3-0.6B 至 8B）上实现了高达 3.60×（block top-k）和 2.98×（Quest）的吞吐量提升，并维持了准确性。
- 在 229B 参数的 MiniMax-M2.7（跨 4 个 B200 GPU 服务）上，block top-k 实现了比全量注意力高出 1.37× 的吞吐量。
用户延迟：
- 在高请求率（8.0 req/s）且输入提示词为 16K 的情况下，Vortex 将 P95 每个输出 Token 的时间（TPOT）降低了高达 11.7×（block top-k）和 12.8×（Quest）。

5. 重要性与主张

本文主张，Vortex 通过将理论效率增益转化为现实世界的吞吐量提升，显著加速了稀疏注意力算法的设计与迭代。其主要意义在于：

使稀疏注意力研究民主化： 通过降低实现复杂度，它使研究人员和 AI Agent 能够快速原型化并验证新想法，而无需深厚的系统工程专业知识。
弥合理论与实践： 它解决了“最后一公里”问题，即稀疏算法无法集成到现代分页服务栈中的问题，确保了理论加速能在生产环境中得到实现。
支持大规模自主优化： 该系统提供了必要的底层设施，使 AI Agent 能够自主探索稀疏注意力设计空间，这一能力通过生成帕累托高效（Pareto-efficient）算法以及发现架构见解得到了证实。

作者指出了一些局限性，即 Vortex 目前专注于解码阶段（而非预填充阶段）和推理（而非训练），并将该系统视为未来紧密集成、可编程服务基础设施的基础。