🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

该论文提出了组查询潜在注意力（GQLA），这是对 DeepSeek 多头潜在注意力的一种硬件自适应改进，它使同一组权重能够动态地在面向 H100 级 GPU 的 MQA 吸收路径和面向 H20 等商用 GPU 的 GQA 路径之间切换，从而优化推理效率并支持多 token 预测，且无需重新训练或定制内核。

原作者： Fanxu Meng

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fanxu Meng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在运营一座庞大的图书馆（一个大语言模型），每当图书管理员写下一句新句子时，他们都必须回顾自己读过的每一本书，以确保新句子合乎逻辑。这种“回顾”是过程中最耗资源的环节，需要大量的内存带宽。

长期以来，处理这一问题的最佳方法是一种称为MLA（多头潜在注意力）的技术。将 MLA 想象为一个超高效的“摘要笔记”系统。图书管理员不再保留每本书的每一个细节，而是将所有重要信息压缩成一张微小的、低秩的“作弊条”（潜在向量）。

旧系统（MLA）的问题：
论文指出，虽然这套“作弊条”系统非常精妙，但它最初是专门为一种极其昂贵、高性能的计算机（NVIDIA H100）设计的。

H100 的适配：在这台昂贵的计算机上，该系统运行完美，因为它的数学计算速度极快，但内存速度有限。“作弊条”将内存占用降至最低，恰好契合了这台计算机的优势。
H20 的不匹配：然而，存在一种更便宜且受出口限制的计算机（H20），它拥有充足的内存速度，但数学计算能力要慢得多。对于这台机器而言，旧的“作弊条”系统是一场灾难。它迫使计算机在移动少量数据时进行过多的数学运算，导致其停滞不前。
僵化性：旧系统就像是为某个人量身定制的一套西装。一旦体型改变，你就无法再穿它。此外，它还阻碍了图书馆高效利用多名工作人员（张量并行），并阻止他们在不降低速度的情况下一次性预测接下来的多个单词（多 Token 预测）。

新解决方案：GQLA（分组查询潜在注意力）
作者提出了一种名为GQLA的新系统。与其说这是一套新西装，不如说它是一套可变形西装，能够利用完全相同的面料（相同的训练权重）完美适配两种不同的体型。

以下是其工作原理的类比说明：

两条路径：
- 路径 A（“超紧凑”模式）：这是原始的 MLA 风格。它保留微小的“作弊条”。这非常适合昂贵且数学计算密集型的 H100 计算机，因为它最大限度地减少了内存流量。
- 路径 B（“分组”模式）：这是新技巧。它不是将所有内容压缩成一张微小的笔记，而是将笔记分组为 8 个独立的“文件夹”。这会创建一个稍大的缓存，但允许计算机在每一步进行更少的数学运算。这非常适合更便宜但数学计算慢、数据传输快的 H20 计算机。
魔法开关：
最棒的是，图书馆无需重建。“西装”（模型权重）是相同的。当你部署模型时：
- 如果你在H100上，只需切换开关使用路径 A。
- 如果你在H20上，只需切换开关使用路径 B。
- 无需重新训练：你不需要教图书管理员任何新东西，只需改变他们阅读笔记的方式。
- 无需定制工具：它使用计算机工具箱中已有的标准工具。
为何更优：
- 硬件自适应：它为昂贵和便宜的计算机都找到了“最佳点”，在两者上都能最大化速度。
- 团队协作：与旧系统不同，新的“分组”路径允许多名工作人员高效协作（张量并行），而这一点此前是被阻塞的。
- 面向未来：它还支持在更便宜的计算机上“一次性猜测多个单词”（多 Token 预测），而旧系统在不崩溃的情况下无法做到这一点。

"TransGQLA"技巧：
论文还展示了如何将一个现有的图书馆（一个已经用旧的分组系统训练好的模型）瞬间转换为这种新的“可变形西装”，而无需从头开始。这就像给一件标准夹克加上一个隐藏的拉链，让它能瞬间变身为超紧凑版本。

结果：

在H100上，其表现与原始系统一样好。
在H20上，它比原始系统快 3.4 倍，因为它阻止了计算机在不必要的数学运算上浪费时间。
他们在标准模型（LLaMA-3-8B）上进行了测试，发现将其转换为这种新格式几乎不改变其智能，在几乎不损失能力的情况下，在更便宜的硬件上获得了巨大的速度提升。

总结：
这篇论文介绍了一种灵活的注意力机制，它就像一个“通用适配器”。它允许单个 AI 模型仅通过改变其内存组织方式，即可在高端昂贵芯片和更便宜的限制性芯片上均以峰值效率运行，而无需重新训练模型或构建新软件。

技术摘要：GQLA——面向硬件自适应大语言模型解码的组查询潜在注意力

1. 问题陈述

现代自回归大语言模型（LLM）解码的根本瓶颈在于键值（KV）缓存流量，因为每个生成的令牌都需要从片外内存读取整个缓存的键和值历史。尽管包括 DeepSeek-V2/V3 中使用的多头潜在注意力（MLA）在内的最新架构，通过将键和值联合压缩为低秩潜在表示，实现了最先进的 KV 缓存缩减，但在部署于多样化的推理硬件时，它们面临三个相互耦合的硬件缺陷：

硬件耦合：MLA 的训练权重仅暴露单一解码路径（一种“吸收”的多查询注意力或 MQA 形式）。该路径针对高端 GPU（如 NVIDIA H100，其计算 - 带宽比峰值约为 295 FLOPs/字节）的计算与带宽比进行了完美调优。然而，在受出口限制或商用 GPU（如 H20，其保留了带宽但计算能力削减了约 7 倍，将峰值降至约 37 FLOPs/字节）上，该路径变得严重受限于计算能力，导致吞吐量低下。
张量并行（TP）的丧失：吸收的 MQA 形式将所有查询头汇聚到单个共享的潜在 KV 中。这种结构阻止了沿头轴的张量并行，因为每个设备必须复制整个潜在表示，从而限制了可扩展性。
多令牌预测（MTP）增益为零：MTP 通过每步生成多个令牌来提高算术强度，这将本已受限于计算的 H20 解码推至其效率峰值之外，导致零吞吐量增益。相反，在 H100 上，MTP 超过了峰值，降低了增益的效率。

2. 方法论：组查询潜在注意力（GQLA）

作者提出了组查询潜在注意力（GQLA），这是 MLA 的一种最小化架构修改，它在保留联合低秩潜在压缩的同时，在相同的训练参数上暴露出两条代数等价的解码路径。

架构

GQLA 通过 $g$ 个组对上投影矩阵（ $W_{UK}, W_{UV}$ ）进行索引，而不是在所有 $h_q$ 个查询头上复制它们。这种设计支持两种不同的执行路径：

MQA 吸收路径（内存友好型）：
- 机制：与 MLA 相同。上投影被吸收进查询和输出投影中。所有 $h_q$ 个头直接访问紧凑的潜在缓存（$cKV$）。
- 缓存：仅存储潜在表示（ $r_{kv}$ ）和共享的 RoPE 键（ $d^R_h$ ）。
- 目标硬件：针对 H100 类硬件优化，其算术强度（对于 $s_q=1$ 约为 242 FLOPs/字节）略低于内存 - 计算峰值。
GQA 路径（计算友好型）：
- 机制：潜在表示被扩展为 $g$ 个键/值组。解码运行原生的组查询注意力（GQA），无需每步进行潜在扩展。
- 缓存：存储每组扩展的键和值（ $2gd_h$ ）以及共享的 RoPE 键。
- 目标硬件：针对 H20 类硬件优化。通过调整组数（ $g$ ）和每步的查询令牌数（ $s_q$ ），可以将算术强度固定在 H20 的峰值（约 37 FLOPs/字节）。
- 可扩展性：支持沿组轴高达 8 路的零冗余张量并行。

路径选择

运行时根据目标硬件选择路径，无需重新训练或定制内核：

H100：使用 MQA 吸收路径（ $s_q=1$ ）。
H20：使用 GQA 路径（例如 $g=8, s_q=2$ 或 $g=4, s_q=1$ ）。
MTP：在 H20 上， $s_q=2$ 的 GQA 路径恢复了接近理想的吞吐量增益，而 MLA 则毫无增益。

TransGQLA：从预训练模型的转换

为了避免从头开始预训练，作者引入了TransGQLA，这是 TransMLA 流程的扩展。它通过单次针对性修改，将预训练的 GQA 检查点转换为 GQLA 模型：

头合并：TransGQLA 不像 TransMLA 那样将分组头合并为单个潜在表示并在所有查询头上复制上投影，而是保持按组索引的上投影。
结果：该模型在结构上保留了 GQA 执行路径，同时通过标准的吸收操作启用 MQA 吸收路径。这保留了沿组轴的张量并行性。

稀疏 GQLA

该设计扩展到了细粒度稀疏注意力。由于标准的 GQLA 配置（ $h_q/g = 16$ ）与 Tensor-Core MMA 瓦片维度（ $m=16$ ）相匹配，稀疏 GQLA 可以在 H20 类硬件上保留 GQA 路径。相比之下，稀疏 MLA 由于瓦片限制在结构上被锁定在吸收的 MQA 路径，继承了相同的计算开销问题。

3. 主要贡献

识别 MLA 缺陷：本文指出 MLA 的单路径设计将其与 H100 类比率耦合，放弃了头轴张量并行，并在商用 GPU 上产生零 MTP 增益。
GQLA 架构：MLA 的一种最小变体，在相同的权重上暴露出两条代数等价的路径（MQA 吸收和 GQA）。单一配置（ $h_q=128, g=8$ ）配合一个 MTP 头，同时锁定了 H100 和 H20 的屋顶线。
TransGQLA 流程：一种转换方法，将预训练的 GQA 检查点转换为 GQLA 模型，仅需最小化的架构更改，保留了张量并行性并实现了向潜在形式的平滑过渡。
屋顶线分析：理论验证表明，GQLA 权重可以通过切换路径在 H100 和 H20 上实现接近峰值的吞吐量，而 MLA 在 H20 上效率低下。

4. 结果

作者在LLaMA-3-8B模型上评估了 TransGQLA：

能力保留：将 GQA 权重转换为 GQLA 潜在形式（无需进一步训练）后，与原始 15T 令牌预训练模型相比，在常识推理基准（MMLU、ARC 等）上的平均损失仅为约 9.7 分。
缓存压缩：在 MQA 吸收路径上，每令牌的 KV 缓存被压缩至原始 GQA 基线的28.125%（减少了 71.875%）。
吞吐量预测：
- H100：MQA 吸收路径实现了 354K 令牌/秒。
- H20：GQA 路径（ $g=8, s_q=2$ ）实现了221K 令牌/秒，比同一设备上的 MLA 提高了3.4 倍（MLA 因受限于计算能力而停滞在 65K 令牌/秒）。
持续预训练：作者预测，遵循 TransMLA 轨迹的持续预训练将在 30B 令牌后，将丢失的能力恢复到原始模型 0.5 分以内，同时保持 KV 缓存压缩。

5. 意义与主张

本文主张 GQLA 为 LLM 推理提供了一种实用且与硬件无关的设计原则。通过在单一组训练权重上暴露多条代数等价的解码路径，GQLA 允许模型在部署时适应不同的硬件约束（计算丰富型 vs. 内存丰富型），而无需重新训练或定制内核。

作者将 GQLA 定位为“硬件耦合”问题的解决方案，使其能够在旗舰加速器（H100）以及商用/受出口限制的硬件（H20）上高效部署。他们强调，这种方法支持在 MLA 无法高效实现的硬件上进行多令牌预测和张量并行。

承认的局限性：

硬件主张基于屋顶线建模；在实际 H20/H100 硬件上的完整内核级基准测试尚待进行。
TransGQLA 的持续预训练结果目前正在进行中，尚未在论文中最终确定。
评估目前仅限于 LLaMA-3-8B 骨干网络和常识推理基准。
稀疏 GQLA 仅在结构上进行了描述，尚未与现有的稀疏注意力方法进行基准测试。