💬 NLP

Compressing Sequences in the Latent Embedding Space: $K$ -Token Merging for Large Language Models

本文提出了一种名为"K-Token Merging"的潜在空间压缩框架，通过将连续 K 个 Token 嵌入合并为单个嵌入，在显著降低大语言模型处理长序列计算成本的同时，实现了高达 75% 的输入长度缩减且仅带来极小的性能损失。

原作者： Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让大型语言模型（LLM）“变聪明、跑得快”的新方法，叫做 K-Token Merging（K 词合并）。

为了让你轻松理解，我们可以把大语言模型想象成一个超级繁忙的图书馆管理员，而用户输入的提示词（Prompt）就是借书清单。

1. 现在的痛点：清单太长，管理员累坏了

想象一下，如果你给管理员一张长达 100 页的借书清单，上面密密麻麻写满了书名。

传统做法：管理员必须一页一页、一个字一个字地读完这 100 页，才能开始找书。
问题：随着清单变长，管理员的工作量不是线性增加，而是指数级爆炸（就像你要在 100 页里找书，每多一页，他需要对比的次数就翻倍）。这导致处理长文本时，电脑内存不够用，速度也慢得像蜗牛。

2. 以前的尝试：粗暴删减 vs. 换个说法

为了解决这个问题，以前的科学家尝试过两种方法：

硬压缩（Hard Compression）：就像让管理员直接撕掉清单上他觉得“不重要”的页码。
- 缺点：有时候被撕掉的页码里藏着关键信息（比如“不要红色的书”），结果管理员找错了书。
软压缩（Soft Compression）：让管理员学会用缩写或暗号来记录清单。
- 缺点：这些方法大多还是在“词”的层面上做文章，没有触及到更深层的“含义”层面。

3. 这篇论文的新招：K-Token Merging（打包合并）

这篇论文提出了一种更聪明的办法：不要删词，也不要改词，而是把连续的词“打包”成一个超级压缩包。

📦 核心比喻：快递打包

想象你的借书清单是：

“苹果、香蕉、橙子、葡萄、西瓜、哈密瓜……"

传统管理员：要把这 6 个词一个个读进去，记在脑子里。
K-Token Merging 管理员：
1. 他有一个智能打包机（论文里的“轻量级编码器”）。
2. 他把连续的 K 个词（比如每 4 个词）扔进打包机。
3. 打包机“咔嚓”一下，把这 4 个词压缩成一个超级包裹（一个压缩后的向量）。
4. 现在，原本 100 页的清单，可能只需要 25 个“超级包裹”就能装下！

🧠 为什么这招这么厉害？

这就好比，虽然清单变短了，但包裹里的信息一点没少。

不丢信息：以前的“硬压缩”是扔掉词，这里是把词“压缩”了。就像把衣服塞进真空袋，体积变小了，但衣服还是那件衣服。
适应性强：这个打包机是专门训练过的，它知道怎么把“苹果、香蕉、橙子、葡萄”打包成一个能代表“水果”概念的包裹。
生成时恢复原状：当管理员开始找书（生成回答）时，他依然输出正常的、完整的词（比如“苹果”），而不是输出“包裹”。所以用户看到的回答和以前一样自然。

4. 实验结果：又快又好

作者在三个不同的“考场”测试了这个方法：

逻辑推理（树状图）：就像在复杂的家族树里找亲戚关系。
情感分析（亚马逊评论）：判断评论是夸还是骂。
代码修改（CommitPackFT）：根据指令修改代码。

结果令人震惊：

他们成功把输入长度缩短了 75%（100 页的清单变成了 25 页）。
但是，管理员的准确率几乎没有下降（只掉了不到 2%）。
这意味着，电脑处理这些任务时，计算量减少了 94%！就像原本需要跑 100 公里的马拉松，现在只需要跑 6 公里就能到达终点。

5. 总结：给大模型装上“压缩引擎”

这篇论文的核心思想就是：大模型在处理输入时，其实浪费了很多空间。 就像我们说话时，很多词连在一起其实可以概括成一个概念。

K-Token Merging 就像给大模型装了一个智能压缩引擎：

输入时：把长长的句子压缩成短小的“压缩包”。
思考时：用更少的内存和算力去处理这些压缩包。
输出时：解压并输出完美的回答。

一句话总结：
这就好比给大语言模型戴上了一副“透视眼镜”，让它能一眼看穿长文本的本质，把冗长的废话打包扔掉，只保留核心精华，从而跑得更快、更省内存，而且还能保持极高的智商。这对于未来处理超长文档、长视频分析等任务来说，是一个巨大的进步。

论文技术总结：K-Token Merging（潜在嵌入空间中的序列压缩）

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在处理长上下文提示（Long Prompts）时，面临巨大的计算和内存开销。由于自注意力机制（Self-Attention）的计算复杂度随输入长度呈二次方增长（ $O(n^2)$ ），处理长文本变得极其昂贵。

现有的提示压缩（Prompt Compression）方法主要分为两类，但均存在局限性：

硬提示压缩（Hard Prompt Compression）： 通过丢弃或总结部分 Token 来减少长度。这类方法在信息稀疏的任务中有效，但在信息密集的任务（如代码编辑、数学推理、文档修订）中，丢弃任何 Token 都可能导致关键信息丢失，从而显著降低性能。
软提示压缩（Soft Prompt Compression）： 学习新的 Token 或调整模型参数以生成更紧凑的表示。虽然比硬压缩保留了更多信息，但现有方法主要在Token 空间操作，忽略了**潜在嵌入空间（Latent Embedding Space）**本身存在的巨大冗余。

核心洞察： 当前 LLM 的 Token 嵌入效率极低。例如，Qwen 2.5 模型的词表大小约为 15 万，识别一个 Token 理论上仅需约 18 比特，但实际嵌入向量（如 896 维 x 32 位）消耗约 28,672 比特。这种巨大的差距表明，直接压缩嵌入向量而非 Token 序列，具有巨大的优化空间。

2. 方法论 (Methodology)

作者提出了 K-Token Merging，一种直接在潜在嵌入空间进行序列压缩的新框架。

2.1 核心架构

轻量级编码器（Encoder $f$ ）： 引入一个小型的多层感知机（MLP）作为编码器。该编码器将输入序列中连续的 $K$ $K$ 个 Token 的嵌入向量（Embeddings）合并为单个压缩嵌入向量。
- 输入： $K$ 个连续 Token 的原始嵌入 $\{Emb(T_{iK+1}), \dots, Emb(T_{iK+K})\}$ 。
- 输出：单个压缩嵌入 $C_i = f(\dots)$ 。
LoRA 适配的 LLM： 使用 LoRA（Low-Rank Adaptation）技术对基础 LLM 进行微调，使其能够理解并处理这些压缩后的嵌入向量，同时保持生成能力。
两阶段工作流程：
1. 预填充阶段（Prefill）： 编码器将输入的 $K$ 个 Token 块压缩为 1 个 Token 嵌入。LLM 接收这些压缩后的 Token 进行上下文理解。
2. 生成阶段（Generation）： 模型在生成时始终输出原始的（未压缩的）Token。新生成的 Token 被追加到“压缩/未压缩混合”的前缀中，继续以标准的自回归方式生成。

2.2 训练目标与初始化

训练目标： 仅针对未压缩的生成 Token（即输出部分）计算负对数似然损失（Negative Log-Likelihood）。这迫使模型学会从压缩的输入嵌入中恢复信息，同时保证在原始词表上的生成质量。
初始化策略（Average-Initialized Encoder）： 为了加速收敛，编码器被设计为输出 $K$ 个原始 Token 嵌入的平均值加上一个初始权重接近零的 MLP 残差。这使得训练初期，压缩嵌入在语义上接近原始 Token 的平均池化结果，提供了稳定的起点。

2.3 与词汇表扩展的区别

该方法不同于将 $K$ -gram 视为新 Token 的词汇表扩展（Vocabulary Expansion）。后者会导致低频“长尾”Token 爆炸，增加存储开销且难以泛化到未见过的组合。K-Token Merging 不改变词表大小，仅通过编码器动态压缩输入，具有更好的泛化性。

3. 关键贡献 (Key Contributions)

提出 K-Token Merging 框架： 首个直接在潜在嵌入空间进行序列压缩的方法，通过合并连续 Token 嵌入来减少有效输入长度。
提出适配训练方案： 设计了一套结合轻量级编码器和 LoRA 微调的训练流程，使 LLM 能有效处理压缩输入。
实验验证： 在多种任务上证明了该方法在帕累托前沿（Pareto Frontier）上的优越性，实现了高达 75% 的输入长度压缩，且性能下降极小。
理论洞察： 揭示了当前 LLM 嵌入空间存在显著冗余，证明了直接压缩嵌入比压缩 Token 序列更具效率。

4. 实验结果 (Results)

作者在三个不同领域的数据集上进行了评估：

Textualized Tree（结构推理）： 判断树节点间的父子关系。
- 结果： 4-Token 合并模型实现了 75% 的长度压缩，准确率从 99.97% 降至 98.38%（仅下降 1.59%），P-L F1 分数（性能与压缩率的调和平均）达到 0.851，远超基线。
Amazon Reviews（情感分类）： 判断评论情感正负。
- 结果： 4-Token 模型压缩 75% 长度，P-L F1 为 0.822，比最强基线提升 25.5%。2-Token 模型在压缩 50% 长度时，准确率仅下降 1.03%。
CommitPackFT（代码编辑）： 根据指令修改代码。
- 结果： 4-Token 模型压缩 75% 长度，P-L F1 达到 0.830。尽管使用困惑度（Perplexity）评估，模型仍保持了高质量的代码生成能力。

综合表现： 在所有任务中，K-Token Merging 均位于性能与压缩率的帕累托最优前沿。在输出长度远小于输入长度的场景下，由于预填充阶段的注意力计算量与长度平方成正比，该方法理论上可减少约 94% 的计算量（FLOPs）。

5. 意义与局限性 (Significance & Limitations)

意义

效率突破： 为长上下文 LLM 提供了一种高效的压缩方案，显著降低了推理成本和内存占用，特别适用于长文档处理、代码库分析等场景。
新视角： 将压缩的视角从"Token 选择/丢弃”转向“嵌入空间冗余消除”，为未来的模型架构设计提供了新方向。
通用性： 方法不依赖特定任务，且兼容现有的硬压缩方法（可串联使用）。

局限性

生成阶段未压缩： 目前仅压缩输入 Token，生成阶段的 Token 仍为原始长度。随着生成长度增加，效率提升会逐渐减弱。
固定压缩比： 采用均匀的 $K$ 值压缩，未根据文本内容的统计特性（如高频/低频区域）进行自适应调整。
模型规模限制： 受限于算力，实验仅在 Qwen 2.5 0.5B 等较小模型上进行，尚未在更大规模模型上验证其泛化性。

未来方向

生成阶段压缩： 探索将压缩技术应用于生成的 Token。
递归编码： 采用层级压缩（如 8->4->2）进一步缩短表示。
自适应压缩： 根据上下文统计特性动态调整 $K$ 值。