💬 NLP

Large Language Model as Token Compressor and Decompressor

该论文提出了一种基于自表达自动编码框架的微调方法，使大语言模型能够将长文本压缩为自适应的离散 Z-tokens 并精确还原，在多个数据集上实现了高达 18 倍的 Token 缩减，同时保持了重建质量和下游任务性能。

原作者： Wenbing Li, Zikai Song, Jielei Zhang, Tianhao Zhao, Junkai Lin, Yiran Wang, Wei Yang

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenbing Li, Zikai Song, Jielei Zhang, Tianhao Zhao, Junkai Lin, Yiran Wang, Wei Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种让大型语言模型（LLM）“学会说自己的秘密语言”的巧妙方法。简单来说，就是给模型装了一个智能压缩与解压的“翻译器”，让它能像人类记笔记一样，把长篇大论压缩成简短的“暗号”，需要时再完美还原。

我们可以用以下几个生动的比喻来理解这项技术：

1. 核心痛点：为什么我们需要它？

想象一下，你正在读一本几十万字的巨著，但你的大脑（也就是现在的 AI 模型）有一个“注意力”的瓶颈。

现状：传统的 AI 处理长文章时，就像是一个笨拙的图书管理员。每读一个新句子，它都要把之前读过的所有句子重新在脑海里过一遍，看看它们之间有什么联系。文章越长，它要做的“回头检查”就越多，计算量呈爆炸式增长（平方级），导致速度极慢、内存爆满，甚至直接“死机”。
目标：我们需要一种方法，让管理员不用把整本书都摆在桌上，而是先读一遍，提炼出精华，只保留最关键的“线索”，然后基于这些线索继续思考。

2. 解决方案：Z-Token（Z-令牌）—— 模型的“秘密暗号”

这篇论文的核心发明是一种叫 Z-Token 的东西。你可以把它想象成模型内部通用的**“极简暗号”或“概念压缩包”**。

压缩过程（Encoder/压缩机）：
模型不再是机械地逐字阅读，而是像一个经验丰富的老编辑。
- 遇到啰嗦、重复的废话，它直接“一键删除”或合并。
- 遇到复杂的概念（比如“双刃剑”），它不会把四个字都存下来，而是用一个特定的暗号（比如 Z-42）来代表“利弊共存”这个核心思想。
- 关键点：这个压缩是动态的。重要的地方多给几个暗号，不重要的地方少给几个。就像人类记笔记，重点画圈，废话直接略过。
思考过程（Inferencer/推理机）：
一旦文章被压缩成这一串短小的“暗号”（Z-Tokens），模型就可以在这些暗号的世界里进行推理了。
- 这就好比在一张只有关键路标的地图上开车，而不是在满是路牌和广告牌的拥堵街道上开车。速度自然快了很多，内存占用也大大减少。
解压过程（Decoder/解压机）：
当需要输出结果（比如回答问题或写文章）时，模型再把这些“暗号”翻译回人类能看懂的自然语言。
- 神奇的是，这种翻译不是简单的复制粘贴，而是基于对暗号含义的理解，重新组织语言。就像你看到“暗号 Z-42"，能根据上下文把它还原成“双刃剑”或者“利弊共存”，甚至不同的表达方式，但意思完全没变。

3. 这项技术有多厉害？（用数据说话）

压缩率惊人：在维基百科或新闻数据集上，它能将文本压缩到原来的 1/18（即 18 倍压缩）。原本要读 1000 个字，现在只需要处理几十个“暗号”。
速度提升：推理速度提升了 4.6 倍。以前读长文要喘口气，现在瞬间完成。
内存节省：因为处理的数据量少了，显存（GPU 内存）占用大幅降低，让普通的电脑也能跑动超长文本。
质量不降：最厉害的是，虽然压缩了，但还原出来的文章意思完全没丢，甚至在做问答、总结任务时，表现比不压缩的模型还要好。

4. 一个有趣的发现：暗号的“多义性”

论文发现了一个有趣的现象：同一个“暗号”（比如 Z-87），在不同的上下文里，可以代表稍微不同的意思。

比喻：这就像人类语言中的**“多义词”**。比如“苹果”这个词，在“吃苹果”里是水果，在“买苹果”里可能指公司。
意义：以前的压缩方法（比如把文章变成一串固定的数字向量）像是一个死板的字典，一个数字只能对应一个意思。而 Z-Token 像是一个灵活的词汇表，它懂得根据上下文调整含义。这让压缩更加高效，因为模型不需要为每一种细微的差别都发明一个新暗号，而是学会“看人下菜碟”。

5. 总结：这对我们意味着什么？

这项技术就像是给 AI 装上了**“速记本”和“思维导图”**。

以前：AI 处理长文档像是在搬砖，又慢又累，容易出错。
现在：AI 学会了先画一张“思维导图”（Z-Tokens），在图上快速推演，最后再根据图把砖砌好。

应用场景：

超长文档阅读：瞬间读完几百页的法律合同或小说，并精准回答细节问题。
智能助手：让手机上的 AI 助手也能处理超长对话历史，而不需要昂贵的服务器。
推理加速：让 AI 思考得更快，更省电。

总的来说，这篇论文证明了：让 AI 学会用“自己的语言”去压缩和思考，是解决长文本处理难题的一条捷径。 它不再死记硬背每一个字，而是真正理解了内容的精髓。

论文技术总结：大语言模型作为 Token 压缩器与解压缩器

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在处理长上下文时面临根本性限制，主要源于注意力机制（Attention Mechanism）的二次方复杂度（ $O(N^2)$ ）。随着序列长度达到数万甚至数十万 Token，计算和内存开销变得极其昂贵，阻碍了大规模推理、长文档理解和多跳检索等任务。

现有的 Token 压缩方法主要分为两类，但均存在局限性：

启发式方法（如基于相似度的合并、注意力剪枝）：基于局部相似度或重要性评分合并/删除 Token。虽然能缩短序列，但可能丢失话语或语用意义，且难以恢复。
基于学习/自编码的方法（如 AutoCompressor, ICAE, Gist Tokens）：通常生成固定长度的连续向量或软嵌入。这些方法往往将压缩视为外部辅助任务，与 LLM 的核心生成推理过程解耦。生成的连续嵌入缺乏透明度和可解释性，且固定压缩比无法适应信息密度的变化，通常无法保证原始输入的精确重构。

核心问题：如何设计一种既能大幅压缩 Token 数量，又能保持语义完整性、可解释性，并能直接利用 LLM 内部知识进行推理的压缩机制？

2. 方法论 (Methodology)

本文提出了一种新颖的洞察：利用 LLM 自身的语义知识，将其同时作为 Token 压缩器和解压缩器。作者设计了一个自表达自编码学习框架（Self-expressive Autoencoding Framework），将预训练的 LLM 微调为一种“双语”模型：将长文本翻译成紧凑的、离散的、可变长度的内部语言（称为 Z-tokens），并能从中精确重构原始文本。

核心组件与流程

LLM 压缩器 (Compressor)：
- 输入：原始 Token 序列 $X$ 。
- 输出：可变长度的离散 Z-token 序列 $Z$ （长度 $K \ll N$ ）。
- 机制：采用自回归方式生成 Z-tokens，而非学习固定长度的软嵌入。这使得模型能根据语义密度动态分配 Token 数量（复杂段落分配更多 Z-tokens，冗余区域大幅压缩）。
- 技术细节：扩展词表 $[V_{base}, V_z]$ ，使用 Gumbel-Softmax 估计器在训练时保持离散性，同时通过直通估计器（Straight-Through Estimator）保证梯度流动。
- 长文本处理：引入滑动窗口机制，对重叠区域施加一致性约束，确保长文档的语义连贯性。
LLM 解压缩器 (Decompressor)：
- 功能：将 Z-tokens 还原为有意义的语义输出。
- 两种范式：
  1. 作为推理器 (Inferencer)：直接消耗 Z-tokens 进行下游任务（如问答、摘要），压缩器充当“学习到的 Prompt 压缩器”。
  2. 作为重构器 (Reconstructor)：从 Z-tokens 重构原始文本。此时，一个独立的 LLM 推理器可以在 Z-token 空间中进行纯抽象推理，无需处理表面 Token。
- 约束：解码时限制输出词表为原始预训练词表 $V_{base}$ ，确保输出是人类可读的自然语言，而非不可解释的潜变量。
- 训练策略：使用交叉熵损失，并结合课程采样 (Schedule Sampling) 策略缓解暴露偏差（Exposure Bias），使模型在推理时更鲁棒。
Z-token 的可解释性与多义性：
- 研究发现 Z-tokens 具有多义性 (Polysemy)：同一个 Z-token 索引在不同上下文中可解码为不同的具体词汇，但核心概念一致（如“经济改革”和“财政重组”可能共享相同的 Z-token）。
- 这种多义性并非混乱，而是结构化的。通过上下文约束（完整序列、自回归前缀、基础词表限制），歧义被转化为可控的上下文相关实现。

3. 关键贡献 (Key Contributions)

新颖的洞察：首次证明现成的 LLM 可以充当优秀的 Token 压缩器和解压缩器，将压缩过程内化为 LLM 的语义抽象和概念蒸馏过程，而非外部辅助任务。
可变长度离散表示：提出生成离散、可变长度的 Z-tokens，相比固定长度的连续向量，更能适应信息密度的变化，且具备类似自然语言词素的可解释性。
双范式架构：支持“直接推理”和“空间推理”两种模式。特别是允许模型在Z-token 空间直接进行推理，无需先重构为表面文本，显著提升了长上下文推理的效率。
语义保真与重构：实现了高保真的文本重构，同时保留了下游任务（如问答、摘要）的性能，证明了压缩是语义蒸馏而非死记硬背。

4. 实验结果 (Results)

作者在六个大规模数据集（Wikipedia, CNN/DailyMail, HotpotQA, NarrativeQA, QASPER, QuALITY）上进行了广泛实验：

压缩效率：
- 在 Wikipedia 等数据集上实现了高达 18 倍 的 Token 减少。
- 名义压缩比为 4× 时，实际有效压缩比可达 5.1×；8× 时可达 9.4×。
重构性能：
- 在 Wikipedia 重构任务中，BLEU-4 分数达到 99.31（4×压缩），显著优于 AutoCompressor (96.44) 和 ICAE (98.45)。
- 即使在 16× 的高压缩比下，BLEU-4 仍保持在 54.3。
下游任务表现：
- 长文本问答 (Long-text QA)：在 HotpotQA, QuALITY 等数据集上，该方法在所有压缩比下均达到或超过 SOTA 基线（如 ICAE, Gist Token, LLOCO）。
- 摘要任务：在 CNN/DailyMail 上，ROUGE 分数与原始模型相当甚至更优，且推理时间减少了 2 倍（从 35 分钟降至 17 分钟）。
效率提升：
- 由于序列长度从 $N$ 缩短为 $K$ ，注意力计算复杂度从 $O(N^2)$ 降至 $O(K^2)$ 。
- 实验显示推理速度提升 4.6 倍，显存占用显著降低。在 4× 压缩比下，大批次输入推理速度提升 2.1 倍。
消融实验：
- 验证了课程采样（Schedule Sampling）对自由解码（Free Decoding）鲁棒性的提升。
- 确定了 Z-token 数量（如 8k）与性能之间的饱和平衡点。

5. 意义与展望 (Significance)

理论意义：揭示了 LLM 具备将复杂概念编码为紧凑离散符号的能力，提供了一种“LLM 说自己的短语言”的新视角。Z-tokens 的多义性和上下文依赖性为理解 LLM 内部语义表示提供了新窗口。
应用价值：
- 长上下文推理：为处理超长文档、多跳检索提供了高效路径，打破了注意力机制的瓶颈。
- 提示词压缩：可作为高效的 Prompt 压缩工具，降低 API 调用成本。
- 可解释性：离散的 Z-tokens 比连续向量更易于分析和控制。
未来方向：设计跨窗口的全局 Z-token 协调机制，以及开发任务感知的压缩过程，以保留特定的事实或论证结构。

总结：该论文提出了一种简单而有效的框架，利用 LLM 自身能力实现可变长度、离散且可解释的 Token 压缩。该方法在大幅降低计算成本的同时，完美保留了语义信息和推理能力，为长上下文大模型的高效应用开辟了新途径。