💬 NLP

Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines

本文介绍了 Entropy Gate，一种受热力学启发的“熵淬火”（entropy quenching）过程来选择性地移除低信息量 Token，从而在保持语义保真度的同时实现高达 96% 的智能体 LLM 工作负载压缩率的无状态且与模型无关的 Token 压缩框架。

原作者： Justice Owusu Agyemang, Jerry John Kponyo, Kwame Opuni-Boachie Obour Agyekum, Francisca Adoma Acheampong, Kwame Agyeman-Prempeh Agyekum, James Dzisi Gadze

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Justice Owusu Agyemang, Jerry John Kponyo, Kwame Opuni-Boachie Obour Agyekum, Francisca Adoma Acheampong, Kwame Agyeman-Prempeh Agyekum, James Dzisi Gadze

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给一位特定领域的专家朋友写一封非常长且详尽的信。然而，你的朋友按字数收费，而且如果你的言辞啰嗦，他们会感到疲劳。你希望在不丢失任何原意的前提下，用更少的文字传达完全相同的信息，即剔除废话而不失真。

这篇论文介绍了一个名为 Entropy Gate（熵门） 的工具，它正是为此设计的。它就像一个智能编辑，坐在你和人工智能（AI）之间，在你发送请求（提示词）或 AI 回复之前，对它们进行精简。

以下是它的工作原理，通过简单的类比来解释：

1. 问题所在：“Token 税” (The "Token Tax")

AI 系统以被称为“Token”（标记/词块）的单位进行思考。目前，这些系统在那些无法增加新信息的词汇上浪费了大量的金钱和时间。

类比： 想象你在为旅行打包行李。你不小心带了 50 只一模一样的袜子、三份同样的地图，以及一本你永远不会读的厚百科全书。你正在为携带这些重量而付费，但它们对你到达目的地毫无帮助。论文称之为“Token 税”。

2. 解决方案：“熵淬火” (Entropy Quenching)

作者使用了物理学中的一个概念——淬火 (Quenching)。

类比： 想象一锅热汤，里面漂浮着各种食材。有些食材沉重且有价值（比如牛排或土豆），而有些则轻盈且蓬松（比如蒸汽或气泡）。
- 普通冷却： 如果你缓慢冷却汤，所有东西都会混合在一起。
- 淬火： 如果你极快地冷却它，沉重且有价值的食材会沉到底部并保持固体状态，而轻飘飘、无用的气泡会冻结在原地，从而可以从顶部撇除。
在 AI 中： 系统为每个词分配一个“能量得分”。高能词汇是“牛排”（重要的事实、名称、指令）。低能词汇是“气泡”（重复的短语、填充词、礼貌性的问候）。系统通过“冷却”对话，将低能词汇冻结，以便将其移除。

3. 它如何决定保留什么

系统并不只是瞎猜；它使用一个由三部分组成的评分卡来决定一个词是否重要：

统计能量 (Statistical Energy)： 这个词是否罕见且具有特异性？（例如，“SQL injection”是高能的；“the”是低能的）。
结构能量 (Structural Energy)： 这个词承担什么功能？（例如，像“Review”这样的命令或像“def”这样的代码关键字是高能的；逗号或空格是低能的）。
位置能量 (Positional Energy)： 词语所处的位置在哪里？（位于句子开头的词通常承载更多权重）。

“能量平方”技巧 (The "Energy Squaring" Trick)：
论文提到一个聪明的数学技巧，即对这些得分进行平方处理。

类比： 想象你有一份跑步者名单。如果你只看他们的速度，快跑者和慢跑者之间的差距很小。但如果你将他们的速度平方，快跑者会显得极其迅速，而慢跑者则显得极其缓慢。这使得系统更容易识别出“赢家”（重要的词）并忽略“输家”（废话）。

4. 安全网：“保真门” (The "Fidelity Gate")

你不希望从“不要开门 (Do not open the door)”这句话中删掉“不 (not)”，从而变成“开门 (Open the door)”，那会造成灾难。

类比： 系统有一个被称为 Fidelity Gate（保真门） 的安全检查员。在最终确定精简版本之前，它会检查：“这个缩减后的版本是否仍保留了原意 80%（或更多）的信息量？”
如果答案是是，它就发送精简版。
如果答案是否（因为删除了太重要的内容），它会停止并保留原始词汇。

5. 对回答的处理

该系统也会精简 AI 的回答。

类比： 如果你提问，AI 可能会先进行一段冗长的礼貌开场白，给出答案，然后再进行一段冗长的总结。系统意识到，AI 的“废话”质量甚至比人类的写作还要低。它会激进地精简 AI 的回复，保留核心事实并切掉那些礼貌性的客套话。

6. 结果

论文在五种不同类型的任务上测试了该系统：编程、安全检查、文档编写、SQL 查询和系统指令。

结果： 他们能够在不产生错误的情况下，减少 40% 到 60% 的词量。
“神奇数字”： 在某些情况下，结合记忆系统（即 AI 记住过去的对话，因此不必重新阅读旧文件），他们将总数据量减少了 88% 到 96%。
速度： 它几乎不会带来延迟（约 6 毫秒），这就像眨眼的时间一样快。

7. 重要警告（“不要做”的事项）

论文非常谨慎地指出了该工具不应该使用的场景：

短消息： 如果你的消息已经非常短了（例如“修复这个 bug”），系统不会对其进行处理。因为没有废话可以切除，一旦切除就会破坏原意。
智能体循环 (Agent Loops)： 如果 AI 正在使用工具（如读取文件或运行代码），系统必须非常小心。如果它切掉了文件路径或特定的错误信息，AI 可能会感到困惑并陷入死循环。系统设有特殊规则来保护这些“关键”部分。

总结

Entropy Gate 是一个基于数学的智能过滤器，充当 AI 对话中的严厉编辑。它利用受物理学启发的规则来识别并移除“气泡”（无用词汇），同时确保“牛排”（重要信息）的安全。它节省了成本，减少了浪费，并让 AI 的大脑专注于真正重要的事情，同时保证意思不会丢失。

技术摘要：熵门 (Entropy Gate)

问题陈述

大语言模型 (LLM) 流水线面临着显著的“Token 税”问题，即大量的 Token 配额被消耗在低信息含量的内容上。作者确定了三个主要的效率低下来源：

上下文遗忘 (Context Amnesia)： 智能体在不同会话中重复阅读相同的代码库文件或对话历史。
输出冗余 (Output Verbosity)： 默认的模型响应通常包含高达 75% 的“废话”Token。
提示词内冗余 (Within-Prompt Redundancy)： 重复的系统指令、样板代码和结构化模式。

这些因素导致 Token 消耗量相对于信息论最小值增加了 50–500 倍。虽然现有的解决方案解决了单个组成部分的问题（例如输出风格约束、外部记忆系统或特定的提示词剪枝），但目前缺乏一个统一的、具有数学原理的压缩层，能够在无需重新训练模型的情况下，在 Token 层面跨输入和输出进行操作。

方法论：熵门 (Entropy Gate)

本文引入了 熵门 (Entropy Gate)，这是一个受统计力学中熵淬火 (entropy quenching) 启发、与模型无关的无状态框架。其核心概念是将 Token 重要性视为“信息能量” ( $E(t)$ )，并将压缩视为一个热力学过程，通过逐步“冻结并移除” (freeze out) 低能量 Token 来保留语义保真度。

1. 多因子信息能量

每个 Token $t_i$ 被分配一个能量得分 $E(t_i)$ ，由三个加性分量组成：
$E(t_i) = w_1 E_{stat}(t_i) + w_2 E_{struct}(t_i) + w_3 E_{pos}(t_i)$

统计能量 ( $E_{stat}$ )： 源自多块 (multi-chunk) TF-IDF，为集中在少数块中的领域特定术语分配高能量，为分布均匀的常用词分配低能量。
结构能量 ( $E_{struct}$ )： 基于通过正则表达式识别的语法角色（如关键字、标识符、运算符），权重源自抽象语法树 (AST) 节点的重要性层级。
位置能量 ( $E_{pos}$ )： 一个指数衰减函数 ( $e^{-i/h}$ )，为出现在提示词较早位置的 Token 分配更高的重要性。
自校准领域能量 (Self-Calibrating Domain Energy)： 一种新颖的组件，通过识别与通用任务定义动词（如 “audit”、“review”、“debug”）相邻的 Token 来确定领域关键 Token，从而消除了对预配置领域术语列表的需求。
能量平方放大 (Energy-Squared Amplification)： 该框架对能量得分应用平方操作 ( $E \to E^2$ )。作者证明这能放大信噪比，拉伸分布的右尾，从而更好地分离高信息 Token 与噪声。

2. 熵淬火计划 (Entropy Quenching Schedule)

压缩受温度计划 $T(\tau) = T_0 / (1 + \alpha\tau)$ 控制，其中 $\tau$ 是淬火步数。

生存概率： Token 根据玻尔兹曼概率 $p_i = \exp(-E_i/kT)$ 生存。
模式：
- 确定性模式 (Phase 1)： 保留能量最高的前 $k$ 个 Token。
- 玻尔兹曼模式 (Phase 2)： 使用概率性生存，通过从多次试验中选择最佳结果来平衡探索与保真度。
保真度门控 (Fidelity Gate)： 一个终止条件，确保当原始提示词与压缩提示词之间的能量加权相似度 (SE) 低于阈值 $\theta$ 时，过程停止。这保证了压缩后的提示词至少保留了原始信息能量的一个比例 $\theta$ 。

3. 架构与流水线

熵门作为一个兼容 OpenAI 端点的 HTTP 代理层运行。该流水线包括：

块去重 (Block Deduplication)： 使用 SHA-256 哈希识别并移除重复的逻辑块（例如重复的代码文件）。
能量估计： 计算所有 Token 的 $E(t)$ 。
淬火： 根据温度计划迭代移除 Token。
保真度检查： 根据阈值 $\theta$ 验证压缩输出。
输出侧淬火： 对上游模型响应应用更激进的淬火计划，利用“简洁性可提高准确性”的研究发现。

核心贡献

本文提出了八项具体贡献：

多因子能量模型： 将 Token 重要性分解为统计、结构和位置组件，并辅以自校准领域能量机制。
淬火计划与生存模式： 一个具有确定性和玻尔兹曼生存模式的数学定义冷却计划。
能量平方放大引理： 证明了通过平方能量得分来增加压缩效率并放大信噪比。
保真度门控： 一种能量加权相似度指标，确保每一步的语义保留。
输出侧淬火： 一种压缩模型响应的方法，使“简洁性约束可提高准确性”这一发现得以操作化。
可证明界限： 关于最优冷却速率、可实现压缩率以及与信息论极限 ( $CR \to 1 - I(P; T)/H(P)$ ) 关系的理论界限。
组合记忆-压缩界限： 一个定理，证明外部记忆（移除重复的会话内容）与熵淬火（移除消息内的冗余）呈乘法组合，在智能体工作流中实现了 88–96% 的总 Token 削减。
结构化多轮压缩： 一种用于智能体会话的策略，在保护实时查询和工具调用（tool calls）的同时，对较旧的上下文轮次进行激进压缩。

实验结果

该框架在五个提示词类别（代码审查、安全审计、文档生成、SQL 生成、系统提示词）上使用 Apple M4 Max 进行了评估。

压缩率 (CR)： 第一阶段（启发式）在保持能量加权相似度 ($SE$) > 0.80 的同时，在各类提示词类型中实现了 40–60% 的压缩。
- 代码审查：53.1% CR，SE 0.809。
- 安全审计：54.0% CR，SE 0.814。
- 上下文去重在重复块上额外增加了 50–70% 的节省。
保真度： 能量加权相似度指标 ($SE $) 与嵌入向量余弦相似度高度相关 ($ r=0.994$)，验证了其作为无需额外模型推理即可实现语义保留的可靠代理的有效性。
基准测试性能： 在 MMLU、HumanEval 和 GSM8K 基准测试中，在有效 CR 为 24%（包括透传情况）时，该框架保持了 6/9 个压缩问题的任务正确性。失败主要限于 LaTeX 数学符号，作者指出这可以通过第二阶段的子词 (subword) 分词来解决。
延迟与开销： 代理增加了约 6 ms 的延迟（占典型推理时间的 0.06–0.3%），且第一阶段仅需约 12 MB 内存。
智能体工作流： 在多轮智能体会话中，结构化多轮压缩在可压缩部分实现了 57% 的 CR，同时保留了工具调用的因果关系和实时查询。

重要性与主张

本文将熵门定位为解决 LLM 流水线中“Token 税”问题的基础性步骤。其重要性在于：

统一框架： 不同于点对点的解决方案，它提供了一个能够处理输入、输出及会话级冗余的单一层。
理论保证： 它提供了可证明的保真度界限，并证明了当任务相关信息相对于总提示词熵变得稀疏时，压缩可以趋近于信息论极限。
无需训练： 第一阶段利用启发式能量估计即可立即运行，而第二阶段则利用现成的本地模型，避免了对专门训练数据或微调的需求。
可扩展性： 该框架是无状态的，可作为标准的 HTTP 代理部署，使其与现有的 LLM 基础设施兼容。

作者总结道，虽然第一阶段实现了保守的压缩（40–60%），但理论框架表明，结合模型驱动的能量（第二阶段）和子词分词，压缩率可以趋近 10–100 倍，特别是在结合外部记忆系统时。这项工作确立了：基于原则的、有数学根据的压缩是扩展 LLM 流水线的架构必然要求。