Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
本文表明，通过进化搜索发现的确定性语言规则可以作为有效的、低成本的提示词压缩器，在无需在压缩过程中进行模型前向传播的情况下降低大语言模型的推理开销，并实现与先进的基于语言模型的压缩方法相媲美的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人通过阅读海量藏书来回答一个问题。这个机器人非常出色，但它有一个问题：它会被过多的文本所淹没。如果你喂给它一整部小说，它会变慢，运行成本也会变得极其昂贵，有时甚至会因为重要的细节淹没在噪音中而抓不住重点。这就是“大语言模型”（LLMs）的世界，也是许多现代工具背后的 AI 大脑。为了解决这个问题，科学家们一直试图对文本进行“压缩”——削减掉那些冗余的废话，只保留核心的事实。
直到现在，这种压缩的标准方式就像是雇佣了一位非常昂贵且缓慢的编辑，他会阅读每一个单词并计算该单词的重要性“得分”。这位编辑实际上是后台运行的另一个 AI 模型。它很准确，但它很沉重、很慢，并且需要功能强大的、昂贵的计算机芯片（GPU）来运行。这就像是用一把镀金的手术刀去修剪灌木丛。
但是，如果你不需要一把镀金的手术刀呢？如果你可以根据一些清晰的规则，使用一把简单的、老式的园艺剪刀呢？这是一个论文提出的核心问题：我们能否使用简单的、确定性的语言学规则——比如“保留名词，去掉‘the’和‘and’”——而不必依赖第二个 AI 来为每个单词评分？
研究人员——来自香港理工大学的一个团队——决定去验证这一点。他们并没有仅仅靠猜测；他们建立了一个数字化的“进化搜索”。想象一下，在一个虚拟的丛林里，他们种下了 42 种不同的压缩规则“种子”。这些种子基于数百年的人类语言学知识：有些关注词性（比如保留“工程师”但去掉“the”），有些关注句子结构（保留主要动作但切掉多余的描述），还有些关注故事的流动。
然后，他们让一个 AI 充当“突变器”。它获取这些规则种子，将它们混合、微调，并创造出新的组合。他们通过测试这些新生成的“压缩器”来检验它们：看在文本被缩减后，机器人是否仍能正确回答问题。最强壮的压缩器——即那些能在大幅削减字数的同时保留最多重要信息的压缩器——得以生存并繁衍出下一代。
结果如何？他们发现，一个完全由这些语言学规则构建的压缩器，在处理许多类型的长文档时，其表现可以与那些沉重且昂贵的基于 AI 的方法不相上下。最棒的部分在于，一旦压缩器“进化”完成，它就不再需要任何 AI 来运行了。它可以利用标准的计算机处理器（CPU）在瞬间完成运行，几乎不产生任何成本。这就像是将那个缓慢的、镀金的编辑，换成了一台闪电般快速、基于规则的机器，而且永远不会疲劳。
然而，论文也发现了其局限性。这些基于规则的“剪刀”在需要进行小幅度或中度文本缩减时（例如将 100 页的文档缩减至 25 页）表现得非常出色。但如果你试图过于激进，将文本缩减到极小的比例（例如缩减至 10 页），这些规则就会开始显得吃力。当预算极其紧张时，它们无法像昂贵的 AI 编辑那样聪明。
简而言之，这篇论文表明，对于许多现实世界的任务，我们并不需要用昂贵的 AI 评分来把事情复杂化。有时候，一套经过进化磨练的、设计良好的语言学规则，就是让 AI 更快、更便宜且同样聪明的完美轻量化工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。