想象一下，你正站在一座宏伟的魔法图书馆前，那里包含了地球上所有语言中曾被说出的每一个词汇。你是一位讲故事的人，你的任务是写出故事的下一句话。为了做到这一点，你必须从那整个图书馆中挑选出最合适的单个词。在人工智能的世界里，这些“图书馆”被称为词表（vocabularies），而这些“讲故事的人”则是大语言模型（LLMs）。这些模型非常聪明，但它们面临一个巨大的问题：检查一个包含 100,000 甚至 250,000 个词的词表需要耗费大量的时间和能量。这就像是在试图从一堆干草中寻找一根特定的针，却必须把每一根干草都捡起来看一遍。这种缓慢的过程使得它们很难用于聊天、编程或快速回答问题等实时应用场景。科学家们一直试图寻找一种既能跳过无聊搜索过程又不会出错的方法，但以往的大多数尝试要么猜测过多（存在出错风险），要么需要重建整个词表。

本文介绍了一种聪明的全新技巧，叫做 CSV-Decode。它不再检查词表中的每一个词，而是意识到对于故事中的任何给定时刻，实际上只有极少数的词是有可能成为正确选择的。其余的都只是“噪声”。团队发现了一种利用几何学的方法——可以将其想象为在相似词组周围画出隐形的圆圈——来从数学上证明某些词组不可能是答案。通过这种方式，他们可以安全地忽略词表中的巨大区块，而无需查看它们。他们构建了一个如此高效的系统，使 AI 的运行速度提升了 2 到 3 倍（在某些任务上甚至接近 5 倍），同时保证了答案的正确性。他们在许多不同的模型上进行了测试，发现它效果极佳，在不牺牲故事质量的前提下节省了大量的能量和时间。

问题所在：“词表”瓶颈

把大语言模型想象成一个背诵了巨型字典的超级聪明学生。当这个学生想要写句子时，他必须决定下一个词是什么。为了做出这个决定，他会观察自己的“隐藏状态”（当前的思维），并将其与字典中的每一个词进行对比，看哪一个最契到位。

问题在于，现代字典非常庞大。有些模型的词表拥有超过 250,000 个单词。将一个想法与 250,000 个词进行对比需要消耗大量的计算能力。这就像如果你在写论文之前，必须在体育场里询问 250,000 个人：“这是正确的词吗？”。这个过程如此缓慢且昂贵，以至于它成为了限制 AI 模型运行速度的主要瓶颈。

旧方法：猜测与再猜测

在此方法出现之前，科学家们尝试过其他几种加速方法：

• 自适应 Softmax (Adaptive Softmax)： 这类似于将最常用的词组合在一起并忽略罕见的词。但它是僵化的；它不会根据故事的变化而改变，并且通常需要重新训练整个模型。
• 层级 Softmax (Hierarchical Softmax)： 它将词组织成树状结构（类似于家谱），这样你就不用检查每一个叶子节点。但构建这种树很困难，而且它并不总能很好地捕捉词义。
• 投机采样 (Speculative Decoding)： 这就像是让一名初级助手先猜测接下来的几个词，然后由主学生来检查这些猜测是否正确。虽然这有所帮助，但主学生仍需做大量工作来验证猜测，而且它并没有解决检查整个词表这一核心问题。

本文作者认为，这些方法要么牺牲了准确性（产生错误），要么没有解决检查过多词汇的根本数学问题。

新思路：“几何围栏”

由 Dong Liu 及其同事领导的研究团队提出了一个不同的方案。他们意识到，计算机内存中的词不仅仅是随机的列表；它们是根据意义排列在几何空间中的。意思相近的词（如“猫”和“小猫”）聚集在一起，而意思迥异的词（如“猫”和“飞机”）则相距甚远。

这就是那个神奇的技巧：

1. 分组 (Grouping)： 在 AI 开始写作之前，作者会对字典进行处理，将相似的词进行分组（例如，将所有的“动物”词放在一个盒子里，将所有的“交通工具”词放在另一个盒子里）。
2. 围栏 (The Fence)： 对于每个盒子，他们计算出一个“几何围栏”。这个围栏是一个数学边界，代表了该盒子内任何一个词可能获得的最大可能得分。
3. 捷径 (The Shortcut)： 当 AI 思考下一个词时，它并不检查盒子里的每一个词。相反，它检查的是“围栏”。如果“交通工具”盒子的围栏得分低于 AI 已经找到的最佳词得分，它就能断定没有任何词在“交通工具”盒子里能成为赢家。因此，它可以直接跳过整个盒子，无需做任何工作！

这就像是在森林中行走，看到一个牌子写着：“这个山谷里肯定没有宝藏，因为那里的最高点也太低了。”你不需要爬上那个山谷里的每一棵树，你可以直接走过去。

运作机制：“认证”跳过

论文介绍了两种主要方式，以确保这种跳过操作是安全的：

• 精确 Top-k 认证 (Exact Top-k Certification)： 如果你需要前 10 个最佳词（例如，为了选出最棒的一个），该系统会在数学上证明，所选组之外的任何词都不可能进入前 �10 名。这是一个 100% 的保证。
• $\epsilon$-认证 Softmax ($\epsilon$-Certified Softmax)： 如果你需要所有词的概率（以便根据可能性随机选择一个词），该系统能保证误差极小（小于一个特定的微小数值 $\epsilon$）。

该系统是实时运作的。它首先检查最有希望的组别的“围栏”。如果一个组看起来不错，它就会打开盒子并检查其中的词。如果一个组看起来不好，它就会永远关闭。它会持续进行这个过程，直到找到足够的词以确保万无一失，或者达到安全限制。

结果：快速、安全且绿色

作者构建了一个完整的系统来测试这个想法。他们使用强大的图形处理器 (GPU) 来运行代码，并在包括 Llama-3、Mistral 和 CodeLlama 在内的多个著名 AI 模型上进行了测试。

以下是他们的发现：

• 速度： 新方法比标准做法快了 2.67 到 4.95 倍。在某些特定任务（如编写代码）中，速度几乎快了 5 倍。
• 准确性： 尽管跳过了这么多词，输出质量几乎保持不变。模型的原始质量保留了 99.3%。
• 安全性： 系统很少需要“回退”（停止跳过并检查所有内容）。回退率低于 2%，这意味着它几乎每次都能成功跳过正确的词。
• 能源： 由于进行的数学运算更少，它每生成一个词消耗的能量减少了 52%。这对于节省资金和保护环境具有重大意义。

他们还测试了在使用多台计算机（多个 GPU）协同工作时的表现。其扩展性几乎完美，这意味着增加更多计算机可以提高速度，而不会在通信上浪费时间。

为什么这很重要

这篇论文不仅仅是提出了一个酷炫的想法，它还提供了一个带有数学证明的、可运行的系统。它表明，我们不必在“快”和“聪明”之间做选择。通过利用几何学来理解词与词之间的关系，我们可以构建更高效的 AI 系统。

作者承认，该方法取决于分组的质量。如果分组很混乱，那么“围栏”可能会过于宽松，导致系统不得不检查更多的词。然而，他们的实验表明，通过正确的分组，该方法非常有效。

未来，作者希望能让分组变得更加智能化，使其能够根据不同的故事或语言进行实时调整。但目前，CSV-Decode 已成为一个强大的新工具，它使大语言模型变得更快、更便宜、也更易于普及。它将检查一百万个词的“不可能任务”变成了一次快速、自信的跳跃，证明了有时，寻找正确答案的最好方式是明确知道哪些答案是你不需要去寻找的。