💬 NLP

Speculative Decoding Across Languages

本文通过比较特定任务微调、单语微调和 n-gram 模型，研究了提高非英语语言投机采样解码效率的方法，发现虽然特定任务蒸馏提高了效率但缺乏泛化能力，但 n-gram 模型由于其快速的草稿生成能力，尽管接受率较低，仍能持续提供显著的加速。

原作者： Nirajan Paudel, Michael Ginn, Luc De Nardi, Alexis Palmer

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Nirajan Paudel, Michael Ginn, Luc De Nardi, Alexis Palmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用一种非母语编写一篇长篇故事或翻译一份文档。你有一位非常聪明但动作缓慢的“大师级作家”（大语言模型），他能完美地完成工作，但在写下每一个词之前，都需要花费很长时间去思考。

为了提高效率，你雇佣了一位“快速助手”（草稿模型）。这位助手会快速猜测接下来的几个词，而大师级作家只需进行检查。如果猜测正确，大师级作家就会一次性接受它们，从而节省大量时间。这被称为投机采样（Speculative Decoding）。

然而，研究人员发现了一个重大问题：这个助手精通英语，但对其他语言却表现得很差。

以下是研究人员尝试解决这一问题的过程，使用了简单的类比：

问题所在：“并不适合所有人”的助手

当研究人员尝试将这种加速技巧用于 11 种不同的语言（如尼泊尔语、切罗基语或约鲁巴语）时，标准的“快速助手”（一个小型的 AI 模型）经常猜错。由于助手出错频率过高，大师级作家不得不拒绝这些猜测并重新开始。这使得整个过程甚至比让大师级作家独自写作还要慢。

这就像雇佣了一位对伦敦了如指掌，但从未去过尼泊尔的导游。如果你要求他在加德满都带路，他会经常迷路，而你纠正他所浪费的时间，甚至比你自己走路还要多。

他们测试的三种解决方案

研究人员尝试了三种不同的方法，为这些特定语言训练更好的助手：

1. “专业实习生”（任务特定蒸馏）

他们利用大师级作家来教导助手，专门学习如何将英语翻译成目标语言。

结果： 这在翻译任务中效果极佳。助手在预测翻译任务中的下一个词方面变得非常出色。
代价： 这个助手就像是一个只懂翻译的专家。当研究人员要求该助手用同一种语言写一个故事（一个完全不同的任务）时，助手彻底失败了。它无法进行泛化。它太过于专业化了。

2. “通才读者”（通用领域蒸馏）

研究人员没有只教助手翻译，而是给它喂了大量该语言的通用文本（新闻、书籍等），并让它学习其中的模式。

结果： 这并没有什么帮助。与未经训练的版本相比，助手的单词预测能力并没有显著提升。这就像是读了一座图书馆的书籍，却没学会如何写故事或有效地翻译句子。

3. “超快速计算器”（N-gram 模型）

研究人员没有使用复杂的 AI 模型，而是使用了一种非常简单的统计方法，称为 N-gram 模型。你可以不把它看作是一个“聪明”的 AI，而是一个超快速的计算器，它通过观察最后几个词并说：“从统计学上看，下一个词通常是‘the’或‘is’。”

结果： 这是令人惊喜的赢家。
- 准确度： 它并不聪明。它猜错的次数比 AI 模型更多。
- 速度： 它极其快速。因为它如此简单，所以几乎可以瞬间生成猜测。
- 最终结果： 尽管它的猜测错误率更高，但由于其猜测的速度极快，整个系统完成工作的总时长反而更短。这就像是一个虽然随机猜测单词但每秒能打 100 个词的孩子，对比一位每秒只能打一个词但总是正确的教授。那个孩子实际上完成了工作，而且更快。

核心结论

论文总结道，对于非英语语言，“聪明但缓慢”的 AI 助手往往无法起到加速作用。

如果你需要做一项特定的工作（如翻译），你可以训练一个专门的 AI 助手，但它无法帮助你处理其他工作（如写故事）。
如果你希望在不同任务和语言之间获得稳定的速度，最好的选择实际上是那个简单、快速的统计模型（N-gram）。它不是最聪明的，但它如此之快，以至于每次都能胜过那些更聪明、更慢的模型。

简而言之：对于英语以外的语言，有时“笨拙但快速”的方法才是完成工作的最佳途径。

技术摘要：跨语言的投机采样解码（Speculative Decoding）

问题陈述

投机采样解码是一种旨在加速大语言模型（LLM）推理的技术，它通过使用轻量级的“草稿”（draft）模型来提议多个 Token，随后由较大的“验证器”（verifier）模型进行并行验证。尽管该技术在英语中表现出色，但本文指出一个关键局限性：小型草稿模型在多语言能力方面往往与其规模较大的对应模型不成比例地弱。因此，在生成非英语文本时，草稿 Token 的接受率会显著下降。这种低接受率抵消了投机解码带来的加速收益，有时甚至导致生成速度比标准的自回归解码更慢。这种差异加剧了现有的语言技术不平等，特别是对于由于分词偏置可能进一步增加 Token 数量的低资源语言而言。

研究方法

作者使用 Qwen 3.5 模型家族，评估了在十一种语言（包括阿姆哈拉语、柏柏尔语、切罗基语、尼泊利语和约鲁巴语）中的投机解码效率。验证器是一个 9B 参数的模型，基准草稿模型是同系列的 0.8B 参数模型。研究对比了三种不同的草稿模型训练或构建策略：

任务特定蒸馏（Task-Specific Distillation）： 在平行翻译数据（英语到目标语言）上对草稿模型进行微调，以最小化在特定翻译提示下的与验证器分布之间的 KL 散度。
通用领域蒸馏（General Domain Distillation）： 在目标语言的无标签单语语料库上对草稿模型进行微调，不使用特定的任务提示。
N-Gram 模型（N-Gram Modeling）： 在相同的单语语料库上训练简单的 n-gram 模型（具体为二元语法模型/bigrams），并使用 Qwen 分词器。

评估涵盖两个任务：

领域内任务（In-Domain）： 机器翻译（英语到目标语言）。
领域外任务（Out-of-Domain）： 目标语言的开放式故事生成（以测试在没有特定故事数据训练情况下的泛化能力）。

性能通过接受率 ( $\alpha$ ) 和加速因子 ( $f$ ) 进行衡量，后者基于草稿模型与验证器模型的前向传播时间之比计算得出。

核心发现

1. 基准模型的无效性

使用未经修改的小型草稿模型进行标准投机解码，在非英语语言中效果较差。十一种语言的平均接受率约为 0.40，导致加速因子接近 1.02 $\times$ ，使得该技术在很大程度上失去了意义。

2. 蒸馏：领域内有效，泛化能力差

任务特定蒸馏： 在翻译数据上进行微调显著提高了翻译任务的接受率 ( $\bar{\alpha} = 0.60$ )，实现了 1.28 $\times$ 的加速。然而，这些模型无法泛化到故事生成任务，其性能在故事生成中退化至低于基准水平 ( $\bar{\alpha} = 0.43$ , $\bar{f} = 1.03\times$ )。
通用领域蒸馏： 在单语语料库上进行蒸馏为翻译任务带来了边际改进，但并未在所有语言中一致地优于未经修改的基准模型。

3. N-Gram 模型：低成本实现高速度

尽管 n-gram 模型在测试的方法中接受率最低（故事生成为 $\bar{\alpha} = 0.24$ ，翻译为 $\bar{\alpha} = 0.30$ ），但它们始终提供了最高的加速因子（故事生成高达 1.39 $\times$ ，平均为 1.30 $\times$ ）。

原理分析： 与神经草稿模型（0.8B 模型约为 $\approx 0.033$ s）相比，n-gram 模型的计算开销几乎可以忽略不计（前向传播时间 $\approx 0.001$ s）。这种有利的成本比 ( $c = t_{draft}/t_{target}$ ) 使得系统即使在接受率较低的情况下也能实现显著的加速。

4. 与翻译质量缺乏相关性

研究发现，模型的翻译能力（通过 chrF 分数衡量）与草稿模型的接受率之间没有显著相关性，这挑战了“接受率仅仅是模型在该特定语言中熟练程度的代理指标”这一假设。

意义与主张

本文声称，当使用标准的微型神经草稿模型时，标准的投机解码对于非英语语言往往是有害或无效的。主要贡献在于证明了简单的 n-gram 模型尽管接受率较低，但由于其极低的推理成本，是多语言投机解码中一种高度可行且通常更优的替代方案。

作者认为，对于非英语生成，最优策略可能不是训练复杂的神经草稿模型，而是当存在单语语料库时动态切换到 n-gram 草稿模型。这种方法提供了一条缓解弱势语言生成速度差异的实用路径，且不需要大量的任务特定训练数据或复杂的蒸馏流程。

该工作承认了局限性，指出结果仅针对 Qwen 3.5 系列及所测试的十一种语言，且生成的故事情节质量较低，但其关注点严格限定在推理速度指标上。