💬 NLP

SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification

本文提出了 SelfJudge，这是一种自监督方法，它利用目标模型本身训练判断验证器，基于语义保留性来验证推测解码候选项，从而在不依赖人工标注或真实标签的情况下实现更快且更具泛化能力的大语言模型推理。

原作者： Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图撰写一个长篇且复杂的故事，但时间紧迫。你拥有一位大师级作家（一个庞大而强大的 AI），它能写出完美的故事，但速度非常慢，因为它在写下每一个字之前都会仔细斟酌。你同时还有一位敏捷助手（一个更小、更快的 AI），它能极快地预测接下来的几个词，但有时会犯小错，或用略微不同的措辞。

旧方法：严苛的编辑
过去，为了加快速度，你会让敏捷助手提前写出一整段，然后由大师级作家进行检查。然而，这位大师级作家是一位严苛的编辑。如果助手写了“猫坐在垫子上”，而大师级作家认为应该是“猫正坐在垫子上”，这位严苛的编辑就会拒绝整个句子，并让助手从头开始。这浪费了大量时间，因为尽管措辞略有不同，但含义完全一致。

“裁判”构想：更灵活的编辑
研究人员最近尝试通过聘请一位“裁判”来解决这个问题。这位裁判会审视助手的用词，并判断：“这在大致含义上是否接近大师的风格？”如果是，就予以接受。这很棒，但有一个陷阱：要训练这位裁判，你需要让人类坐下来，手动标注成千上万句话，说明“是的，这个词可以”或“不，这个词不对”。这既缓慢又昂贵，且仅适用于那些有明确对错答案的任务（如数学或编程）。它在创意写作或一般性问题（没有唯一“正确答案”）上效果不佳。

新方案：SelfJudge（自我训练的裁判）
本文介绍了SelfJudge，一种无需人类参与即可训练裁判的新方法。

其工作原理如下，借助一个简单的类比：

自我测试：不求助于人类，而是让大师级作家（目标模型）充当自己的老师。
“假如”游戏：系统选取大师级作家写出的一个句子，将其中的一个词替换为敏捷助手建议的另一个词。
- 原文：“猫正坐在垫子上。”
- 替换后：“猫坐在垫子上。”
信心核查：随后，大师级作家自问：“这个改动是否改变了故事的含义？我是否仍对句子的其余部分感到确信？”
- 如果大师级作家回答：“不，含义未变，我依然确信”，系统就将该词替换标记为可接受。
- 如果大师级作家回答：“哇，这改变了含义”，则将其标记为拒绝。
训练裁判：通过自动执行此过程数千次，系统会生成一个包含大量“可接受”与“不可接受”词汇的数据集。随后，它训练一个极小、超快的“裁判”来识别这些模式。

结果
现在，当敏捷助手进行写作时，这个微小的裁判可以立即判断：“是的，这个词没问题，即使它不是大师级作家会选的那个词，因为含义得到了保留。”

为何这很重要

通用性：与以往仅适用于数学或编程（可检查最终答案）的方法不同，SelfJudge 适用于任何任务——创意写作、新闻摘要或回答一般性问题——因为它关注的是含义，而不仅仅是“正确”答案。
快速：这个微小的裁判极其轻量，几乎不会为流程增加任何时间。
准确：论文表明，该方法显著加快了写作过程（接受了更多来自助手的词汇），同时并未使最终故事的质量变差。

简而言之，SelfJudge教会 AI 信任自身关于哪些词“感觉”正确的直觉，使其能够跳过缓慢、严苛的检查过程，在保持质量的同时大幅提升写作速度。

技术摘要：SelfJudge：通过自监督法官验证实现更快的推测解码

1. 问题陈述

大型语言模型（LLM）因自回归生成过程而面临显著的推理延迟，该过程要求每次前向传播都访问所有模型参数。**推测解码（Speculative Decoding, SD）**通过利用较小的“草稿”模型提出候选 token，随后由较大的“目标”模型并行验证这些 token，从而解决这一问题。

然而，标准 SD 依赖于基于对齐的验证（例如拒绝采样），仅当草稿 token 在目标模型下的概率大于或等于其在草稿模型下的概率时才接受这些 token。这种方法过于保守；它会拒绝那些语义连贯但与目标模型特定输出分布存在微小词汇差异的 token（例如"It's"与"It is"）。

近期的“法官解码（Judge Decoding）”方法试图通过使用可学习的验证器来接受语义兼容的 token，从而放宽这些标准。然而，现有方法面临关键局限性：

依赖人工标注：像 JudgeDecoding 这样的方法需要主观的人工标签来判定 token 是否可接受，这引入了偏差并导致可扩展性问题。
依赖真实标签（Ground Truth）：像 AutoJudge 这样的自动化方法依赖于特定任务的可验证真实标签（例如数学或代码中的最终答案）。正如论文所示，这些方法无法泛化到开放型任务（例如 MMLU、摘要生成），因为这些任务不存在单一正确答案，从而导致在通用 NLP 领域性能显著下降。

2. 方法论：SelfJudge

作者提出了SelfJudge，这是一个无需人工监督或可验证真实标签即可在多样化 NLP 任务中实现法官验证的框架。其核心创新是一种自监督训练范式，其中目标模型自身生成用于验证器的训练数据。

2.1 语义保持 Token 标注

SelfJudge 不检查答案的正确性，而是衡量语义保持。该过程包含三个步骤：

识别不匹配 Token：目标模型生成响应 $y$ 。将草稿模型的预测与目标模型的输出进行比较。草稿模型的最高概率预测（ $z_i$ ）与目标模型 token（ $y_i$ ）不同的 token 被识别为放宽验证的候选者。
计算语义保持分数：对于每个不匹配的 token，系统计算分数 $s(y, z_i)$ ，表示该替换在多大程度上保留了原始响应的含义。该分数定义为在目标模型分布下，原始响应与 token 替换后响应对数似然之差：
$s(y, z_i) = \log P(z_i | y_{<i}, y_{>i}) - \log P(y_i | y_{<i}, y_{>i})$
关键在于，该分数结合了双向上下文（前缀 $y_{<i}$ 和后缀 $y_{>i}$ ）。作者认为，与仅考虑前缀的方法相比，考虑后缀可以减少关于 token 可接受性的不确定性。
标注：如果语义保持分数超过阈值 $\tau$ ，则被替换的 token 被标记为“可接受”。这使得系统能够自动在任何任务领域（包括开放型生成）生成高质量的训练数据。

2.2 验证器训练

生成的数据集由目标模型的隐藏表示对及其相应的接受/拒绝标签组成。一个轻量级的逻辑回归分类器在此数据上进行训练，充当法官验证器。在推理过程中，该验证器与标准的基于对齐的验证并行运行；如果要么对齐检查要么法官验证器批准，则接受该 token。

3. 主要贡献

自监督框架：本文介绍了 SelfJudge，这是首个利用目标模型自身语义理解来训练验证器的法官验证方法，消除了对人工标注或特定任务真实标签的需求。
语义保持标准：作者提出了一种基于 token 替换响应似然差异的 token 可接受性新指标，实现了开放型任务的自动监督生成。
双向上下文分析：该方法利用后缀信息（未来 token）来计算语义保持分数，理论上与仅基于前缀的基线相比，降低了 token 选择的不确定性。
泛化能力：该方法旨在泛化到多样化的 NLP 任务，包括数学推理、代码生成、摘要生成和通用知识问答。

4. 实验结果

作者在五个基准测试（GSM8K、MATH-500、MMLU、CNN/DailyMail 和 LiveCodeBench）上使用 Llama-3 和 Qwen-2.5 模型家族评估了 SelfJudge。

精度 - 效率权衡：SelfJudge 始终优于基线（标准 SD、Top-k 和 AutoJudge）。
- 在GSM8K和MATH-500上，SelfJudge 实现了比标准 SD 更高的接受 token 长度，且精度损失极小（例如，平均接受 token 数增加 +2.17，精度仅下降 -1.6%）。
- 在MMLU和CNN/DailyMail上，AutoJudge 未能提供加速（或导致性能显著下降），而 SelfJudge 保持了稳定的性能提升。
挂钟时间加速：在 vLLM 中实现后，SelfJudge 展示了显著的实时吞吐量改进。在 Llama-3.1-8B 模型上进行 MMLU 测试时，SelfJudge 相比标准 SD 实现了46.3% 的加速，相比 AutoJudge-R 实现了42.7% 的提升，同时保持了相当的精度。
可扩展性：在 Llama-3.1-70B 模型上的实验表明，SelfJudge 具有良好的扩展性，在提高接受长度和速度的同时，未牺牲生成质量。
数据生成效率：自监督数据生成过程显著快于 AutoJudge 基于真实标签的生成过程。对于 70B 模型的 53k 个标签，SelfJudge 耗时 8.5 小时，而 AutoJudge 估计需要 120 小时。

5. 意义与主张

论文声称，SelfJudge 代表了推测解码验证的范式转变。通过摆脱对人类偏差或僵化真实标签的依赖，它为加速全谱系 NLP 任务的 LLM 推理提供了一种广泛适用的解决方案。

作者强调，他们的方法实现了推理速度与任务性能之间的优越权衡。与仅限于具有可验证答案领域的先前法官解码方法不同，SelfJudge 通过利用目标模型的内在语义理解，实现了开放型任务（如创意写作和摘要生成）的高效推测解码。论文结论指出，该方法为高效 LLM 推理建立了一个实用且可扩展的基础，通过降低计算成本使高级模型更易获得。