💻 computer science

Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models

本综述系统地回顾了大型语言模型与视觉语言模型中新兴的解码方法，将其分为三种范式，以强调它们在推理过程中将模型输出与用户意图对齐的效率，同时概述了当前的挑战与未来的研究方向。

原作者： Haoran Wang, Xiongxiao Xu, Philip S. Yu, Kai Shu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoran Wang, Xiongxiao Xu, Philip S. Yu, Kai Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：计算机可以编写故事、解决复杂的谜题，并能以惊人的清晰度描述照片的内容。这就是现代大语言模型和视觉语言模型的现实——这些强大的系统是在海量人类知识的基础上训练而成的。然而，这些机器并不完美。它们有时会捏造事实，产生有害内容，或者陷入重复的循环，无法匹配提问者的意图。多年来，解决这些缺陷的主要方案是对整个机器进行重新训练，这是一个极其昂贵、缓慢且耗能的过程。另一种方法是精心设计向机器提出的问题，但这种方法非常脆弱；哪怕是一个微小的措辞变化都可能导致计算机失效。现在，研究人员正将注意力转向一个更高效的杠杆：计算机实际选择下一个词的那一瞬间。

由埃默里大学、伊利诺伊理工学院和伊利诺伊大学芝加哥分校的 Haoran Wang 及其同事撰写的一项新调查研究，绘制出了一个致力于研究生成过程中最后一步的快速发展的领域。研究人员将这些技术称为“解码方法”（decoding methods）。解码方法并不改变计算机的大脑，而是在机器决定下一句话的刹那间，充当一个精密的过滤器或引导器。该调查显示，该领域正在从简单的、僵化的规则转向三种强大的新策略：对比解码（contrastive decoding）、引导解码（guided decoding）和并行解码（parallel decoding）。这些方法允许计算机比较不同的可能性、遵循特定的安全或逻辑规则，甚至同时预测多个单词，而无需重新训练。

这三种策略中的第一种是对比解码，它的工作原理是让计算机同时观察其下一个词的两种不同路径。一条路径代表了计算机认为的最佳、最有帮助的答案，而另一条路径则代表了一个较差或不正确的版本。通过比较这两者，系统可以放大好的选择并抑制坏的选择。这种技术已被证明在阻止计算机“幻觉”（即自信地陈述不真实的事实）方面非常有效。例如，当视觉语言模型观察一张图片并进行描述时，对比方法可以帮助它忽略自身的内部偏见，严格遵循图像中实际可见的内容。这种方法也有助于保持计算机的安全，通过将安全的响应与不安全的响应进行对比，从而过滤掉有毒或有害的语言，同时保持原始模型完整无损。

第二种策略是引导解码，它引入了一套外部规则或一个实时观察生成过程的“教练”。引导解码不再仅仅根据计算机自身的训练来选择下一个词，而是使用一个独立的工具在每个潜在词被接受之前对其进行评分。这个教练可能是一个拦截危险短语的安全过滤器，一个确保数学证明遵循正确步骤的逻辑检查器，或者是一个将故事引向特定基调的创意总监。调查强调，这种方法对于编写代码或解决多步推理问题等复杂任务特别有用。通过不断根据一套标准检查工作，计算机可以产生更准确、更可靠的结果，从而在写作过程中有效地纠正自己的错误。

第三个重大转变是向并行解码迈进，它解决了速度问题。传统上，这些计算机一次生成一个词，这是一个缓慢的过程，随着模型规模的扩大，它成为了瓶颈。并行解码通过允许计算机同时起草多个词，然后快速验证哪些词是正确的，从而改变了游戏规则。这类似于作家在动笔写下每一个字母之前，先在脑海中构思出整个句子，而不是在每个单独的字母上苦苦挣扎。研究人员发现，这种“起草并验证”的方法可以显著加快这些模型生成文本的速度，使其在实时应用中更加实用。这种方法适用于各种类型的生成，从撰写文章到创建图像，并且在不牺牲输出质量的情况下实现这一点。

除了这三大支柱之外，该调查还详细介绍了如何应用这些方法来解决具体的现实世界问题。在安全领域，解码技术正被用于防止计算机被诱导泄露隐私信息或生成有害内容。在医学和科学领域，它们正帮助从复杂的文档和图像中提取准确的信息，降低危险错误的风险。研究人员还指出，这些方法不仅是为了让计算机变得更聪明或更快，更是为了让它变得更值得信赖。通过直接控制生成过程，开发者可以确保机器符合人类的价值观和预期，而无需承担重新训练的巨大成本。

尽管取得了这些进展，作者也指出该领域仍处于成熟阶段。许多这些技术依赖于精心挑选的示例或适用于特定任务的特定设置，而在其他任务中可能会失败。此外，还需要更好地理解这些方法为何有效，因为这些系统的内部运作有时感觉像是一个“黑箱”。此外，随着这些工具变得越来越强大，新的安全风险也随之而来，例如攻击者操纵解码过程以绕过安全措施的可能性。研究人员建议，未来的工作必须专注于使这些方法更加通用、更容易理解，并对这类威胁具有鲁棒性（稳健性）。

最终，这项调查描绘了一个处于转型中的领域。单纯追求扩大模型规模的时代，正逐渐让位于通过解码艺术使模型变得更聪明、受控程度更高的时代。通过优化这些机器选择单词的方式，研究人员正在解锁更高水平的可靠性、速度和安全性。这项工作表明，人工智能的未来可能不在于构建更大的大脑，而在于教导这些现有的系统如何更仔细地思考它们接下来要说的话。

技术摘要：超越 Token：大语言模型与视觉语言模型解码方法综述

1. 问题陈述

尽管大语言模型（LLMs）和大规模视觉语言模型（LVLMs）通过规模化扩展展现出了卓越的生成能力，但确保其输出符合用户意图仍然是一个重大挑战。现有的解决方案通常依赖于训练阶段的干预（如微调、强化学习）或提示词工程（prompt engineering）。然而，微调大规模模型计算成本高昂且缺乏可扩展性，而提示词工程则具有高度的任务特定性，对细微的措辞变化非常敏感，且需要专家知识。此外，修改模型内部（如潜空间操作）的推理时方法往往面临泛化能力有限的问题。

目前迫切需要一种高效、可扩展且与模型无关的方法，在不重新训练底层模型的情况下，在推理阶段控制生成过程。解码方法通过在推理时控制 Token 级别的选择和序列生成，为弥合训练目标与用户预期之间的差距提供了一种极具前景的解决方案，能够解决幻觉、安全性、推理能力和效率等问题。

2. 方法论与框架

本文对解码方法进行了系统的综述，将其归纳为三种超越经典 Token 级策略的新兴范式。本综述将这些推理时控制机制与训练时对齐及提示词工程区分开来。

2.1 基础知识：经典策略

综述首先回顾了基础解码策略：

确定性方法： 贪婪搜索（Greedy search）和束搜索（Beam search），它们基于最大概率选择 Token，但往往会导致重复或退化的输出。
随机性方法： Top-k、Top-p (Nucleus) 和温度采样（Temperature sampling），通过引入随机性来提高多样性和自然度。
投机解码（Speculative Decoding）： 早期方法如块状解码（Blockwise decoding），试图通过预测多个 Token 来加速生成。

2.2 三种现代解码范式

综述的核心在于识别了驱动近期进展的三种不同范式：

A. 对比解码 (Contrastive Decoding, CD)

对比解码通过在解码过程中对比正向和负向示例来增强输出质量。它通过最大化两个 Logits（ $z^+$ 和 $z^-$ ）之间的加权差异来进行操作。

Token 级 CD： 对比“专家”模型（期望方向）与“弱模型”或“反专家”模型（基准）的概率分布。示例包括用于去毒化的 DExpert、通过反向提示实现安全的 ROSE，以及用于缓解 LVLM 幻觉的视觉对比解码 (VCD)。
层级 CD： 利用“不同 Transformer 层编码不同类型信息（例如特定层中的事实知识）”这一观察结果。如通过对比不同层 Logits 来提高事实准确性的“通过对比层进行解码”（DoLa）。

B. 引导解码 (Guided Decoding, GD)

引导解码寻找能够使外部引导函数 $G$ 得分最大化的下一个 Token。

分类器引导： 使用外部分类器（奖励模型、安全模型或 CLIP）来调整 Token 概率。示例包括 PPLM（属性控制）、SafeDecoding（安全性）和 CLIP 引导解码（视觉接地）。
启发式引导： 采用搜索策略、约束或前瞻启发式算法。示例包括 Neurologic Decoding（词汇约束）、NaturalProver（数学证明）以及用于推理和规划的树搜索方法 (TS-LLM)。

C. 并行解码 (Parallel Decoding)

并行解码通过同时生成多个候选 Token（草拟）并并行验证它们，从而加速推理，而不是顺序生成。

贪婪并行解码： 诸如投机解码 (Speculative Decoding/SpecDec) 和前瞻解码 (Lookahead Decoding) 等方法，使用草拟模型（或同一模型）提出 Token，然后由目标 LLM 进行验证。
采样并行解码： 将投机执行扩展到随机设置中（例如 Speculative Sampling、Medusa、EAGLE），以在加速生成的同时保持分布准确性。

3. 主要贡献

本文的主要贡献在于组织与分析，旨在合成这一快速发展的领域：

范式分类法： 作者识别并定义了三种新兴范式（对比、引导和并行），这些范式代表了从简单的 Token 选择向序列级控制、结构化引导和效率优化的转变。
全面综述： 本文回顾了广泛的研究工作，涵盖了基于文本的 LLM 和多模态 LVLM。它提供了详细的类型学（图 1）和从经典搜索到现代投机及对比方法的演进时间线（图 2）。
应用映射： 综述将解码方法映射到特定的应用领域，展示了它们在以下方面的通用性：
- 模型对齐： 减轻幻觉、提高安全性并增强推理能力。
- 生成任务： 优化检索增强生成 (RAG) 和代码生成。
- 效率： 加速文本、图像和视频生成。
- 特定领域用例： 在医疗、机器人和科学领域的应用。
识别挑战： 文中列举了开放性挑战，包括构建通用对比示例的难度、对解码行为更好解释性的需求、基于搜索的引导解码的可扩展性，以及关于解码超参数的安全漏洞。

4. 结果与发现

本文并未呈现新的实验结果，而是通过综合现有文献的研究结果来建立以下结论：

有效性： 先进的解码方法已被证明可以在不重新训练模型的情况下，有效减轻幻觉、提高安全性、增强视觉接地能力并提升推理能力。
效率： 并行解码策略（如 Speculative Decoding、Medusa）显著降低了推理延迟，使大模型在实时应用中更具实用性。
通用性： 解码方法与模型无关，可以应用于各种架构（仅解码器 Transformer）和多种模态（文本、图像、视频）。
范式转移： 该领域正在经历从纯粹基于训练的对齐向推理时控制的转变，这为管理 LLM 行为提供了一种更灵活、更具扩展性的方法。

5. 重要性与未来方向

作者认为，解码方法是“增强和扩展 LLM 能力的一种成本效益极高的途径”。这项工作的意义在于提供了一个实用的视角，阐述如何通过推理时控制来解决当前基础模型的局限性。

文中提出了几个温和的未来研究方向：

动态且通用的方法： 开发不依赖于手动构建对比示例或特定任务验证集的算法。
可解释性： 通过机械可解释性（mechanistic interpretability）等手段，获得对解码方法“为何奏效”的理论理解。
范式结合： 探索对比解码、引导解码与并行解码的集成（例如将投机解码与对比策略相结合）。
扩展目标： 处理超越质量和安全性之外的关键问题，如隐私、偏见和版权，并将这些方法应用于法律、金融等高风险领域。
安全性： 研究解码机制的安全风险，包括可能操纵解码超参数的攻击，并开发如水印技术等应对措施。

总之，本综述强调了解码方法的高效性和有效性，将其定位为未来开发可靠且可扩展的大语言模型与视觉语言模型的重要组成部分。