💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

本文提出了“成对输入、成对输出”（PIPO）框架，该统一框架将潜在输入压缩与多令牌输出预测相结合，并引入轻量级的基于置信度的接受机制，从而在不增加独立验证器通道的开销的情况下，显著提升大语言模型的推理速度并改善其推理性能。

原作者： Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一位非常聪明但极其缓慢的抄写员，他一次只写一个单词来创作故事。要解决一道高难度的数学题或编写复杂的代码，这位抄写员需要大声思考，在写下最终答案之前生成一条长长的“思维链”。问题在于，写一个单词、停下来思考、再写下一个单词的过程极其缓慢且昂贵。

这篇论文介绍了一种名为PIPO（Pair-In, Pair-Out，成对输入、成对输出）的新方法，旨在让这位抄写员变得快得多，同时不增加错误率。以下是其工作原理，使用了简单的类比：

1. 问题：“一步一个脚印”的瓶颈

目前，这位抄写员的工作方式就像一个人使用打字机：打一个字母，按“回车”，等待机器处理，再打下一个字母，如此循环。即使抄写员很聪明，机器也很慢，因为它每个周期只能处理一个字母。

2. 解决方案：“双层”巴士（PIPO）

PIPO 改变了交通规则。PIPO 不再让抄写员一次处理一个单词，而是让他们一次处理两个单词。

成对输入（压缩）： 想象抄写员收到了一叠两个字母（例如"T"和"h"）。特殊“压缩机”不是将它们分别送入机器，而是将它们折叠成一个紧凑的包裹（潜在表示）。这就像将一张大地图折叠成一个小方巾，以便它能穿过一扇窄门。
旅程： 机器处理这个单一的“折叠”包裹。
成对输出（展开）： 一旦机器处理完毕，它不会只吐出一个字母。它拥有一个特殊的“展开”头部，接收结果并立即生成两个字母：预期的下一个单词和一个预测的草稿单词（例如"e"和" "）。

结果： 现在，抄写员在每个机器周期内能写出两个字母。这实际上使书写速度提高了一倍。

3. 风险：“猜谜游戏”

这里有一个陷阱。预测第二个单词是一种猜测。如果猜错了，整个句子可能会变得毫无意义。

旧方法（推测解码）： 以前，为了检查猜测是否正确，抄写员必须停下来，运行一个庞大的“验证”测试（就像高级编辑重新阅读整个草稿），然后决定猜测是否有效。这个验证步骤太慢了，以至于抵消了速度提升。
PIPO 的方法（置信度头部）： PIPO 在抄写员旁边安装了一个微小、超快的“置信度计”。这个仪表经过训练，可以查看这两个单词并立即说出：“我有 95% 的把握第二个单词是正确的”，或者“我不确定，跳过它”。
- 如果仪表说"通过"，抄写员就保留这两个单词。
- 如果仪表说"不行"，抄写员保留第一个单词，并用“空白”（填充）替换第二个单词，以保持节奏继续。

4. 秘诀：从错误中学习（在线策略蒸馏）

“置信度计”是如何在没有缓慢编辑的情况下学会如此准确的呢？

论文使用了一种巧妙的训练技巧，称为在线策略蒸馏。

想象抄写员（学生）尝试写一个故事。
一位超级聪明的老师（一个更大的预训练模型）也写这个故事。
系统将学生的猜测与老师的答案进行比较。
魔法： 系统意识到，“老师”正在做与旧方法中“编辑”完全相同的工作。因此，系统不是每次运行缓慢的编辑检查，而是利用老师的答案在学习阶段训练微小的“置信度计”。
一旦训练完成，置信度计就知道何时该信任猜测，何时该谨慎，而无需在实际写作过程中依赖缓慢的编辑。

5. 结果：更快且更聪明

论文在困难的数学和编码任务（如 AIME 数学竞赛和编码基准测试）上测试了这种方法。

速度： 因为它一次处理两个单词并跳过了缓慢的编辑检查，PIPO 比标准方法快 2 到 2.6 倍。它能更快地输出第一个单词，并保持流程顺畅。
准确性： 令人惊讶的是，它不仅变得更快，而且变得更好。通过将更多的“思考”压缩到相同的空间内（因为它压缩了输入），该模型能够生成更长、更完整的推理链。在某些测试中，与正常方法相比，成功率提高了 7 个百分点以上。

总结

PIPO 就像将一辆送货卡车从单车道道路升级到双车道高速公路。

压缩货物（输入），将两个包裹塞进一个槽位。
一次性交付两个包裹（输出）。
使用智能传感器（置信度头部）来决定第二个包裹是否安全保留，该传感器由一位已经知道答案的老师进行训练。

这使得 AI 能够思考得更久，回答得更快，在解决复杂问题时避免了通常的减速。

技术摘要：用于高效大语言模型的“成对输入、成对输出”（PIPO）

1. 问题陈述

现代大语言模型（LLM）在处理数学和编程等复杂任务时，越来越依赖长思维链（CoT）推理。虽然这一范式提高了准确性，但也造成了显著的推理瓶颈：标准的自回归解码每次前向步骤仅生成一个 token，使得每个 token 的成本成为长推理轨迹中主导的延迟因素。

现有解决方案从两个独立的方向着手解决这一问题：

输入侧： 潜在压缩方法（如 CoLaR）将多个输入 token 合并为单个连续表示，以缩短序列长度。
输出侧： 多 token 预测（MTP）和投机解码（如 EAGLE、Medusa）试图在每一步生成多个 token。然而，这些方法通常需要一个昂贵的“验证器”步骤（即大型主干网络的一次完整前向传播）来验证草稿 token，这往往抵消了效率增益，尤其是在长上下文长度下。此外，未经验证的 MTP 方法存在传播不可靠草稿的风险，从而降低准确性。

目前尚无统一的框架能够同时利用输入压缩和输出多 token 预测，而无需承担高昂的验证器成本。

2. 方法论：成对输入、成对输出（PIPO）

PIPO 提出了一个统一框架，将潜在压缩和多 token 预测视为围绕 LLM 主干网络的镜像操作。

2.1 核心架构

该框架基于token 对而非单个 token 进行操作：

成对输入（压缩）： 一个轻量级 MLP 压缩器将两个连续的输入 token 嵌入（ $x_{2i}, x_{2i+1}$ ）折叠为单个潜在表示（ $z_i$ ）。这将有效输入长度减半。
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
压缩器的初始化使得 $f_\theta([a; b]) \approx a + b$ ，以保持主干网络的预训练分布。
成对输出（预测）： 主干网络处理压缩后的潜在状态并产生隐藏状态（ $h^b_i$ $h_{i}^{b}$ ）。
1. 主干 Token： 标准语言模型头预测下一个主干 token（ $x_{2i+2}$ ）。
2. 草稿 Token： 一个多 token 预测（MTP）头，以主干隐藏状态和预测的主干 token 为条件，预测一个额外的草稿 token（ $x_{2i+3}$ ）。
3. 置信度头： 一个轻量级 MLP 预测该草稿 token 的置信度分数（ $c_i$ ）。
  $c_i = g_\phi([h^b_i; h^d_i])$
- 接受逻辑： 如果 $c_i \geq \tau_c$ ，则接受草稿 token，下一个输入对由两个新生成的 token 组成。如果拒绝，则用填充 token（ $x_{pad}$ ）替换草稿，下一个输入对为 $(x_{2i+2}, x_{pad})$ 。这确保了无论是否接受，接口都保持一致。

2.2 训练策略

PIPO 利用两阶段训练过程来弥合训练与推理之间的差距：

监督微调（SFT）：
- 模型使用交叉熵（CE）损失进行训练，针对主干 token 和草稿 token 均采用“预测下一对”的目标。
- 置信度头使用二元交叉熵（BCE）损失进行自举训练，使置信度分数与真实草稿 token 的概率对齐。
- 随机填充： 在训练期间，一部分草稿位置被随机替换为填充 token，以使模型接触拒绝场景。
在线策略蒸馏（OPD）：
- PIPO 通过使用学生模型当前策略展开响应，解决了训练 - 推理分布偏移问题。
- 关键洞察： OPD 中“教师”的作用在功能上等同于投机解码中的“验证器”。两者都根据更强的参考分布来判断草稿的一致性。
- 免费监督： 置信度头的接受概率直接源自 OPD 损失计算： $y_c = \min(p_t(x)/p_s(x), 1)$ ，其中 $p_t$ 是教师（主干）概率， $p_s$ 是学生（草稿）概率。
- 这使得置信度头可以使用拒绝采样准则作为标签进行训练，而无需任何额外的前向传播或单独的验证器模型。

3. 主要贡献

统一框架： PIPO 将输入侧的潜在压缩和输出侧的多 token 预测统一为对称的“成对输入/成对输出”接口，有效将输入长度减半并将每步输出翻倍。
消除验证器： 通过观察到 OPD 教师与投机验证器扮演相同角色，PIPO 利用拒绝采样比率作为免费标签来训练轻量级置信度头。这将每一步昂贵的骨干网络验证器前向传播替换为单次 MLP 前向传播。
效率与准确性： 该方法在首 token 时间（TTFT）和每输出 token 时间（TPOT）上实现了显著加速，同时提高了复杂推理基准测试中的 pass@4 准确率。

4. 实验结果

作者在 Qwen3.5-4B 和 Qwen3.5-9B 主干网络上评估了 PIPO，涵盖了四个基准测试：AIME 2025、GPQA-Diamond、LiveCodeBench v6 和 LongBench v2。

准确性： PIPO + OPD 在所有方法中取得了最高的 pass@4 分数。
- 在 Qwen3.5-9B 上，PIPO 相比常规自回归解码将 pass@4 提高了 +7.15 分。
- 在 Qwen3.5-4B 上，相比最佳基线提高了 +3.83 分。
- 随着上下文预算的增加（高达 32K 槽位），优势进一步扩大，因为 PIPO 能在相同的预算内容纳更完整的推理链。
效率：
- TTFT： 由于压缩的预填充阶段，实现了高达 2.64 倍 的加速（例如在 128K 输入长度下）。
- TPOT： 由于每次主干前向传播生成两个 token，实现了高达 2.07 倍 的加速。
消融研究：
- 非线性压缩器至关重要；线性压缩器导致性能显著下降。
- 将压缩器初始化为加法求和（ $a+b$ ）对于稳定性至关重要。
- 置信度头有效拒绝了不可靠的草稿，优于随机拒绝基线，并找到了最大化 pass@4 的“最佳点”（阈值 $\tau_c \approx 0.95$ ）。

5. 意义与主张

该论文声称，PIPO 代表了高效 LLM 解码方法的转变：

对称性： 它证明了输入压缩和输出扩展并非相互竞争的策略，而是可以结合的互补、镜像操作。
成本摊销： 它成功摊销了验证成本。不再为每一步支付高昂的推理成本（完整主干前向传播），而是将验证逻辑蒸馏为轻量级的训练信号（置信度头），将重复的推理成本转化为一次性的训练信号。
实用性： 该框架主要依赖现成组件（预训练的 MTP 头、标准主干网络），仅需少量附加模块（压缩器和置信度头），使其易于部署在现有的强大 LLM 上。

作者指出了局限性，包括专注于成对处理（而非更大的压缩因子）、仅限于纯文本模型，以及评估主要集中在具有可验证答案的任务（数学/编程）而非开放式生成上。然而，他们认为 PIPO 提供了一条稳健的途径，可在不牺牲可靠性的情况下降低长链推理的推理成本。