💬 NLP

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

该论文提出了 YOCO++，一种通过引入底层与中间层之间的加权残差连接来增强 YOCO 的跨层 KV 压缩方法，在保持训练和推理效率的同时显著提升了模型性能，并在 50% 压缩率下超越了标准 Transformer。

原作者： You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 YOCO++ 的新方法，旨在让大型人工智能模型（LLM）在运行得更快、更省内存的同时，还能保持甚至提升它的“聪明程度”。

为了让你轻松理解，我们可以把大模型想象成一家超级繁忙的图书馆，把它的推理过程（回答问题）想象成读者在图书馆里查资料。

1. 背景：图书馆的“记忆瓶颈”

大模型的问题：现在的 AI 模型非常聪明，但也很“健忘”且“记性差”。当它处理长文章时，需要把之前读过的所有关键信息（Key-Value，简称 KV）都记在脑子里，这叫 KV 缓存。
内存瓶颈：随着对话变长，这个“记忆本”变得越来越大，占满了图书馆的书架（显存），导致图书馆只能接待很少的读者，或者反应变慢。
之前的尝试（YOCO）：为了解决这个问题，之前的 YOCO 方法想出了一个妙招：“只记一半，后面复用”。
- 想象图书馆有 20 层楼。YOCO 说：前 10 层楼（底层）正常记笔记；后 10 层楼（顶层）别记了，直接拿第 10 层的笔记来用。
- 效果：书架占用少了一半，速度也快了。
- 缺点：就像让后 10 层楼的读者只拿着第 10 层的笔记去回答问题，信息量不够，导致回答质量下降（模型变笨了）。

2. 核心创新：YOCO++ 的“超级笔记”

YOCO++ 的作者觉得：“只拿第 10 层的笔记太可惜了，我们能不能把第 1 层（最底层）的精华也融合进去呢？”

于是，他们提出了 YOCO++，引入了一个**“加权残差连接”**的概念。

创意比喻：老专家与新员工的“师徒传承”

想象一下：

第 1 层是图书馆的创始元老，经验丰富，知道所有基础常识。
第 2 到 10 层是中层员工，正在处理具体任务。
第 11 到 20 层是高层管理者，负责最终输出。

YOCO 的做法：高层管理者直接照搬中层员工的笔记。
YOCO++ 的做法：

融合智慧：在每一层中层员工（第 2-10 层）记笔记时，不再只记自己的，而是把“创始元老”（第 1 层）的笔记也加进来。
加权混合：不是简单地把两本笔记粘在一起，而是用一个智能配方（可学习的权重）。
- 比如：70% 自己的思考 + 30% 元老的经验。
- 这个配方是模型自己学出来的，知道什么时候该多听元老的，什么时候该多听自己的。
结果：中层员工记下的笔记（缓存）变得信息量更丰富、更精准了。当高层管理者复用这些笔记时，它们不再是“缩水版”，而是“精华增强版”。

3. 为什么它既快又好？（效率分析）

你可能会问：“加了这么多信息，会不会让图书馆更慢、更挤？”

内存没变：YOCO++ 依然只存一半的笔记（前 10 层），后 10 层直接复用。所以书架占用率（显存）和 YOCO 一样，省了一半。
速度没变：
- 计算量：那个“智能配方”（加权混合）的计算非常轻量，就像在笔记上盖个章，几乎不花时间。
- 读写速度：虽然多读了一点元老的信息，但在现代计算机里，这点额外的读取时间几乎可以忽略不计。
结论：YOCO++ 做到了**“花同样的钱（内存），办更好的事（效果）”**。

4. 实验结果：真的有效吗？

作者做了很多测试，把 YOCO++ 和原来的 YOCO、以及其他先进方法（如 FusedKV）以及标准的“笨重”大模型做对比：

智商测试（准确率）：在常识推理、逻辑问答等任务上，YOCO++ 的表现超越了标准的大模型，也打败了所有其他的压缩方法。它证明了：即使只存一半的笔记，只要笔记质量够高（融合了底层智慧），模型依然可以很聪明。
速度测试：它的反应速度和 YOCO 一样快，比标准模型快很多。

总结

YOCO++ 就像给图书馆的“记忆复用”系统装上了一个“智能过滤器”和“增强器”。

它不再让高层管理者只看中层员工的“半成品”笔记，而是让中层员工在记笔记时，自动融合创始元老的“核心智慧”。这样，既保留了省内存、速度快的优点，又解决了模型变笨的缺点，是目前大模型高效推理领域的一项突破性进展。

一句话概括：YOCO++ 让 AI 在“只记一半笔记”的情况下，通过巧妙融合底层经验，依然能写出满分答案，而且速度飞快。

YOCO++ 技术总结

1. 研究背景与问题 (Problem)

大型语言模型（LLM）的推理过程中，键值缓存（KV Cache） 是主要的显存瓶颈。为了缓解这一问题，跨层 KV 压缩（Cross-layer KV Compression） 技术被广泛研究，其核心思想是仅保留部分 Transformer 层的 KV 值，并在其他层中复用。

然而，现有的跨层共享方法（如 YOCO）虽然显著降低了显存占用，但通常会导致不可忽略的性能下降。

原因：直接将某一层（如中间层）的 KV 值共享给其他层，削弱了模型在不同层级间的信息表达能力（Model Capacity）。
现有尝试的局限：虽然可以通过加权组合多层 KV 值（如 FusedKV）来提升性能，但这往往会引入额外的缓存 I/O 开销，从而降低推理效率。

核心挑战：如何在保持跨层 KV 压缩带来的高推理效率（低显存、低延迟）的同时，消除或最小化性能损失，甚至超越标准 Transformer 模型。

2. 方法论 (Methodology)

本文提出了 YOCO++，一种增强版的 YOCO 架构，旨在通过引入 KV 残差连接（KV Residual Connections） 来平衡效率与性能。

2.1 核心机制：加权残差连接

YOCO++ 在 YOCO 的基础上进行了改进：

YOCO 基础：将模型分为下半部分（Self-decoder）和上半部分（Cross-decoder）。下半部分正常计算并缓存 KV，上半部分直接复用中间层的 KV，不生成新的 KV。
YOCO++ 创新：
- 在下半部分的每一层 $i$ （ $i \in \{2, ..., L/2\}$ ）中，不再仅缓存当前层的 $K_i, V_i$ ，而是缓存当前层与底层（第 1 层）的加权组合。
- 具体公式如下：
  $\begin{aligned} K'_i &= \lambda(\alpha^K_{i,1}K_1 + \alpha^K_{i,2}K_i) \\ V'_i &= \lambda(\alpha^V_{i,1}V_1 + \alpha^V_{i,2}V_i) \end{aligned}$
- 其中， $\alpha$ 为可学习的残差权重， $\lambda$ 为缩放因子。
- 上半部分复用经过增强的中间层 KV（ $K'_{L/2}, V'_{L/2}$ ），这些 KV 携带了比原始 YOCO 更丰富的信息。

2.2 关键设计细节

避免额外 I/O 开销：
- 不同于在推理时动态组合 KV（这会增加 I/O），YOCO++ 在训练和预填充（Prefilling）阶段直接计算并缓存组合后的 $K'_i, V'_i$ 。
- 在解码（Decoding）阶段，模型直接读取缓存的组合 KV，因此I/O 开销与原始 YOCO 完全一致。
缩放因子（Scaling Factor, $\lambda$ ）：
- 为了促进残差权重的学习，引入固定超参数 $\lambda > 1$ （实验设定为 35）。
- 初始化时，设置 $\alpha_{i,1}=0, \alpha_{i,2}=1/\lambda$ ，确保模型初始状态与 YOCO 完全一致，随着训练进行，权重逐渐学习调整。
底层信息复用：
- 受前人研究启发，仅将底层（Bottom layer） 的 KV 加入当前层，而非所有前序层，以在容量和效率间取得最佳平衡。

3. 主要贡献 (Key Contributions)

提出 YOCO++ 架构：首次将加权残差连接机制引入跨层 KV 压缩的下半部分，通过融合底层信息增强中间层 KV 的表达力。
效率与性能的双重优化：
- 零额外开销：在保持与 YOCO 相同的训练和推理效率（显存占用、I/O 延迟）的前提下，显著提升了模型性能。
- 参数极少：每层仅增加 4 个可学习参数，对模型总参数量影响可忽略不计。
超越 SOTA：在 50% KV 缓存压缩率下，YOCO++ 在多项基准测试中不仅优于其他压缩方法（如 FusedKV, FusedKV-Lite），甚至超越了标准 Transformer 模型。

4. 实验结果 (Results)

实验基于 1.1B 参数的 TinyLlama 架构（22 层），在 SlimPajama 数据集上训练。

4.1 推理效率 (Inference Efficiency)

预填充延迟 (TTFT)：YOCO++ 与 YOCO、FusedKV 等压缩方法一致，约为标准 Transformer 的 50%（因为可以提前退出上半层计算）。
解码吞吐量 (Throughput)：由于显存占用降低，支持更大的 Batch Size，YOCO++ 的吞吐量持续高于标准 Transformer。
对比 FusedKV：FusedKV 虽然压缩率相同，但因引入额外 I/O 导致吞吐量下降至标准 Transformer 水平，而 YOCO++ 未受此影响。

4.2 模型性能 (Model Performance)

在常识推理任务（HellaSwag, OBQA, WinoGrande, ARC, PIQA 等）的 Zero-shot 测试中：

YOCO：性能低于标准 Transformer（Avg 47.98 vs 48.37）。
FusedKV / FusedKV-Lite：性能略优于或持平标准 Transformer。
YOCO++：取得最佳性能，平均准确率 48.99，显著优于标准 Transformer (48.37) 和原始 YOCO。

4.3 消融实验 (Ablation Study)

去除缩放因子 ( $\lambda$ )：验证损失显著上升（接近 YOCO），证明缩放因子对残差权重的有效学习至关重要。
去除 Key 残差：仅保留 Value 残差会导致性能下降，证明 Key 和 Value 的残差连接均对提升性能有贡献。

5. 意义与总结 (Significance)

YOCO++ 解决了跨层 KV 压缩中“效率”与“性能”难以兼得的痛点。

理论价值：证明了在 KV 缓存层面引入残差连接（类似 Transformer 中的残差连接）可以有效增强跨层信息流动，提升模型容量，而无需牺牲推理速度。
实用价值：为资源受限环境（如边缘设备、高并发推理服务）下部署大模型提供了一种高效且高性能的解决方案。它表明，通过巧妙的架构设计（如预计算组合 KV），可以在不增加 I/O 负担的情况下，显著提升压缩模型的表达能力。

结论：YOCO++ 是目前跨层 KV 压缩方法中的 State-of-the-Art，成功实现了在 50% 压缩率下超越标准 Transformer 的性能，同时保持了极致的推理效率。