💬 NLP

Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity

本文提出了选择性层恢复（Selective Layer Restoration, SLR），这是一种无需训练的方法，通过将特定层选择性地恢复到其预训练权重，从而在缓解模式崩溃的同时，保持各种任务和模型族中的输出质量，以此恢复经过后训练的大型语言模型的生成多样性。

原作者： Bowen Zhang, Meiyi Wang, Harold Soh

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bowen Zhang, Meiyi Wang, Harold Soh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

问题所在：“过度负责”的机器人

想象你有一个才华横溢、富有创造力的机器人（大语言模型），它是在整个互联网的数据上训练出来的。在你给它任何特定指令之前，它是狂野且充满想象力的，可以讲一百万种不同的笑话或写一百万个不同的故事。它拥有多样性。

然后，你对它进行了“后训练”（post-trained）。你教它变得乐于助人、彬彬有礼并完美地遵循指令。它变成了一个优秀的助手。但副作用是：它变得乏味了。

这种现象被称为模式崩塌（Mode Collapse）。你可以把它想象成一位音乐家，在被要求只能为企业活动演奏“稳妥”的歌曲后，忘记了如何演奏爵士、摇滚或蓝调。无论你问什么，这个机器人总是给出完全相同的“安全”答案。

问： “列出一个化学元素。”
旧机器人： “氢、氦、锂、碳……”（具有多样性）
新机器人： “碳。碳。碳。”（乏味的重复）

论文指出，这种“乏味”的行为并不是发生在机器人的整个大脑中，而是卡在了特定的位置。

解决方案：“选择性层恢复”（SLR）

研究人员发现，机器人的大脑是由许多层组成的（就像摩天大楼的楼层）。有些楼层处理基础语法，有些处理事实，还有些处理复杂的推理。

他们假设这种“乏味”的行为局限在特定的楼层。因此，他们没有尝试重新训练整个机器人（这既昂贵又缓慢），而是尝试了一个聪明的技巧：选择性层恢复（Selective Layer Restoration, SLR）。

类比：混合房屋
想象经过后训练的机器人是一座经过翻修、变得非常安全整洁，但失去了“灵魂”的房子。而预训练的机器人则是那座原始的、狂野且富有艺术感的房子。

研究人员并没有拆掉这座房子。相反，他们进入了这座翻修后的房子，并根据蓝图，将特定的房间替换回了原始的、狂野的版本。

他们保留了“厨房”和“客厅”（让它能很好遵循指令的部分）。
他们将“阁楼”和“地下室”（让它变得重复的部分）换回了原始的、具有多样性的版本。

结果是一个混合房屋：它仍然能完美地遵循指令（高质量），但现在它又能再次讲述狂野、多样化的故事了。而且最棒的是？这不需要额外的建设成本，走过这座房子也不会变慢（没有额外的推理成本）。

他们是如何找到要更换哪些房间的？（CRC 任务）

你不能仅仅靠猜测来决定更换哪些楼层。如果你换错了，房子可能会坍塌（机器人会变得无法理解）。

为了弄清楚这一点，研究人员创建了一个简单的测试游戏，叫做 CRC（约束随机字符）。

游戏规则： 他们问机器人：“生成一个 0 到 5 之间的随机数字。”
目标： 机器人需要选出一个数字（质量：它必须是 0-5 之间的数字）并且每次都要选出不同的数字（多样性：不要每次都说“3”）。

通过测试这个简单的游戏，他们可以精确地看到机器人的大脑中哪些“楼层”（层）导致了重复。他们找到了一个“甜点区（sweet spot）”——即一个特定的层范围，通过将这些层换回原始版本，可以让机器人恢复多样性，同时又不破坏其遵循规则的能力。

结果

他们在三个困难任务上测试了这个“混合房屋”：

创意写作： 写诗、故事和笑话。
开放式问题： 询问诸如“列出一个国家公园”之类有许多正确答案的问题。
推理： 解决需要尝试不同路径的数学问题。

发生了什么？

多样性激增： 机器人开始给出许多不同、独特的答案，而不是重复同一个答案。
质量保持高水平： 它并没有停止遵循指令。它仍然乐于助人且准确。
效果普适： 他们在三种不同类型的机器人（Llama、Qwen 和 Gemma）上进行了测试，它对所有机器人都有效。

为什么这很重要

通常，要解决一个乏味的机器人，你必须：

调整设置（比如调高“随机性”旋钮），但这有时会让机器人说出胡言乱语。
重写指令（提示词），这很繁琐且并不总是奏效。
重新训练整个机器人，这需要数月时间且耗资巨大。

这篇论文提供了第三种方法：一种简单的、免费的一次性修复方案。 你只需将机器人大脑中的几个特定“楼层”换回原始的、富有创造力的版本，你就能获得两全其美：一个既是得力助手又有趣且多样化的机器人。

总结

问题： 训练 AI 变得乐于助人会让它变得重复且乏味。
修复方法： 将 AI 的特定层换回其原始的、预训练的状态。
结果： AI 重新变得多样化且富有创造力，同时保持乐于助人和准确。
成本： 零额外的训练时间，零额外的运行成本。

技术摘要：选择性层恢复实现多样性恢复

问题陈述

后训练技术（如指令微调和基于人类反馈的强化学习 RLHF）显著增强了大语言模型（LLM）的指令遵循能力和帮助性。然而，这些方法往往会诱发模式崩塌（mode collapse），即模型将不成比例的高概率质量分配给极窄的响应范围，从而抑制了多样但有效的替代方案。这导致模型在开放式场景（如创意写作、开放式问答和推理）中出现重复输出，限制了其在重视差异化响应的应用中的效用。

现有的缓解策略分为三类，每类都有其局限性：

基于解码的方法（如温度缩放、min-p 采样）增加了随机性，但无法恢复由于参数变化而在后训练过程中丢失的多样性。
基于提示的方法（如请求多个答案）增加了推理成本，且对提示词的措辞较为敏感。
基于训练的方法（如目标函数重设计）需要昂贵的重新训练和数据收集。

作者寻求一种能够有效恢复多样性、在适配过程中计算高效，且不引入额外推理成本的方法。

方法论

所提出的方法——选择性层恢复（Selective Layer Restoration, SLR），是一种基于两个经验观察的无需训练的权重空间干预手段：

LLM 各层表现出不同的功能角色（例如，事实关联通常局部化于中层深度层）。
后训练主要是在引导哪些预训练行为被表达出来，通常是抑制其他行为（灾难性遗忘），而非获取全新的知识。

作者假设模式崩塌局部化于特定的层，通过将后训练模型（ $M_{post}$ ）中的特定范围层恢复到其预训练权重（ $M_{pre}$ ），可以实现多样性的恢复并保持质量。

SLR 框架

给定一个具有 $N$ 层的模型，SLR 通过将 $M_{post}$ 中连续的层区间 $[i, j]$ 替换为对应的 $M_{pre}$ 层来构建一个混合模型 $M_{i:j}$ 。目标是找到使多样性（ $D$ ）最大化，同时满足最小质量阈值（ $Q \ge q_{min}$ ）的区间 $(i, j)$ 。

CRC 代理任务

直接在复杂的下游任务上优化恢复区间在计算上是昂贵的，且由于“质量”的主观性而难以评估。为了解决这个问题，作者引入了**受限随机字符（Constrained Random Character, CRC）**作为代理任务。

机制： CRC 涉及在严格定义的有效集合内生成随机字符（数字或字母）（例如，“生成一个在 [0, 5] 之间的随机整数”）。
指标：
- 质量 ( $Q_{CRC}$ )： 分配给有效输出的概率质量（衡量指令遵循度）。
- 多样性 ( $D_{CRC}$ )： 有效输出分布的熵（衡量多样性）。
选择过程： 作者使用 CRC 对所有可能的连续层区间进行网格搜索。他们选择在满足 $Q_{CRC} \ge 0.9 \times Q_{CRC}(M_{post})$ 条件下使 $D_{CRC}$ 最大化的区间。选定的区间随后应用于下游任务，无需进一步微调。

核心贡献

选择性层恢复 (SLR)： 一种无需训练的方法，通过将后训练 LLM 中的特定连续层区间恢复到其预训练参数。它保留了原始架构和参数量，不会产生额外的推理成本。研究表明，它与基于解码和基于提示的多样性方法具有互补性。
受限随机字符 (CRC)： 一种具有明确有效集和自然多样性目标的代理任务。CRC 实现了高效、低成本的恢复区间探索，并为层局部化假设提供了经验证据。
经验验证： 在三个模型家族（Llama, Qwen, Gemma）和三个下游任务（创意写作、开放式问答、多步推理）中进行了全面的评估。

实验结果

作者将 SLR 与后训练基线以及“模型汤”（Model Soup，即预训练与后训练模型的加权参数平均）基线进行了对比评估。

创意写作： SLR 持续提升了多样性（基于嵌入的差异性平均提升 +42.5%），同时仅有极小的质量损失（LLM 评判得分平均下降 -2.1%）。相比之下，Model Soup 的多样性增益较小（+27.3%），且质量下降更显著（-6.0%）。
开放式问答： SLR 大幅增加了答案的多样性，显示出熵增加 +112.7%，覆盖率（唯一正确答案的比例）增加 +169.5%，同时保持了高精确度（平均下降 -1.8%）。
推理 (GSM8K)： 在后训练模型在贪婪解码下失败的问题上，SLR 提高了所有采样预算（ $k \in \{1, \dots, 64\}$ ）下的 Pass@k，表明概率质量向多样但正确的推理路径转移。
组合性： 当与高温度解码（ $T=1.5$ ）和语言化采样（基于提示的方法）结合使用时，SLR 依然有效，这表明 SLR 修改了底层的模型分布，而其他方法则是操纵采样过程或输入。
消融研究： 由 CRC 代理引导的层恢复效果优于恢复任意区间（例如最早或最晚的层）。恢复任意层往往无法提高多样性或会导致质量下降，这证实了特定区间选择的重要性。

意义与主张

本文声称，SLR 提供了一条简单且有效的路径，可以在不增加重新训练的计算开销或复杂提示的推理成本的情况下，缓解模式崩塌。通过证明多样性可以通过针对性的权重空间干预来恢复，这项工作支持了后训练 LLM 的模块化观点：

功能和行为（包括模式崩塌）是局部化于特定层，而非均匀分布的。
后训练主要是引导预训练行为的表达，而非从根本上改变模型的内核知识库。

作者总结道，像 SLR 这样细粒度的权重空间干预，为控制 LLM 的质量-多样性权衡提供了一条充满前景的途径，使得在保留后训练收益（如指令遵循）的同时，能够恢复理想的预训练特性（如多样性）。本文在可扩展性方面保持了审慎，指出目前结果仅限于约 7–9B 参数的模型，未来仍需研究这些发现是否在更大规模或更细粒度干预（如子层恢复）下依然成立。