🤖 machine learning

Representation Collapse in Sequential Post-Training of Large Language Models

本文研究了连续的训练后阶段如何导致大语言模型陷入向低秩、各向异性空间的表示坍缩，证明了这一现象会损害未来的可塑性与泛化能力，并提出了在不牺牲行为增益的前提下保持可学习性的轻量级干预方案。

原作者： Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“专家”陷阱

想象一下，你正在雇佣一位才华横溢、通晓多方面的导师（即大语言模型）来协助你处理各种任务。

首先，你教他进行日常对话（指令微调）。
接着，你专门训练他成为一名数学导师（数学微调）。
然后，你训练他成为一名编程专家（代码微调）。
最后，你训练他必须严格遵守安全准则并拒绝不当请求（安全微调）。

这篇论文提出了一个可怕的问题：如果我们将这些训练阶段一个接一个地进行，是否会让这位导师变得“僵化”或“死板”？

作者称之为**“表示崩溃”（Representation Collapse）**。这就像导师的大脑被挤进了一个狭窄的小走廊。他可能在最后学习的那件事上表现得极其出色，但他失去了以后学习任何新事物的灵活性。他变成了一个“只会一招”的木头人，忘记了如何做一个通才。

类比：体操运动员的肌肉记忆

把模型的内部知识想象成一组肌肉。

健康的训练： 当你学习一项新技能时，你会增加新的肌纤维。你依然可以做旧的动作，同时又增加了新的动作。
表示崩溃： 想象一下，如果每当你学习一个新动作时，都被迫让肌肉向一个特定的方向过度拉伸，以至于你失去了向其他任何方向弯曲的能力。
- 在经过数学训练后，你的大脑被紧紧拉向了“数学”。
- 在经过代码训练后，它被拉得更紧，向着“代码”。
- 在经过安全训练后，它被拉得如此之紧，以至于只能向着“拒绝不良请求”这个方向，导致你很难再去学习像“写诗”这样的新技能，否则就会破坏原有的结构。

论文声称，当我们把这些训练阶段串联起来时，模型的“肌肉”会卡在几个特定的方向上。它变得具有各向异性（一个表示“向一个方向拉伸”的专业术语）且低秩（意味着它在思考时使用的“维度”变少了）。

他们实际做了什么（实验）

研究人员并非仅仅靠猜测；他们为这些 AI 模型构建了一套“体能测试”。

设置： 他们选取了一些小型 AI 模型，并按照特定顺序进行训练（例如：通用 $\rightarrow$ 数学 $\rightarrow$ 代码 $\rightarrow$ 安全）。
探测： 在每一个训练阶段结束后，他们都会给模型一个固定不变的测试（“探测器”），以观察其大脑是如何组织的。他们不仅检查模型是否给出了正确答案，还观察了其思维的几何结构。
发现：
- “挤压”效应： 随着训练阶段的增加，模型的内部“思维空间”变得越来越小、越来越拥挤。
- 预测： 他们发现了一个直接联系：模型的脑部被“挤压”得越厉害，它在之后学习新任务时的表现就越差。
- 悖论： 模型在刚刚接受训练的特定任务（例如解决数学问题）上表现得更好，但它变得更加“脆弱”，难以适应下一个任务。

为什么会这样（简单解释）

论文指出，当模型学习一项新任务时，它通常会朝着一个特定的方向更新其大脑。如果你不断重复这个过程，你就会一遍又一遍地更新相同的方向。

想象你在粉刷一面墙。如果你反复只粉刷左上角，那个角落会变得又厚又重，而墙面的其他部分则依然是空白的。
最终，模型的大脑里不再有“空间”来涂抹新的颜色（学习新事物），因为所有的“油漆”都卡在了旧有的位置。

解决方案：保持大脑的灵活性

论文还测试了一些“修复方法”，旨在不破坏模型原有技能的前提下阻止这种崩溃。他们尝试了：

混合训练（回放/Replay）： 在进行新任务训练时，偶尔向模型展示旧的、通用的问题，这样它就不会忘记“大局观”。
多样性规则： 强制要求模型的内部思维保持多样性，而不是让它们全部聚集在一起。
去相关化（Decorrelation）： 确保新的更新不会与旧的更新过度重叠。

结果： 这些修复方法虽然没有让模型变得完美，但它们创造了更好的平衡。模型既能胜任其特定工作，又保留了足够学习新事物的灵活性。

总结

论文的结论是，我们不应该仅仅关注一个 AI 在当前工作上是否“聪明”。我们还需要检查它的思维是否正在变得“僵化”。如果我们只是不断地串联训练阶段而不检查这种“崩溃”现象，我们可能会无意中创造出那些今天擅长一件事、但明天却无法更新或改进的模型。

简而言之：不要把 AI 的大脑挤压得太紧，否则它将无法应对下一个挑战。

技术摘要：大型语言模型顺序后训练中的表示坍缩（Representation Collapse）

1. 问题陈述

当代大型语言模型（LLMs）很少仅通过单次指令微调进行适配。相反，它们会经历连续的后训练阶段，包括广泛的指令微调、偏好优化、安全性对齐、领域专业化（数学/代码）以及长思维链（CoT）微调。虽然目前的评估实践侧重于行为结果（例如，基准测试分数、拒绝率），但本文认为这种观点是不完整的。

研究的核心问题是表示坍缩（representation collapse）：该假设认为，顺序后训练会逐渐将模型的内部特征空间压缩为低秩、各向异性（anisotropic）且同质化的流形。作者指出，虽然单个阶段可能会提高特定任务的性能，但过度的表示集中会导致模型的“可塑性（plasticity）”下降，从而使未来适配新领域变得困难。这种坍缩的特征表现为：

隐藏状态协方差的有效秩（effective rank）损失。
样本向少数主导方向的对齐（各向异性）。
领域与标记类型之间的可分性降低。
过度自信的 Logits 和校准度降低。
在不同阶段重复使用相同的低秩子空间进行适配器更新（如 LoRA）。

本文将此定义为一种“静默失效模式（quiet failure mode）”，即模型在最近的目标任务上表现得更好，但由于几何维度的收窄，使其学习后续任务的能力下降，而非能力的完全丧后丧失。

2. 研究方法

实验设置

本研究采用受控的顺序后训练基准测试，使用了中小规模开源权重模型（Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B，以及一个 7B 的规模检查模型）。实验使用 LoRA（秩为 16，alpha 为 32）作为主要的适配机制，并对 1B 模型进行全参数微调，以验证这些效应并非低秩适配本身产生的伪影。

训练流水线包含不同的阶段序列，例如：

专业化链条： 通用 SFT $\to$ 数学 SFT $\to$ 代码 SFT $\to$ 安全/拒绝 SFT。
推理与偏好： 通用 SFT $\to$ 长 CoT SFT $\to$ DPO 式偏好优化。
安全优先： 安全/拒绝 SFT $\to$ 通用 SFT $\to$ 领域专业化。

测量套件

研究使用了一个固定的探测语料库（ $X_{probe}$ ），包含 12,000 个提示-响应文本（跨领域平衡），应用于每一个检查点（checkpoint），以确保几何变化不会受到评估分布偏移的影响。本文定义了一个全面的测量套件，涵盖：

谱度指标（Spectral Metrics）：
- 有效秩与参与率（Effective Rank & Participation Ratio）： 衡量隐藏状态协方差的集中程度。
- Top-k 方差： 可视化在主导维度上的集中情况。
几何指标（Geometric Metrics）：
- 各向异性（Anisotropy）： 平均成对余弦相似度（中心化与非中心化）。
- CKA 漂移（CKA Drift）： 将检查点与基座模型及前一阶段进行中心化核对齐（Centered Kernel Alignment）比较。
- 领域可分性： 用于领域分离的轮廓系数（Silhouette scores）和协方差比。
标记动态（Token Dynamics）：
- 分析特定跨度（spans）的秩与多样性：提示词、早期响应、后期响应、CoT 跨度以及拒绝跨度。
功能指标（Functional Metrics）：
- Logit 空间： 熵、词表支持规模、Top-two 边际（margins）以及预期校准误差（ECE）。
更新指标（Update Metrics）：
- LoRA 重叠： 不同阶段 LoRA 更新的奇异向量基底之间的主角度重叠。

评估策略

评估是基于轨迹（trajectory-based）而非仅基于终点的。在每个阶段结束后，模型将接受以下评估：

目标性能： 在所训练领域上的即时增益。
保留/分布外（OOD）： 在留出任务和分布外数据上的性能。
未来学习能力： 一个关键测试，即每个检查点都会经历一次固定预算的适配，以适配到一个全新的、未见的领域任务。该未来适配的样本效率和最终得分是衡量可塑性的代理指标。

3. 关键结果

经验发现

顺序后训练是一个轨迹： 坍缩并非均匀分布；它集中在特定的层（通常是中间和后端的 Transformer 块）并随阶段而变化。例如，数学微调会降低特定频带的秩，而安全微调则会使后期响应的表示更加集中。
依赖于目标的坍缩特征：
- 安全/拒绝微调： 产生强烈的响应模板方向和更尖锐的 Logits。
- 长 CoT 微调： 创建了一个影响后期生成标记的推理格式方向。
- 偏好优化 (DPO)： 通过增加相对偏好边际来放大各向异性。
- 数学/代码： 较为微妙；它们在专业化某些层的同时，在其他地方保留了领域可分性。
坍缩预测未来可塑性： 表示健康度（有效秩、各向异性）与未来学习性能之间存在直接的负相关关系。随着序列过程中有效秩的降低和各向异性的增加，即使即时目标任务性能有所提升，适配新任务的样本效率和最终得分也会下降。
路径依赖性： 阶段的顺序至关重要。例如，先进行安全微调再进行通用指令微调，与先进行通用指令微调再进行安全微调所产生的坍缩指标是不同的。

缓解策略

论文测试了轻量级干预措施，旨在在不牺牲目标任务增益的前提下保留未来的可学习性：

混合领域重放（Mixed-Domain Replay）： 在专业化阶段中混入一小部分（5%–20%）通用领域数据。
特征刷新（Feature Refresh）： 在高坍缩阶段之后插入简短的通用指令阶段。
表示多样性正则化（Representation Diversity Regularization）： 惩罚批次级的隐藏状态对齐（ $L_{cos}$ ）。
LoRA 更新去相关（LoRA Update Decorrelation）： 惩罚当前与先前 LoRA 更新基底之间的重叠（ $L_{decorr}$ ）。

结果表明，这些方法可以改善帕累托前沿（Pareto frontier），允许在维持目标性能的同时实现更好的未来适配，尽管它们无法完全消除坍缩。

4. 贡献

本文做出了三个主要贡献：

层级化测量协议： 一套专门用于检测顺序后训练中表示坍缩的诊断工具（涵盖谱度、几何、标记级、功能性和更新空间）。
受控顺序基准测试： 一个标准化的实验矩阵，涵盖了通用指令、数学、代码、安全、CoT 和偏好数据，并具有匹配的标记预算和固定的探测语料库。
预测性验证： 证明了坍缩指标（在未来适配前测得）可以预测学习新任务的难度，并且保持多样性的干预措施可以缓解这种可塑性的丧失。

5. 意义与主张

本文主张，表示坍缩不仅是一个几何上的奇特现象，更是衡量未来可学习性的实用诊断工具。作者认为，目前关注行为基准测试忽略了一个关键的失效模式：模型可以在特定任务上表现出行为胜任力，但在几何上却变得脆弱，难以进行未来的适配。

其意义在于将对齐（alignment）和专业化重新定义为持续学习问题。提出的测量套件使从业者能够区分有益的专业化与脆弱的收窄。本文得出结论，虽然后训练不应不计代价地最大化多样性（因为适度的专业化是必要的），但保留足够的表示自由度对于维持模型应对未来未知需求的能力至关重要。

作者注明的局限性：

实验是在 1B–7B 模型上进行的；前沿规模的模型行为可能有所不同。
使用 DPO 作为生产环境中 RLHF/RLAIF 的代理。
测量结果对探测语料库的选择和标记跨度较为敏感，尽管研究通过多种探测类型对此进行了控制。
因果关系的主张是基于干预证据（缓解措施）而非纯粹的理论推导。