💻 computer science

Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective

本文提出了一种基于交互的视角，以解释监督微调（SFT）在大语言模型上效果不一致的原因，揭示出 SFT 最初会去除类噪声交互，但若在短暂的去噪阶段之后继续训练，则会导致过拟合交互。

原作者： Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比对这篇论文的解释。

核心问题：为什么“练习”有时会让 AI 变得更差？

想象你有一位天才学生（大型语言模型，即 LLM），他已经读完了人类知识库中的全部藏书。他很聪明，但有时说话令人困惑，或者使用奇怪的俚语。

为了纠正这一点，老师们会给他监督微调（SFT）。这就像给他一本特定的“正确答案”练习册，并告诉他：“练习这些例子，这样你才能像一个乐于助人的助手那样说话。”

矛盾之处：

对于普通学生： 这种练习效果神奇。他们立刻就能变得更好。
对于天才学生（LLM）： 有时，这种练习效果极佳。但其他时候，它会让表现变差。他们开始过度完美地死记硬背练习册，忘记了如何与真人交流，甚至开始胡编乱造事实。

论文的目标：
研究人员想要弄清楚为什么会发生这种情况。他们不仅关注最终的考试成绩，还深入观察学生的大脑，看看在练习过程中究竟发生了什么变化。

工具：将“词语交互”视为乐高积木

为了窥探 AI 的大脑，研究人员使用了一种名为交互分析的特殊工具。

不要把 AI 的大脑想象成一个黑盒，而要把它想象成一套巨大的乐高说明书。

简单的指令： “如果我看到‘火’这个词，我大概应该说‘热’。”（这是一种简单、可靠的交互。）
复杂、混乱的指令： “如果我看到‘火’并且‘红色’并且‘天空’并且‘云’并且‘也许’并且‘昨天’……"（这是一种复杂、混乱的交互。）

研究人员发现，AI 的输出实际上就是这些乐高指令的总和。有些指令是有益的（可靠的），而有些只是噪音（令人困惑或相互抵消）。

发现：“去噪”与“过拟合”的舞蹈

研究人员逐步观察了 AI 的练习过程，发现该过程分为两个截然不同的阶段，就像是一次短暂的清洁，随后是一段漫长的搞乱过程。

第一阶段：“春季大扫除”（好的一面）

持续时间： 极短（仅训练的前几百步）。

想象 AI 的大脑是一个凌乱的房间，里面堆满了无法拼合的旧玩具。

发生了什么： 一旦 AI 开始练习，它立即扔掉了那些坏掉的玩具。
科学原理： AI 迅速移除了“类噪音交互”。这些是复杂的、令人困惑的指令，其中正面和负面的效果相互抵消（例如，一条规则说“向左走”，另一条说“向右走”）。
结果： 房间变得干净多了。AI 只保留了简单、可靠的指令（如“火=热”）。这就是为什么 AI 在刚开始时性能往往会有快速提升的原因。

第二阶段：“过度装饰”（坏的一面）

持续时间： 训练剩余的大部分时间（漫长的过程）。

一旦房间变干净，AI 继续练习。但它不是在学习新的、有用的规则，而是开始过度装饰。

发生了什么： AI 开始发明新的、过于复杂的规则，这些规则只适用于特定的练习册，而不适用于现实世界。
科学原理： AI 开始学习“过拟合交互”。这些是高复杂度的模式，看起来似乎有道理，但实际上只是在死记硬背训练数据中的具体例子。它们很脆弱，无法泛化。
结果： AI 开始“忘记”如何成为一个通用的助手，变成了一个只知道特定练习册的机器人。这就是为什么如果训练时间过长，性能可能会下降或变得不一致的原因。

关键要点

“甜蜜点”非常微小： 论文指出，AI 真正学到有用东西（通过去除噪音）的唯一时刻，就是那个最初、短暂的瞬间。
更多数据并不总是更好： 如果在那个短暂的清洁阶段之后继续训练 AI，你并没有让它变得更聪明；你只是在教它过于完美地死记硬背训练数据（过拟合）。
“骨干”早已存在： AI 用来回答问题的那些最可靠的规则，在开始练习之前就已经存在于它内部了。微调主要只是帮助 AI 停止使用那些令人困惑、坏掉的规则。它并没有构建一个新的大脑；它只是清理了旧的大脑。

实用建议（早停法）

论文提出了一种训练 AI 的新方法：尽早停止。

与其在海量数据集上训练 AI 数天，不如监控这些“乐高指令”。一旦 AI 停止扔掉“坏玩具”（噪音）并开始拾取新的、奇怪的装饰品（过拟合），你就应该按下停止按钮。

简而言之： 论文认为，对于大型语言模型来说，“少即是多”。少量的练习可以清理混乱，但过多的练习只会制造出新的、更复杂的混乱。

技术摘要：从交互视角调和关于大语言模型中监督微调有效性的矛盾观点

问题陈述

监督微调（SFT）是将预训练深度神经网络（DNN）适配到特定领域任务的标准策略。然而，其在大型语言模型（LLMs）中的有效性仍存在相互矛盾的观点。一些研究表明，SFT 对于提升指令遵循能力和可用性至关重要；而另一些研究则认为，SFT 会导致过拟合、限制泛化能力，甚至可能降低性能。本文旨在解决以下科学问题：哪些内部因素导致了 SFT 在不同大语言模型中有效性的不一致？ 具体而言，作者旨在量化 SFT 期间学到的推理模式，以解释为何 SFT 在某些情况下能提升性能，而在其他情况下却引发过拟合。

方法论

本文采用基于交互的解释框架来分析大语言模型的内部推理模式。该方法将输入变量（词/标记）之间的交互视为基本的推理模式（短语模式），这些模式忠实地代表了模型的逻辑。

核心概念

交互定义：作者使用由与 - 或交互组成的逻辑模型 $\phi(x)$ 来建模大语言模型的输出分数 $v(x)$ 。
- 与交互（AND interactions）：代表一种短语模式，即必须同时存在一组输入变量才能触发某种效应。
- 或交互（OR interactions）：代表一种模式，即集合中任意一个变量的存在即可触发某种效应。
- 该逻辑模型被证明是对输入所有 $2^n$ 种掩码状态下大语言模型输出的忠实近似。
交互分类：在 SFT 过程中，交互被追踪并根据其从预训练状态（ $t=0$ ）到第 $t$ 步的演变分为三类：
- 被移除的交互：在 SFT 之前被编码，但在训练过程中被消除。
- 被保留的交互：在 SFT 之前被编码，并在整个训练过程中得以保留。
- 新涌现的交互：在 SFT 过程中习得。
质量指标：为了评估这些交互的可靠性，作者利用以下指标：
- 阶数/复杂度：涉及的变量数量。低阶交互通常更可靠。
- 泛化性（ $\gamma$ ）：交互是否能在不同的大语言模型架构（目标模型与基线模型）之间被一致地提取。
- 未抵消效应比率（ $\rho$ ）：净交互效应与总绝对效应之比。较低的 $\rho$ 表明正负效应之间存在强烈的相互抵消，暗示着噪声。
实验设置：本研究使用 LoRA 在多个大语言模型（如 Llama-2/3、Qwen2.5、Gemma-3）上针对多样化数据集（GoEmotions、Unilaw-R1-Data、Databricks-Dolly-15k）进行 SFT。研究追踪了交互分布在训练步骤中的演变。

主要发现

分析揭示了 SFT 期间交互演变的两个明显阶段：

1. 短暂的去噪阶段

主要机制：在 SFT 的极早期阶段（例如，前 1,000 个训练步内），模型主要移除类噪声的交互。
被移除交互的特征：
- 它们主要是高阶（复杂）的。
- 它们表现出强烈的相互抵消（正负效应相互抵消， $\rho \approx 0$ ）。
- 它们在不同模型架构间表现出较差的泛化性。
早期涌现交互的特征：此阶段会出现少量新涌现的交互。这些交互倾向于低阶、具有泛化性，且拥有较高的未抵消效应，代表了可靠的模式。

2. 漫长的过拟合阶段

主要机制：一旦初始去噪阶段结束，持续的微调会导致过拟合交互的涌现。
后期涌现交互的特征：
- 大量新交互涌现，但它们主要是高阶的。
- 它们表现出低泛化性（模型特异性）和强烈的相互抵消，行为类似于被移除的噪声。
被保留的交互：被保留的交互集合在早期即趋于稳定。这些交互主要是低阶的、高度泛化的，并持续对预测做出贡献（高 $\rho$ ）。它们构成了模型推理的“骨干”。

主要贡献

基于交互的诊断：本文引入了交互演变作为量化大语言模型中 SFT 内部动态的忠实指标，超越了简单的损失曲线。
调和矛盾观点：研究结果解释了 SFT 有效性不一致的原因：
- 益处：SFT 之所以有效，是因为它能迅速移除预训练模型中存在的不可靠、类噪声的交互。
- 害处：当训练超过短暂的去噪窗口后，SFT 变得有害，因为它引入了大量过拟合的、不可泛化的噪声模式。
识别“骨干”：研究表明，一小部分被保留的交互（以及少量早期涌现的交互）构成了大语言模型核心可靠的推理逻辑，而被移除的交互和后期涌现的交互贡献甚微或充当噪声。

意义与主张

本文主张，其发现为端到端 SFT 中的早停提供了原则性标准。

实践指导：SFT 的“有效区间”出奇地短。收集海量 SFT 数据或进行长时间训练可能带来的额外价值有限，且存在因引入过拟合模式而降低性能的风险。
监控工具：交互指标（特别是高阶、相互抵消交互的涌现）可作为诊断信号，用于监控表征质量并确定微调的最佳停止点。
理论洞察：这项工作挑战了“更大规模的数据集和更长的微调计划本质上对大语言模型有益”的传统观念，转而表明 SFT 的主要效用在于快速去噪，而非获取新的、可靠的推理能力。