🤖 machine learning

Weight-Space Geometry of Offline Reasoning Training

本文分析了六种在 Qwen3-4B 模型上进行的离线推理训练方法的权重空间几何结构，揭示了虽然 SFT、RFT 和 RIFT 收敛至近乎共线的更新且具有相似的准确率，但 DPO 采用了一个截然不同的、近乎正交的子空间，并在 GSM8K 和 AIME26 基准测试中取得了显著优越的性能，而 Offline GRPO 则在保持在 SFT 损失盆地内的同时引入了一个实质性的正交分量。

原作者： Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个才华横溢、巨大的数学导师（“老师”），他能够解决复杂的难题。你想教一个更小、更便宜的学生（“学生”）如何像那位导师一样思考。你把老师的逐步解题过程（称为“轨迹/rollouts”）交给学生，并要求学生从中学习。

这篇论文提出了一个简单而深刻的问题：我们告诉学生如何学习的方式，真的重要吗？

研究人员使用了许多不同的“教学公式”（损失函数）。有人说：“只看正确答案。”有人说：“看所有的答案，但给好的答案额外的加分。”还有人说：“将好的答案与坏的答案进行比较。”

作者想知道：这些不同的公式会让学生的脑回路（计算机权重）发生相同的变化，还是会创造出完全不同类型的思考者？

以下是他们研究结果的拆解，使用了简单的类比：

1. “复印机”组 (SFT, RFT, RIFT)

类比： 想象三个试图模仿画作的学生。

学生 A 复制每一条线。
学生 B 只复制完美的线条。
学生 C 复制每一条线，但把完美的线条画得稍微深一点。

发现： 尽管他们使用的规则略有不同，但他们最终画出的图像几乎完全一样。

从数学上看，他们大脑的变化极其相似（97% 相似）。
他们在数学测试上的得分也差不多（大约 87–88%）。
结论： 如果你只是想让学生模仿老师的推理过程，那么使用这三种特定的公式中的任何一种其实并无大碍。它们实际上是在做同样的事情。

2. “自我调节者” (DFT)

类比： 这个学生使用的是和学生 A 相同的纸张，但他们有一个奇怪的习惯：当他们已经很有信心时，会自动把笔触变浅；当不确定时，则把笔触变深。

发现： 这个微小的调整显著改变了绘画的方向。这个学生的大脑变化方式与“复印机”组截然不同，尽管他们并没有使用任何“奖励”分数来引导。这是一个独特的路径，但并不一定能带来更高的分数。

3. “侧步走” (Offline GRPO)

类比： 这个学生看着老师的工作，但决定采取一个大的侧步。他们仍然留在同一个大致的区域（“损失盆地/loss basin”），但他们走的是一条不同的路径。

发现： 这种方法将学生的大脑推向了一个与“复印机”组有 67% 差异的方向。在脑部的后期层级（“最终思考”）中，这种差异增长到了近 86%。

然而，他们的测试得分仍然相似（大约 87%）。
结论： 这种方法探索了一个新的方向，但它似乎并没有在准确性方面解锁比“复印机”组更高的“超能力”。

4. “异类” (DPO)

类比： 当其他所有人都拿着同一张纸在同一个房间里画画时，这个学生是在完全不同的画布上，在不同的房间里，用完全不同的风格在画画。

发现：

几何结构： 这个学生大脑的变化与其他人几乎是**垂直（正交）**的。他们在做一些本质上不同的事情。
障碍： 如果你尝试将这个学生的大脑与“复印机”的大脑进行混合（线性插值），结果会崩溃。他们处于不同的“宇宙”中，拥有不同的解决方案。
得分： 尽管如此不同，这个学生获得了最高的得分（数学 93.5%，难题 30%）。
代价： 这个学生使用了 10 倍更小的学习率（他们采取了更小、更谨慎的步伐）。作者警告说，我们不能 100% 确定高分是因为公式本身，还是仅仅因为他们采取了更小、更精确的步伐。

5. “实时 vs 录制”的惊喜

论文还研究了学生是从实时练习中学习，还是从录制的练习中学习（Offline）。

离线 (Offline)： 当从一组固定的录制老师答案中学习时，“侧步走”的学生（Offline GRPO）与“复印机”保持在某种程度上的接近。
在线 (Online)： 当学生生成自己的练习题时（Online GRPO），他们变得与“复印机”组完全正交（完全不同）。
结论： “离线”方法之所以看起来与“复印机”相似，部分原因是它们都在盯着完全相同的固定老师答案。如果让他们生成自己的练习，他们会产生巨大的分歧。

总结

大多数方法 (SFT, RFT, RIFT) 只是在以不同的方式表达“模仿老师”。它们导致了相似的大脑结构和相似的分数。
DPO 是异类。它构建了一个完全不同的脑结构。它获得了最高的得分，但它是通过一种非常特定、谨慎的训练风格（小学习率）实现的，这使得它与其他方法难以直接比较。
“离线”性质 的训练数据是导致许多这些方法看起来如此相似的主要原因。

这篇论文本质上绘制了这些学习方法的“地理图”，展示了哪些方法是邻居，而哪些方法则生活在不同的星球上。

技术摘要：离线推理训练的权重空间几何学

问题陈述

离线强化学习（RL）损失函数——如 RFT、RIFT、DFT、Offline GRPO 和 DPO——正越来越多地被用于将推理能力从大型教师模型蒸馏到小型学生模型中。虽然这些方法在下游基准测试准确率方面经常被进行比较，但它们的机制差异性仍是未知的。具体而言，目前尚不清楚不同的损失函数形式是否产生了定性的不同权重更新，或者它们仅仅是收敛到了相似的权重空间方向。这种区别对于选择损失函数的从业者以及解释“离线 RL”究竟代表单一机制还是多样化方法家族的研究者来说至关重要。

研究方法

作者对六种离线推理训练方法进行了受控的权重空间比较：SFT（监督微调）、RFT（奖励微调）、DFT（降权微调）、RIFT（奖励加权上下文微调）、Offline GRPO 和 DPO（直接偏好优化）。

实验设置：

基础模型： Qwen3-4B-Instruct。
数据： 使用由教师模型（DeepSeek-V4-Flash）在 DeepScaleR 提示词上生成的相同数学生成轨迹（约 40k 个经过验证的数学问题）。除了 DPO 使用了约 1.8k 个源自相同轨迹的配对（chosen, rejected）样本外，所有方法均使用相同的约 75k 行数据。
架构： 仅对注意力投影（q, k, v, o）应用 LoRA，秩（rank）为 32， $\alpha=64$ ，覆盖 144 个模块。
训练协议： 除学习率外，所有方法使用相同的超参数（批大小 32，余弦调度，5% 热身），所有方法使用的峰值学习率（LR）均为 $5 \times 10^{-6}$ ，唯独 DPO 使用了 $5 \times 10^{-7}$ （根据标准惯例，比其他方法小 10 倍）。训练运行 1,500 步，结果在第 1,000 步时报告。
分析指标： 本研究使用以下指标分析生成的 LoRA 权重增量 ( $\Delta W$ $Δ W$ )：
1. 余弦相似度（全局及逐层）。
2. 主角度子空间分析（前 10 个奇异向量的 SVD）。
3. 线性模式连通性（插值增量并测量 GSM8K 上的交叉熵）。
4. 用于隐藏状态的中心化核对齐（CKA）。

核心贡献与结果

1. 奖励加权 MLE 方法的收敛性

作者发现 SFT、RFT 和 RIFT 收敛于近乎共线的权重增量。

几何特征： 这些方法之间的余弦相似度 $\ge 0.97$ ，前 1 个主角度约为 $7^\circ$ （中位数）。
性能： 它们实现的 GSM8K 准确率在统计上是不可区分的（87–88%，通过 McNemar 检验得出 $p \ge 0.15$ ）。
启示： 过滤负样本（RFT）或对其进行奖励加权（RIFT）并不会改变相对于普通 SFT 的更新方向；它主要调整的是步长（Frobenius 范数）。

2. DFT 的分歧

尽管 DFT 只是对 SFT 的极小修改（通过单个乘法因子对置信度高的 token 进行降权），但它产生的更新比任何显式奖励加权的方法都更具独特性。

几何特征： DFT 与 SFT 的余弦相似度约为 0.57，比奖励加权方法更具分歧。
性能： 准确率与 SFT/RFT/RIFT 相当，表明尽管存在方向偏移，但它们共享同一个损失盆地（loss basin）。

3. Offline GRPO：同一盆地内的正交分量

Offline GRPO 引入了一个相对于 SFT 方向实质性的正交分量，但仍处于同一个损失盆地内。

几何特征： 它增加了一个约 67% 的全局正交分量，在深层上升至约 86%。其与 SFT 簇的余弦相似度约为 0.74。
连通性： 在 Offline GRPO 与 SFT/RIFT 之间的线性插值未显示出障碍，表明它们共享同一个优化盆地。
性能： 准确率与 SFT/RFT/RIFT 相当（87.3%）。

4. DPO：独特的子空间与准确率峰值

DPO 占据了一个近乎正交的子空间，并在本研究的协议中实现了最高的准确率。

几何特征： DPO 与所有其他方法几乎正交（与 SFT/RFT/RIFT 的余弦相似度 $\le 0.065$ ）。它在一个更高的有效秩子空间中运行（秩 $\sim 24.5$ ，而其他方法为 $\sim 16$ ），但 Frobenius 范数要小得多。
连通性： DPO 与其他方法之间的线性插值显示出明显的障碍（损失函数呈非单调增加），表明它们属于不同的解盆地（solution basins）。
表示相似性： CKA 在深层塌陷至 $\sim 0.46$ ，证实了其独特的内部表示。
性能： DPO 在 GSM8K 上达到 93.5%，在 AIME26 上达到 30.0%，显著优于所有其他方法（在 GSM8K 上 $p < 10^{-9}$ ）。
注意事项： 作者指出，DPO 的卓越性能与其 10 倍小的学习率以及约 40 倍少的训练行数交织在一起。在没有进行学习率匹配比较的情况下，不能将准确率差距完全归因于损失函数本身。

5. 在线采样（On-Policy Sampling）的作用

关于 Offline GRPO 与 Online GRPO 比较的一个关键发现是：

Offline GRPO（在固定轨迹上训练）仍与 SFT 部分对齐（正交分量为 0.67）。
Online GRPO（在策略内轨迹上训练）变得几乎完全正交于 SFT（正交分量为 0.998）。
结论： 在 SFT 和 Offline GRPO 之间观察到的方向收敛性，部分是由于在相同的固定轨迹上训练所导致的伪影。使用策略内（on-policy）样本会打破这种收敛性，将更新推向一个完全不同的子空间。

意义与主张

本文认为，“离线推理”的景观并非铁板一块，而是由不同的几何机制组成的：

奖励加权 MLE 簇： SFT、RFT 和 RIFT 在机制上是相似的，区别仅在于步长大小。
中间偏移器： DFT 和 Offline GRPO 会改变方向，但仍处于 SFT 损失盆地内。
正交机制： DPO 和在线方法（如 Online GRPO）运行在近乎正交的子空间中，具有截然不同的表示几何结构。

作者强调，虽然 DPO 实现了最高的准确率，但这一结果受到优化器设置（特别是学习率）的干扰。因此，本文并非声称 DPO 仅因其损失函数而在因果上更优，而是指出在特定的协议下，它占据了一个独特的几何空间，从而产生了更好的结果。该研究强调，“离线 RL”并不代表单一机制；数据的选择（固定 vs. 在线策略）与损失函数共同决定了权重空间的轨迹。

局限性： 本研究受限于单一领域（数学）、单一基础模型检查点以及仅针对注意力机制的 LoRA。由于学习率差异，DPO 的比较被认为是并不完美的，且对比类家族（IPO, KTO, SimPO）的完整扫描被留作未来工作。