💬 NLP

Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning

本文提出了一种温度缩放在策略自我蒸馏（Temperature-Scaled On-Policy Self-Distillation, TS-OPSD）方法，这是一种轻量化方法，通过将探索性温度效应内化至模型参数中，旨在解决大语言模型在熵崩溃后的熵恢复与推理能力提升问题，且无需外部教师或额外的推理成本。

原作者： Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文 "Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning" 进行的解释。

问题所在：过于“自信”的学生

想象你正在训练一名天才学生（AI 模型）来解决复杂的数学问题。你使用一种叫做**强化学习（Reinforcement Learning）**的方法，如果学生答对了，你会给他一颗“金星”；如果答错了，则会给他一个“大拇指朝下”。

起初，这个学生表现得很出色。他们尝试各种不同的方法来解决问题，并从错误中学习。但过了一段时间，奇怪的事情发生了：这个学生变得过于自信了。他们不再尝试新的方法，而是只重复那个他们认为完美的解法。

在论文中，这被称为熵崩溃（Entropy Collapse）。

类比： 把学生的思维想象成一个图书馆。起初，他们在许多不同的书架间穿梭（探索多种想法）。但随着“训练”的进行，他们停止了浏览书架，只是盯着那本他们认为就是答案的单一书籍。他们停止了探索。
后果： 因为他们停止尝试新事物，所以也停止了学习。如果遇到难题，由于他们已经忘记了如何探索，就无法找到一条新的出路。他们遇到了天花板，无法再进一步提升。

旧有的解决方法：“伪”探索

科学家们曾试图修复这个问题，通过告诉学生：“嘿，试着表现得更随机一点！”

方法 1： 他们在评分系统中加入了一条规则，强制要求学生不要那么自信。
方法 2： 他们告诉学生：“当你选择一个答案时，掷一次硬币，让你的选择变得稍微随机一些。”

缺陷： 这些做法就像是在学生的眼镜上加了一个“随机性滤镜”。学生看起来像是在探索，但从深层来看，他们的脑子（模型的内部权重）依然是僵化且固定的。这只是一个临时的技巧，而不是对他们思考方式的真正改变。

新的解决方案：“策略重热”（TS-OPSD）

作者提出了一种名为 TS-OPSD 的新方法。他们不仅仅是告诉学生要表现得随机，而是通过重新构建学生的思维结构，让其大脑自然地重新变得开放。

以下是它的工作步骤：

“自我教师”技巧：
想象学生正陷入僵化的思维模式中。研究人员要求学生观察自己的想法，但要通过一个“模糊的镜头”（高温度）来看待它们。
- 类比： 如果学生认为“答案肯定是 42”，那么模糊的镜头会让其认为：“嗯，42 很可能，但 41 或 43 也同样有可能。”
- 至关重要的一点是，学生不需要新的老师。他们是通过这种模糊的视角观察自己的想法，从而实现自我教学。
“重热”过程：
随后，学生尝试将自己正常的、僵化的思维，去匹配这个“模糊的”、心态开放的自我版本。
- 类比： 这就像是在重新加热一块僵硬的粘土。你不能只是告诉粘土要变软，你必须实际通过加热让它重新变得具有可塑性。“柔软度”（探索性）现在被直接“烘焙”进了粘土本身，而不仅仅是一个临时的设置。
结果：
一旦学生的脑子被“重热”之后，他们就回到训练中。因为他们的脑子现在天然地更具灵活性，他们可以再次探索新的路径，而无需依赖外部规则或随机数生成器。

为什么这更好

论文表明，这种“重热”比旧的技巧效果更好，原因有二：

它是永久性的： 这种灵活性现在成为了模型 DNA（参数）的一部分，而不是一个可以随时开启或关闭的设置。
它不会遗忘： 当他们“重热”模型时，并不会丢失已经学到的数学技能。
- 类比： 想象一位已经失去创造力的厨师。旧方法只是告诉他们“多猜几次”。而新方法则是温柔地唤醒他们的创造力，同时不会让他们忘记如何切洋葱或烧开水。他们依然是一位优秀的厨师，但现在可以再次发明新的食谱了。

“熵跳跃”的惊喜

研究人员注意到在重热过程中发生了一些酷炫的事情。

起初，模型变得稍微灵活了一些。
然后，突然出现了一个**“跳跃”**。
类比： 这就像一座挡水的大坝。水压缓慢积累（模型变得稍微开放），然后突然间，水流冲破了裂缝。模型突然开始探索以前完全忽略过的全新路径。
好消息是： 尽管他们开始探索疯狂的新路径，但他们并不会犯“坏”的错误。他们只是找到了之前错过的、更好的解决方案。

总结

这篇论文介绍了一种修复那些变得“固执”且过于自信的 AI 模型的方法。研究人员并没有强迫它们变得随机，而是利用一种自我教学的技巧，将灵活性直接烘焙进模型的脑中。这使得 AI 能够在通常会放弃学习很久之后，依然能够持续学习并解决困难的数学问题。

核心要点： 不要只是告诉僵化的 AI 要“表现得随机”。要教它如何重新变得灵活，这样它才能依靠自身实现持续学习。

技术摘要：温度缩放式在策略自我蒸馏 (TS-OPSD)

1. 问题陈述

基于可验证奖励的强化学习 (RLVR) 显著增强了大语言模型 (LLM) 的推理能力，特别是在数学和逻辑领域。然而，这一进展面临着一个被称为熵崩溃 (entropy collapse) 的关键瓶（瓶颈）。随着策略优化的进行，模型的输出分布变得越来越集中（尖锐），导致：

生成多样性降低： 模型生成重复的轨迹，限制了对解空间的探索。
学习信号减弱： 有效的梯度信息集中在关键推理分支点处极小部分的高熵 token 上。一旦策略发生崩溃，这些信号就会消失，导致进一步的改进停滞。

现有的补救措施试图通过以下方式缓解这一问题：

修改 RL 目标函数： 使用熵正则化或自适应剪切。这些方法引入了外部约束，可能会与奖励最大化目标产生权衡。
调整采样温度： 在收集 Rollout 时增加温度。虽然这改变了行为策略 (behavior policy)，但它并未改变模型底层的参数化分布，从而在行为策略与优化后的策略之间造成了不匹配。

这些方法仍然是外部于模型参数的。本文认为，温度的探索效应应当被直接内化到模型权重中，从而为持续的 RL 提供更好的初始化。

2. 方法论：TS-OPSD

作者提出了温度缩向式在策略自我蒸馏 (TS-OPSD)，这是一种轻量级的“策略重热 (policy reheating)”方法，旨在无需外部教师、特权数据或额外推理成本的情况下恢复熵。

核心机制

TS-ODPS 作为 RL 阶段之间的干预手段运行。从熵崩溃的检查点 ( $\theta_{RL-collapse}$ ) 开始，该方法构建一个自我教师 (self-teacher)，并将更平滑的分布蒸馏回学生模型 ( $\theta_{reheat}$ )。

自我教师构建： 给定学生当前的 logits $z_\theta$ ，通过对 logits 应用高温度 Softmax 变换 ( $T > 1$ ) 来生成自我教师分布 $p_T$ 。至关重要的是，教师 logits 是停止梯度的 (stop-gradient)，且无需使用外部模型。
$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$
在策略蒸馏： 学生模型通过使用从自身 $q_\theta$ 采样的在策略 (on-policy) rollouts，训练以最小化其当前分布 $q_\theta$ 与高温度自我教师 $p_T$ 之间的 KL 散度。
$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(前向 KL)}$
$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(反向 KL)}$

结构特性

秩保持 (Rank Preservation)： 由于 $p_T$ 是 $q_\theta$ 的单调幂变换（即 $p_T(v) \propto q_\theta(v)^{1/T}$ ），因此 token 的排名得以保留。教师和学生共享相同的局部支撑集 (local support) 和语义偏好顺序；差异仅在于分布的尖锐程度。
内化 (Internalization)： 与标准的解码温度调整不同，TS-OPSD 更新模型权重，以永久编码更平滑、更高熵的行为。这消除了训练与推理之间的不匹配。
梯度动力学：
- 前向 KL (FKL)： 梯度形式为 $q_\theta(v) - p_T(v)$ 。这执行了“结构化平滑”，根据模型自身的先验判断重新加权被抑制的备选选项。
- 反向 KL (RKL)： 在自我温度耦合下，最小化 RKL 等价于在局部最大化学生的熵，其中温度仅作为梯度幅度的标量乘数。

3. 核心贡献

策略重热框架： 引入了 TS-OPSD，这是一种将温度的探索效应内化到模型参数中的方法，作为一种后置的崩溃干预手段。
理论洞察： 证明了在自我温度耦合下，教师-学生之间的不匹配被最小化（秩保持），且 RKL 退化为直接的熵最大化更新。
实证验证： 表明重热一个熵崩溃的检查点，相比于标准的持续训练或 Rollout 层面的温度调整，能为持续的 RL 提供更优的初始化。
动力学分析： 表征了“熵跳跃 (entropy jump)”现象，即熵的恢复分为两个阶段（缓慢平滑化随后是剧烈的非连续跳跃），并分析了这些参数更新的可逆性。

4. 实验结果

实验在 Qwen3-4B-Base 和 Qwen3-8B-Base 上进行，使用 DAPO-Math-17K 数据集，并在 MATH-500、AIME24/25/26 和 OlymMATH 上进行评估。

性能提升： TS-OPSD（特别是使用前向 KL，即 PR-FKL）一致优于标准 DAPO 基线和 Rollout 重热 (DAPO w/ RR)。
- 在 Qwen3-8B-Base 上，PR-FKL 实现了 54.74 的平均 pass@8，而标准 DAPO 为 51.60，Rollout 重热为 52.66。
- 在更难的基准测试（AIME, OlymMATH）上，增益最为显著。
熵恢复： 重热后，模型从更高的熵初始化状态恢复 RL，并实现了比标准 DAPO 更高的最终奖励，而标准 DAPO 的熵仍处于受抑状态。
与 Rollout 重热的比较： 虽然在 Rollout 过程中增加采样温度 (RR) 带来了不可忽视的收益，但策略重热 (PR) 产生了更优的结果。这表明其收益源于更平滑的策略分布本身作为一个更好的优化基础，而非仅仅是更具噪声的采样。
能力保持： 分析显示 TS-OPSD 执行的是支持集保持的概率再分配 (support-preserving probability redistribution)：
- 中间表示： Base 模型与重热后模型层之间的线性 CKA 分数接近 1.0，表明内部表示基本未变。
- 推理能力： 在 MATH-500 和 GPQA 上的任务准确率在整个蒸馏过程中保持稳定，证实了熵恢复并未降低推理技能。
- 候选集： Top-10 token 的重叠度和概率质量保留率接近 1.0，表明模型的语义偏好得到了保留，仅是边缘（margin）被软化了。

5. 意义与主张

论文声称，当策略变得过于确定时，熵的恢复可以与 RL 目标函数解耦，并作为一种模块化的、阶段间的操作插入其中。

模块化干预： TS-OPSD 提供了一种简单、轻量级的机制，用于在不改变核心 RL 算法的情况下，将推理导向型 RL 从熵崩溃瓶颈中解脱出来。
在数据稀缺环境下的稳定性： 在减少数据量（2048 个 prompt）的实验中，由于严重的熵崩溃，标准 RL 训练变得不稳定（出现梯度尖峰、奖励下降）。TS-OPSD 起到了稳定机制的作用，允许进行更长、更稳定的训练。
计算效率： 重热干预为总 RL 训练时间增加了约 15–17%。按 Batch Size 归一化后，单样本成本与标准 RL 步骤相当甚至更低。
局限性： 作者指出，实验受限于特定的模型规模（4B/8B），且重热的停止准则（熵阈值）目前是经验性的而非原则性的。他们建议未来的工作可以探索交替进行 OPSD 和 RL 的级联调度方案。

总之，TS-OPSD 证明了通过自我蒸馏将温度“内化”，可以有效恢复崩溃策略的探索能力，从而使持续的 RL 能够达到更高的性能上限，同时保留训练期间获得的推理结构。