💻 computer science

PHF: Privileged Hidden Flow for On-Policy Self-Distillation

该论文提出了特权隐藏流（Privileged Hidden Flow, PHF），这是一种新颖的在策略自蒸馏方法，通过对齐隐藏状态转移的几何轨迹，而非仅仅是对齐输出分布或点对点隐藏状态，从而改进推理模型的训练，并在多种模型规模上实现了持续的性能提升。

原作者： Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教学生如何思考，而不只是给出答案

想象一下，你正在教一名学生（AI 模型）如何解决一道很难的数学题。

在旧的方法中（称为 OPSD），你把题目给学生。学生尝试解决它。然后，你向他们展示“正确”的解答（特权参考/Privileged Reference）。你告诉学生：“看你的答案。它是错的。看老师的答案。它是对的。试着让你下一次的猜测看起来更像老师的猜测。”

这种方法的问题在于，它只检查最终答案。这就像一位老师在批改数学试卷时，只看最后方框里写的数字，而不去检查学生得出这个数字的过程中走了哪些步骤。学生可能只是运气好得到了正确答案，或者他们可能正在使用一种虽然有效但极其怪异、低效的思维过程。

新思路：PHF（特权隐藏流/Privileged Hidden Flow）

PHF 的作者们说：“我们不要只检查最终答案。让我们观察学生的大脑在思考时是如何运动的。”

他们称之为**“隐藏流”（Hidden Flow）**。

类比：徒步者与向导

想象学生是一名试图登上山顶（解决方案）的徒步者。

学生正独自在山上徒步，手里拿着地图（问题）。
老师是一位已经爬过这座山并知道完美路径的专家向导（参考解法）。

旧方法 (OPSD)：
向导一直等到徒步者到达山顶。如果徒步者到了错误的位置，向导会说：“你应该在这里。”徒步者下次会尝试跳到那个位置。但徒步者并不知道如何高效地到达那里；他们只知道目的地。

新方法 (PHF)：
向导观察徒步者行走时的步伐。

方向： 向导看到徒步者迈出的步子角度稍微偏了一点。向导说：“不要只盯着山顶看；注意到我是在向东北方向迈步，而你是在向北迈步。改变你的方向来匹配我的方向。”
路径的形状： 向导观察整个小径。“我走的是之字形路径以避开悬崖。你走的是直线，差点摔倒。即使你大致在向上爬，你的路径形状也是不对的。”

PHF 并不强迫学生在每一时刻都站在与老师完全相同的位置（因为学生的“大脑”结构可能略有不同）。相反，它强迫学生朝着相同的方向移动，并遵循相同的路径形状。

它是如何工作的（“秘诀”）

论文引入了一些特定的技巧，使这一过程在不破坏 AI 的前提下顺利进行：

匹配“步态”，而非“位置”：
通常，如果你试图模仿老师的大脑，你会试图让每一个单一的想法（隐藏状态）都完全匹配。但学生的大脑会随着学习而变化，所以“精确匹配”的目标一直在移动。这就像是在移动的同时试图击中一个移动的目标。
- PHF 的解决方法： PHF 不匹配位置，而是匹配运动（转换）。它会问：“你迈出的步子方向和我一致吗？”这更加稳定。这就像是说，“沿着我走路的方向走，”而不是“站在我站立的地方。”
“几何”检查：
PHF 还会检查路径的形状。如果老师的路径是先向左弯再向右弯，那么学生的路径也应该如此。即便学生不在山的同一部分，其思维过程的形状也应该看起来是一致的。
审视整个旅程：
PHF 不仅仅检查 AI 大脑的一个层级（比如只检查数学题的第一步），它会检查大脑的每一层。它确保学生从第一个念头到最后一个念头都在正确地思考。

结果：它有效吗？

研究人员在三种不同规模的 AI 模型（小型、中型和大型）上测试了这个问题，使用的是高难度的数学竞赛题（如 AIME 和 HMMT）。

设置： 他们保持其他所有条件完全相同。同样的训练时间、同样的题目、同样的计算能力。唯一的区别是加入了这个新的“隐藏流”规则。
结果： 在每一种情况下，使用 PHF 训练的模型都比使用旧方法训练的模型获得了更高的分数。
- 小型模型提高了约 2.2 分。
- 中型模型提高了约 1.5 分。
- 大型模型提高了约 1.7 分。

为什么这很重要（不夸大其词）

这篇论文提出了一个非常具体且谦逊的观点：我们找到了一种更有效地利用“答案解析”进行训练的方法。

它不需要一个新的、超级聪明的老师 AI。
它不需要 AI 尝试题目 100 次来寻找最佳答案。
它不会改变 AI 在现实世界中的使用方式（最终的 AI 在测试时仍然只是看到问题并给出答案；它不需要答案解析）。

它只是教会了 AI 模仿老师的思维过程（隐藏状态的流动），而不仅仅是复制最终结果。这就像是告诉学生：“不要只背诵答案；要学习专家是如何思考的，”并且是以一种在数学上稳定且不会让学生大脑感到困惑的方式来实现。

一句话总结

PHF 是一种新的训练技巧，它通过教 AI 模型沿着与专家老师相同的路径行走，而不是仅仅尝试在结束时站在同一个位置，从而帮助 AI 模型更好地学习数学。

技术摘要：用于在策略自我蒸馏的特权隐藏流 (Privileged Hidden Flow)

问题陈述

在策略自我蒸馏 (On-Policy Self-Distillation, OPSD) 是一种用于训练推理模型的技术，其中学生模型采样自身的生成轨迹（rollouts），并接受来自“特权”教师模型的监督。该教师模型具有相同的架构，但以额外的辅助信息（如经过验证的参考解）为条件；而学生模型仅能看到问题提示词。

现有的 OPSD 目标函数专注于匹配学生与特权教师之间的输出分布（即下一个 token 的概率）。虽然这实现了最终预测的一致性，但它未能对产生这些预测的内部计算进行监督。具体而言，特权上下文会影响中间隐藏状态以及这些状态在网络层中的演进轨迹。当前的方法仅约束最终的输出头，使得“隐藏流”（即模型内部表示随生成过程步步演进的过程）处于不受约束的状态。本文认为，通过蒸馏这种内部过程，可以在不改变基本在策略训练设置的前提下，提升模型的推理性能。

方法论：特权隐藏流 (PHF)

作者提出了特权隐藏流 (Privileged Hidden Flow, PHF)，该方法通过蒸馏隐藏状态的“运动”而非状态本身，对标准 OPSD 进行了增强。

核心机制

PHF 并非强制要求学生的隐藏向量 $h^S_{\ell,t}$ 在同一 token 位置与教师的向量 $h^T_{\ell,t}$ 进行匹配（逐点匹配），而是匹配 token 位置之间的转换（transitions）。

转换定义： 对于一组选定的生成位置 $W = \{w_1, \dots, w_m\}$ ，局部隐藏转换定义为相邻位置之间的差异： $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$ 。
归一化： 这些转换被归一化为单位方向，以便专注于运动的几何特性而非其量级。
损失组件：
- 方向损失 ( $L_{dir}$ )： 使每一层中学生转换的方向与教师转换的方向保持一致。
- 几何损失 ( $L_{geo}$ )： 匹配转换方向的格拉姆矩阵 (Gram matrix)。这捕捉了轨迹的相对结构（例如，哪些步骤是平行的、正交的或相反的），而非绝对坐标。
- 相邻层关系 ( $L_{adj}$ )： 计算相邻层（ $\ell$ 与 $\ell+1$ ）之间转换方向的关系，以确保跨深度的运动变换与教师保持一致。

结构不变性

PHF 的一个关键理论贡献是其不变性属性，这些属性解决了训练过程中隐藏坐标发生偏移的“表示漂移”问题：

偏移不变性 (Offset Invariance)： 如果对学生或教师的整个轨迹添加常数偏移，损失保持不变。
尺度不变性 (Scale Invariance)： 损失对于转换（在归一化之前）的正标量乘法具有不变性。
正交不变性 (Orthogonal Invariance)： 几何项对于学生和教师转换集各自的独立正交变换具有不变性。

这些属性使得 PHF 能够监督推理过程的形状和方向，而无需要求学生和教师占据高维隐藏空间中的完全相同的点。

训练方案

教师来源： 特权教师是基于参考解进行条件的在线学生模型的指数移动平均 (EMA)。
聚合方式： 该方法将转换损失聚合到所有层中，而非仅选择部分层，并将局部转换损失与相邻层关系损失相结合。
目标函数： 最终损失为 $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$ ，其中 $L_{Flow}$ 结合了局部损失与相邻层损失。系数 $\alpha$ 在不同规模下固定为 0.05。
约束： 该方法使用 128 个生成位置的固定窗口来管理内存，且不引入奖励模型、正确性路由或额外的采样过程。

核心贡献

特权转换传输目标： 引入了一种全新的损失函数，通过匹配归一化的 token 到 token 的隐藏转换及其轨迹几何结构，超越了传统的逐点状态匹配。
理论特征化： 证明了该传输损失在轨迹偏移和正交变换方面具有精确的代数不变性，从而区别于标准的隐藏状态匹配。
全层聚合： 证明了通过对所有层进行平均处理，并结合固定的相邻层关系，可以实现一致性的提升，而无需手动选择层。
实证验证： 在三种模型规模（Qwen3-1.7B, 4B, 8B）下，在官方 OPSD 数学推理协议下验证了该固定方案的有效性。

实验结果

作者在 AIME 2024、AIME 2025 和 HMMT 2025 基准测试上评估了 PHF，使用的指标为 Average@12（每个问题的 12 个样本的平均正确率）。

性能增益： 在固定的 100 步训练计划下，PHF 相比于复现的 OPSD 基线提升了 Average@12 指标：
- Qwen3-1.7B： +2.2 点 (40.83 $\to$ 43.06)
- Qwen3-4B： +1.5 点 (61.89 $\to$ 63.39)
- Qwen3-8B： +1.7 点 (64.26 $\to$ 65.94)
一致性： 增益在所有规模以及几乎所有的单个基准测试单元中均为正向。
消融实验：
- 方向 vs. 几何： 仅包含方向或仅包含几何的变体在所有规模下均无法达到完整 PHF 方案的效果，表明两者缺一不可。
- 层选择： 一个“选择特定层”的对照组表现优于手动挑选的小部分子集，这支持了通过全层聚合来处理深度的决策。
- 逐点匹配： 文中指出，逐点隐藏状态匹配是一种具有竞争力的边界控制方法，但在应对表示漂移方面不如基于转换的方法稳健。

意义与主张

本文声称 PHF 通过更具结构化地利用特权信息，为 OPSD 框架提供了适度但显著的改进。

过程级监督： 其主要意义在于证明了特权参考会诱导产生一种特定的“隐藏过程”（即模型如何在其自身生成轨迹中移动），且这种过程是可以被蒸馏的。PHF 捕捉了这一过程，而无需要求学生匹配教师的绝对隐藏坐标。
部署兼容性： 与需要在测试时需要奖励模型或外部验证器的模型不同，PHF 保持了 OPSD 的部署设置：评估的模型是在线学生，且在推理阶段不需要特权信息。
高效性： 该方法仅增加了一个标量损失系数和一个隐藏状态存储窗口，避免了额外的采样过程或复杂的路由机制带来的计算开销。
主张范围： 作者明确指出，其证据仅限于固定的方案、特定的模型家族（Qwen3）以及数学推理任务。他们并未声称 PHF 能提升推理的所有方面（如证明质量或校准度），也未声称其为通用解决方案，而是强调当应用于在策略自我蒸馏时，它能提供一致且正向的整体提升。