🤖 machine learning

How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

本文引入了一种在强化学习与密度估计之间进行插值的 Tsallis 损失连续体，以解决推理模型中的冷启动停滞问题，并提出了两种实用估计器（GARL 和 PAFT），它们通过在低成功概率下的逃逸速度与训练稳定性之间取得平衡，在复杂推理基准测试中显著优于 GRPO 等标准方法。

原作者： Chu-Cheng Lin, Eugene Ie

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chu-Cheng Lin, Eugene Ie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但目前极度困惑的学生去解决复杂的谜题。这位学生有一个笔记本，可以在写下最终答案之前，在上面草拟他们的思路（即“思维链”）。

你分享的这篇论文探讨了一个具体问题：当这位学生从零开始时，你该如何教导他？

问题：“冷启动”停滞

当学生完全是新手时，他们几乎不可能立即给出正确答案。

旧方法（RLVR/GRPO）： 这种方法就像一位严厉的老师，仅根据最终答案给出“做得好！”或“再试一次”的反馈。如果学生连续 99 次答错，他们就得不到任何“做得好”的信号。老师一直在等待奇迹，但学生却陷入了失败的循环。论文将这种现象称为**“冷启动停滞”**。
陷阱： 如果你试图强迫学生从他们仅有的几次答对经历中过于激进地学习，他们可能会开始死记硬背老师的错误，或者死记硬背测试题的具体怪癖（称为“噪声记忆”）。

解决方案：“承诺”旋钮

作者引入了一类基于Tsallis 损失这一数学概念的新教学方法。你可以将其想象为一个标有**“承诺”**（用字母 q 表示）的旋钮。

这个旋钮控制着老师是更关心学生当前的理解水平，还是更倾向于推动学生从任何尝试中学习，哪怕是一次混乱的尝试。

将旋钮调至 0（“安全”模式）：
- 类比： 老师非常谨慎。只有当学生已经在做他们熟悉的事情时，老师才会关注学生。
- 结果： 老师忽略了那些混乱的、错误的尝试。这有助于避免混淆（噪声），但如果学生从零知识开始，老师就永远不会给他们推动力。学生将永远停滞不前。
- 论文观点： 这种方法太慢，无法摆脱“冷启动”。
将旋钮调至 1（“激进”模式）：
- 类比： 老师极其热情。他们对待每一次尝试，哪怕是糟糕透顶的尝试，都视为宝贵的学习机会。他们放大学生偶尔答对时的信号，大声喊道：“看！你做到了！从中学习！”
- 结果： 学生在开始时学习得极快。他们能迅速摆脱“冷启动”。
- 风险： 因为老师太“大声”了，学生可能会开始死记硬背老师自己的错误，或者死记硬背问题的具体措辞，而不是学习实际的逻辑。
将旋钮调至 0.75（“甜蜜点”）：
- 类比： 老师处于平衡状态。他们足够“大声”，能将学生推出起跑线（摆脱冷启动），但又不会大到用噪声淹没信号。
- 论文观点： 这种设置允许模型在初期快速学习，而不会立即撞上困惑的墙壁。

转动旋钮的两种方式：GARL 和 PAFT

由于数学计算过于复杂，无法完美求解，作者构建了两种实用工具（估计器）来转动这个旋钮。你可以将它们视为使用同一旋钮的两种不同教学风格。

GARL（“广播者”）：
- 工作原理： 老师从学生那里生成许多随机的“思路”（轨迹）。即使大多数是错误的，老师也会审视那少数正确的，并根据旋钮设置放大它们的重要性。
- 优点： 速度非常快，非常适合在学生陷入停滞（冷启动）时推动他们起步。
- 缺点： 有时，老师会变得过于兴奋，混入坏例子，导致学生在训练后期感到困惑或崩溃（不稳定）。
PAFT（“过滤器”）：
- 工作原理： 老师生成许多思路，然后进行过滤。他们丢弃那些混乱、错误的思路，只保留那些实际上与正确答案匹配的。然后，他们仅使用这些“好”样本来教导学生，但会根据旋钮减弱强度。
- 优点： 非常稳定。学生从清晰、连贯的示例中学习。它不会崩溃。
- 缺点： 启动较慢，因为它丢弃了太多数据。

实验中发生了什么？

作者在三个困难的推理谜题（FinQA、HotPotQA 和 MuSiQue）上测试了这种方法。

当学生完全迷失时（冷启动）：
- 旧方法（旋钮在 0）完全失败。学生从未学会任何东西。
- 带有高旋钮设置（0.75）的“广播者”（GARL）力挽狂澜。它将学生推出了其他方法失败时的起跑线。
- 有趣的是，旋钮为 0.75 的“广播者”表现优于旋钮为 1 的“激进”模式，证明即使在开始时，少量的噪声过滤也是有益的。
当学生已经在学习时（暖启动）：
- 在某些谜题（FinQA）上，低旋钮设置下的“广播者”（GARL）表现良好。
- 在更难的谜题（HotPotQA、MuSiQue）上，“广播者”变得过于兴奋，导致学生的表现崩溃至零。
- 在这里，“过滤器”（PAFT）成为了英雄。尽管它速度较慢，但它保持了学生的稳定性，并取得了最高的最终分数。

主要启示

论文认为，训练推理模型并没有一种“完美”的方法。

如果你的模型停滞在零，你需要高承诺（使用高旋钮设置的 GARL）来迫使其学习。
如果你的模型正在学习但不稳定，你需要稳定性（PAFT）来保持其正轨。

作者创建了一个“连续体”（平滑的滑动刻度），让你能够动态地调整这种平衡，而不必在“安全但缓慢”或“快速但风险高”之间做出选择。他们发现，中间设置（约 0.75）通常能提供两全其美的效果：快得足以摆脱起步阶段，又稳得足以完成比赛。

以下是论文《模型应多快承诺于监督？在 Tsallis 损失连续体上训练推理模型》的详细技术总结。

1. 问题陈述

本文解决了仅使用输出级监督训练推理模型（即在回答前生成潜在思维链的模型）时出现的两种关键失效模式：

冷启动停滞：当初始成功概率 ( $p_0$ ) 极低时，标准的可验证奖励强化学习（RLVR）及其变体（如 GRPO 或 Rao-Blackwellized REINFORCE）往往无法取得进展。梯度信号太弱，不足以使模型摆脱“冷启动”状态。
噪声记忆：相反，那些激进地推动模型拟合训练分布的方法（如标准的监督微调 SFT 或最大似然估计 MLE），倾向于记忆标签错误和噪声，从而降低泛化能力和自一致性。

现有方法将这些视为独立的问题。作者认为，这是由模型对监督信号的“承诺”程度所控制的一个谱系的两端。他们提出了一个统一的理论框架，以平衡摆脱冷启动的速度与对噪声的鲁棒性。

2. 方法论： $J_Q$ 损失连续体

核心贡献是定义了一个源自 Tsallis $q$ -对数 的损失族 $J_Q$ 。该损失族在两个极点之间进行插值：

利用极点（ $q=0$ ）：对应于最大化期望准确率（等同于具有精确匹配奖励的 RLVR）。损失是有界的（ $1 - P_\theta$ ）。
密度估计极点（ $q=1$ ）：对应于最大化潜在轨迹上的对数边缘似然（等同于标准 SFT/ML）。损失是无界的（ $-\log P_\theta$ ）。

核心理论洞察：梯度放大

$J_Q$ 族的所有成员共享相同的逐样本梯度方向，仅相差一个标量放大因子：
$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$
其中 $P_\theta = p_\theta(y^*|x^*)$ 是模型的条件成功概率。

参数 $q$ （承诺度）：控制对“困难”样本（低 $P_\theta$ $P_{θ}$ ）的梯度放大程度。
- 低 $q$ （接近 0）：最小化放大。模型专注于其已知的内容（抗噪声），但摆脱冷启动的速度很慢（ $\Omega(1/p_0)$ 时间）。
- 高 $q$ （接近 1）：对低概率样本进行巨大放大。模型激进地探索未知的监督，快速摆脱冷启动（ $\Theta(\log(1/p_0))$ 时间），但存在记忆噪声的风险。

梯度估计器

由于 $P_\theta$ 是难以处理的（涉及对所有潜在轨迹求和），作者基于梯度的双重分解推导出了两种蒙特卡洛估计器：

GARL（梯度放大强化学习）：
- 机制：从先验 $p_\theta(z|x^*)$ 采样轨迹，并将标准 RL 梯度放大 $(\bar{w}_M)^{-q}$ 倍。
- 特性：方差较低，推广了 RB-REINFORCE（ $q=0$ ）和 IWAE（ $q=1$ ）。
- 用例：对于冷启动场景至关重要，因为在这些场景下后验采样无法产生有效轨迹。
PAFT（后验衰减微调）：
- 机制：从后验（即与答案一致的轨迹）进行重要性重采样，并将 SFT 梯度衰减 $(\bar{w}_M)^{1-q}$ 倍。
- 特性：产生语义连贯的梯度（仅更新有效推理），但由于重采样噪声导致方差较高。推广了 EM 算法的 E 步（ $q=1$ ）。
- 用例：在暖启动训练期间更稳定，防止 GARL 在复杂数据集上出现的“崩溃”现象。

3. 主要贡献

统一理论框架：本文首次提供了理论解释，将冷启动停滞和噪声记忆统一为一个由参数 $q$ 控制的权衡。
摆脱速度分析：理论证明（定理 5.1 和 5.2）表明，摆脱冷启动的时间对于 $q=0$ 为 $\Omega(1/p_0)$ ，而对于 $q=1$ 则改善为 $\Theta(\log(1/p_0))$ 。这解释了为什么当 $p_0$ 较小时标准 RLVR 会失效。
双重估计器（GARL 和 PAFT）：推导了两种实用的、可即插即用的估计器，允许实践者在不改变模型架构的情况下调整“承诺”水平。
偏差 - 方差权衡：分析表明，虽然高 $q$ 加速了学习，但会引入估计器偏差（ $O(q/MP_\theta^{q+1})$ ），因此需要中间值的 $q$ 以获得最佳性能。

4. 实证结果

作者在三个推理基准（FinQA、HotPotQA、MuSiQue）上使用 Qwen 3 0.6B 模型评估了 GARL 和 PAFT。

冷启动性能：
- 标准 GRPO 和 $q=0$ （RB-RLOO）在冷启动任务上完全失败（准确率为 0%）。
- $q=0.75$ 的 GARL 成功摆脱了冷启动，取得了显著的准确率（例如，FinQA 上的 maj@16 为 38.3%，而 GRPO 为 0%）。
- $q=1$ 摆脱了冷启动，但遭受了更高的噪声记忆，导致最终准确率低于 $q=0.75$ 。
暖启动性能：
- FinQA：在所有 $q$ 值下训练均稳定。 $q=0.25$ 的 GARL 取得了最佳结果（maj@16 为 38.7%），比 GRPO 高出 11.8 个百分点。
- HotPotQA 和 MuSiQue：GARL 在所有测试的 $q$ 值下训练期间均崩溃（验证准确率降至零），可能是由于路径项损坏或过拟合。
- PAFT 稳定性：PAFT 在任何基准测试中均未崩溃。 $q=0.75$ 的 PAFT 在 HotPotQA（maj@16 为 47.9%，比 GRPO 高 14.4）和 MuSiQue（maj@16 为 22.4%）上取得了最佳稳定结果。
提示独立性：值得注意的是，冷启动 GARL 模型（未使用特定任务提示进行训练）在所有指标上均优于暖启动 GRPO 模型（使用提示进行训练），这表明强承诺（ $q \approx 0.75$ ）使模型能够直接从输入 - 输出对中发现任务结构。

5. 意义与实践启示

解决冷启动瓶颈：本文证明，RLVR 的瓶颈不仅仅是梯度方差（已通过 Rao-Blackwellization 解决），而是缺乏对低概率样本的梯度放大。增加 $q$ 可解决此问题。
动态训练策略：作者提出了一种实用方案：
- 冷启动：使用GARL配合高 $q$ （ $\approx 0.75$ ），迫使模型脱离零奖励状态。
- 暖启动：如果训练稳定（如 FinQA），使用GARL配合低 $q$ （ $\approx 0.25$ ）以最小化偏差。如果训练不稳定（如 HotPotQA），则切换到PAFT配合高 $q$ （ $\approx 0.75$ ），通过连贯的梯度维持稳定性。
超越 RLVR：该框架提供了一种原则性的方法，在强化学习和监督微调之间进行插值，超越了僵化的“先 SFT 后 RL"流程，转向承诺度的连续谱系。

总之，本文证明了对监督的承诺是一个可调节的超参数。通过调整 $q$ ，实践者可以控制学习速度（摆脱冷启动）与学习鲁棒性（避免噪声记忆）之间的权衡，从而在复杂推理任务上实现最先进的性能。