💬 NLP

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

该论文提出了 RP-OPSD，一种通过引导在策略自我蒸馏（on-policy self-distillation）以优先考虑“推理枢纽”（reasoning pivots）而非表面文本，从而增强多语言推理迁移的新方法，其性能在 17 种语言中均优于现有基准模型。

原作者： Xinye Wang, Junxiao Liu, Shujian Huang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinye Wang, Junxiao Liu, Shujian Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个聪明但精通多种语言的机器人如何解决一个棘手的数学谜题。你会说英语，但机器人需要学习用斯瓦希里语、法语或日语进行思考。巨大的挑战不仅在于翻译词汇，更在于翻译“思维”。如果机器人在英语中能把数学题做对，但在尝试用另一种语言解释步骤时却卡壳了，这就好比一个学生知道答案却写不出作文。这就是“多语言推理”（multilingual reasoning）的世界——科学家们正试图帮助大型语言模型（LLMs）在它们并不那么擅长的语言中运用其聪明的逻辑能力。

为了实现这一目标，研究人员经常使用一种被称为“自我蒸馏”（self-distillation）的小技巧。把它想象成机器人在独自练习：它尝试解决一个问题，然后一个“教师版”的它（拥有一个秘密的英语参考表）会检查作业并说：“做得好！”或者“再试一次！”机器人通过这些纠正来进行学习。然而，这种方法的一个常见问题是，老师可能会对机器人写的每一个词都过于挑剔。如果机器人用了一种略微不同的方式来表达“因此”或“等于”，即使数学逻辑完全正确，老师也可能会感到恼火。这会让机器人感到困惑，使其专注于听起来是否流利，而不是专注于正确的思考。

本文介绍了一种更聪明的教导机器人的方法，称为 RP-OPSD。作者们（来自南京大学的王欣烨、刘俊骁和黄书娟）建议，我们不应该把推理链中的每一个词都视为同等重要。相反，我们应该识别出“枢轴”（pivots）——即机器人做出重大决策的关键时刻，比如选择乘法而不是加法，或者意识到变量需要改变。这些是推理中的“顿悟时刻”。其余的词只是“表面”细节，比如语法或表达“蛋糕被切开”的具体方式。

研究人员发现，通过使用一个特殊的“门控”（gate）来决定哪些词需要老师的严格关注，哪些词应该交给机器人自然的语言流，机器人学习得更快。他们在 17 种语言上进行了测试，其中包括许多通常较少受到 AI 关注的非洲语言。结果显示，我们的方法比以往的方法更好地帮助机器人解决了数学问题，尤其是在那些更难的语言中。这就像给机器人一支荧光笔：它只高亮显示最重要的逻辑步骤供老师检查，同时让机器人用自己的声音讲述剩下的故事。这表明，要教会机器人用一种新语言思考，你不需要微观管理每一句话；你只需要确保关键的思考步骤是稳固的。

核心思想：寻找“枢轴”

论文认为，当模型用一种新语言进行推理时，它实际上在同时做两件事：

表面实现（Surface Realization）： 用正确的语言编写词汇（例如，在法语中使用“multiplie”而不是“multiply”）。
推理枢轴（Reasoning Pivots）： 做出实际的逻辑决策（例如，决定将 4 乘以 3）。

作者注意到，以往的方法将这两者等同对待。它们试图强迫机器人完美地复制老师的英语逻辑以及老师的英语选词。但这就像一位音乐老师在纠正学生手指按键位置的同时，还在大声责骂学生的口音。这种压力太大了。

论文提出，表面变体（表达相同意思的不同方式）是可以接受的，但 枢轴漂移（改变逻辑）是危险的。如果机器人决定用“加法”而不是“乘法”，那么无论法语听起来多么流利，整个答案都是错误的。

RP-OPSD 如何运作：“门控”

为了解决这个问题，作者创建了一个名为 RP-OPSD（推理枢轴引导的在策略自我蒸馏）的系统。以下是它的工作原理类比：

想象机器人正在写一个关于解决数学问题的故事。

教师视角 1（参考表）： 老师看到了问题、英语解法以及机器人当前的句子。
教师视角 2（无参考表）： 老师看到了问题和机器人的句子，但没有看到英语解法。

系统会对这两个视角进行比较。

如果老师仅仅因为有了英语解法才改变了下一个词的选择，那么这个词就是一个枢轴（Pivot）。这意味着这里的英语逻辑至关重要。“门”会大开，机器人会得到一次强烈的教训：“在这里复制逻辑！”
如果无论是否有英语解法，老师都会说同样的话，那么这个词就只是表面（Surface）。它可能只是语法或常用短语。此时“门”保持关闭，允许机器人以其自然语言流进行写作，而不必被迫模仿英语风格。

这个“门”是一个数学过滤器，它决定了机器人生成的每一个词是需要接受来自英语逻辑的重度灌输，还是只需要一个轻微的引导以保持目标语言的自然性。

研究发现

团队在 17 种语言上进行了测试，涵盖了从法语、西班牙语等高资源语言到斯瓦希里语、约鲁巴语等低资源非洲语言。他们使用了两个主要的数学基准测试：AfriMGSM（针对非洲语言）和 PolyMath（一个难度跨度更大的数学测试）。

结果非常明确：

更高的分数： RP-OPSD 击败了他们对比的所有其他方法，包括标准的“自我蒸馏”和其他先进的推理技术。例如，在 Qwen3-1.7B 模型上，它将非洲语言的平均得分从约 16.7% 提高到了 19.07%，并在更难的 PolyMath 测试中达到了 17.97% 的准确率。
更聪明的学习： 分析表明，“门控”正确识别了重要的时刻。它专注于像“因此”、“所以”、“但是”以及特定的数学运算（如“平方根”或“梯形”）之类的词。它忽略了像变量名（ $x$ , $y$ ）或常见的连接词之类的琐碎内容。
没有“语言泄露”： 该领域有一个巨大的担忧，即机器人会开始用英语思考，最后只翻译答案。论文显示，RP-OPSD 实际上让机器人在目标语言中进行思考。它提高了机器人在目标语言中进行推理的能力，同时并没有让它听起来更像英语。事实上，随着数学得分的提高，机器人的“语言一致性”（即它坚持使用目标语言的程度）也随之提升了。

他们排除了哪些观点

论文明确反对了一些常见观点：

统一权重（Uniform Weighting）： 他们证明了将每个词视为同等重要（给予每个词相同的权重）是一个错误。这会用过多的表面层词汇产生的噪声来稀释重要的逻辑信号。
仅仅是“分歧”（Just "Disagreement"）： 他们发现，仅仅观察老师和学生产生分歧的地方是不够的。有时分歧是因为拼写错误或语法选择，而非逻辑错误。由于“枢轴”方法专门寻找英语解法如何改变结果，因此它更为精准。
翻译人工痕迹（Translation Artifacts）： 他们认为，仅仅将英语推理翻译成另一种语言（监督微调）是不够的，因为翻译可能无法匹配机器人在该语言中的自然思维方式。

总结

论文表明，要教会机器人用一种新语言进行推理，你不需要强迫它说话像个英语使用者。你只需要确保它在逻辑至关重要的确切时刻理解英语解法的逻辑。通过使用一个“门控”来区分“思考”词汇和“说话”词汇，机器人可以在不丢失其自然声音的情况下，深入学习其新语言中的思考方式。

作者基于他们在 17 种语言和多种模型规模上的实验，对这些结果充满信心。他们认为，这种方法可能是实现真正多语言 AI 的关键一步，使 AI 能够解决任何语言（而不仅仅是数据丰富的语言）中的复杂问题。

技术摘要：RP-OPSD

问题陈述

多语言推理迁移旨在将大型语言模型（LLM）的推理能力从高资源语言（如英语）扩展到低资源语言。虽然在策略自我蒸馏（On-Policy Self-Distillation, OPSD）已成为一种极具前景的范式，通过在学生生成的展开（rollout）上提供密集的 token 级监督，但现有的变体存在一个关键局限性：它们对所有生成的 token 分配统一的权重。这种方法无法区分表面实现 token（特定语言的语法和流畅度）与推理枢纽（reasoning pivots）（推进或重定向推理过程的决策）。

作者认为，在多语言设置中，表面变体可以保持相同的推理状态，而“枢纽漂移”（pivot drift）——即关键决策 token 中的错误——即使后续内容保持流畅，也会破坏下游推理。现有方法要么依赖教师置信度（这可能无法反映跨语言推理的相关性），要么需要难以获得的键值区间（key spans）标注。此外，简单的教师-学生不一致性（KL 散度）是一种粗粒度的信号，通常强调的是格式或词汇差异，而非推理关键位置。

方法论：RP-DS OPSD

本文提出了 RP-OPSD（推理枢纽引导的在策略自我蒸馏），该方法选择性地将特权蒸馏路由至推理敏感型 token，同时将表面 token 锚定在目标语言上。

1. 教师视角与特权推理敏感度（PRS）

RP-OPSD 不使用单一的教师视角，而是对比同一策略（ $\pi_\theta$ ）在不同信息状态下的两个视角：

解条件视角 ( $q^+_t$ )： 基于低资源问题、其英文翻译、展开前缀以及英文参考推理轨迹进行条件的策略。
消融视角 ( $q^-_t$ )： 基于相同的输入，但不包含英文参考推理轨迹的策略。

特权推理敏感度（PRS）得分 $a_t$ 定义为这两个视角之间的 KL 散度：
$a_t = D_{KL}(q^+_t \parallel q^-_t)$
高 $a_t$ 表示英文解的存在显著改变了模型的下一个 token 预测，表明该 token 是一个推理枢纽，其中特权证据至关重要。相反，低 $a_t$ 表明该 token 受目标语言实现或通用先验控制。

2. 推理枢纽转移（RPT）门控

PRS 得分经过归一化并传递通过 sigmoid 函数，以生成连续门控 $g_t \in [0, 1]$ ：
$g_t = \text{sg}[g_{min} + (1 - g_{min})\sigma(\beta(\tilde{a}_t - \tau))]$
该门控充当路由系数：

高 $g_t$ ： 该 token 被视为推理枢纽。
低 $g_t$ ： 该 token 被视为表面实现。

3. 路由训练目标

训练目标结合了两个全词表的前向 KL 项，由门控进行路由：

枢纽转移项 ( $L_{pivot}$ )： 在高门控位置，使学生分布（ $p_t$ ）与解条件下的教师（ $q^+_t$ ）对齐。这实现了特权推理逻辑的迁移。
$L_{pivot} = \frac{1}{N} \sum_{t=1}^T m_t g_t D_{KL}(q^+_t \parallel p_t)$
锚定项 ( $L_{anchor}$ )： 在低门控位置，使学生与冻结的参考策略（ $\pi_{ref}$ ）对齐。这保留了目标语言的表面实现，并防止模型过度拟合英文解的语法。
$L_{anchor} = \frac{1}{N} \sum_{t=1}^T m_t (1 - g_t) D_{KL}(r_t \parallel p_t)$

最终损失为 $L_{RP-OPSD} = L_{pivot} + \lambda L_{anchor}$ 。

核心贡献

识别推理枢纽： 本文将多语言推理特征化为表面文本与推理枢纽的交替，认为迁移效率取决于隔离后者。
分布偏移代理： 引入了一种全新的、无需标注的机制，通过测量具有与不具有特权推理证据的教师视角之间的分布偏移来识别枢纽。这避免了使用原始教师-学生不一致性的缺陷。
双目标路由： 该方法同时在推理关键 token 上执行特权蒸馏，并在表面 token 上执行参考锚定，平衡了推理迁移与语言忠实度。

实验结果

该方法在两个数学推理基准测试 AfriMGSM 和 PolyMath 上，针对 17 种语言（包括 12 种非洲语言）进行了评估。

性能： RP-OPSD 优于强基线模型，包括 SFT、GRPO、MAPO-DPO、M-Thinker 以及现有的 OPSD 变体（COPSD、EGRSD）。
- 在 AfriMGSM（Qwen3-1.7B）上，RP-OPSD 的平均 pass@12 达到 19.07%，超过了 COPSD (16.70%) 和 M-Thinker (14.87%)。
- 在 PolyMath（Qwen3-4B）上，它实现了难度加权准确率（DW-ACC）31.87%，优于 COPSD (29.94%) 和 M-Thinker (29.74%)。
消融研究：
- 门控定位： 基于 RPT 门控选择前 20% 的 token（TG）的表现显著优于随机选择（RG）或底端门控选择（BG），证实了门控能正确识别可迁移的推理信号。
- 锚定作用： 移除参考锚定项会降低性能，尤其是在基线能力较强的语言（如法语）中，这表明锚定对于保持目标语言的流畅度至关重要。
分析：
- Token 类型： 高门控 token 被发现对应于推理控制转换（例如，“因此”、“但是”）和问题条件状态更新（例如：特定的变量、运算符），而低门控 token 主要是表面实现（变量、语法）。
- 可达性： RP-OPSD 不仅迁移了英语可达的解，还扩展了超出基座模型英语可达范围的推理能力，与其它基线相比，在“超越英语”解方面的增益翻了一倍。
- 语言一致性： 不同于那些通过漂移到英语推理模式来提高准确性的方法，RP-OPSD 在提高推理准确性的同时，保持或提高了语言一致性得分。

意义与主张

论文声称，RP-OPSD 通过将特权监督集中在最重要的地方，为多语言推理迁移提供了一种更高效、更有效的范式。通过区分 CoT 生成中的“内容”（表面实现）与“方式”（推理逻辑），该方法避免了将推理信号稀释在流畅但非关键的 token 中。

作者断言，他们的方法使模型能够在保留语言特有表达形式的同时，跨语言共享计算结构。该方法被呈现为迈向多语言推理器的一步，这类推理器不仅是简单地翻译英语推理，而是将底层推理逻辑适配到目标语言的约束中，从而在不需要翻译推理轨迹或复杂奖励工程的情况下实现卓越性能。