Efficient Multilingual Reasoning Transfer via Progressive Code-Switching
本文介绍了 PCS（渐进式语码转换），这是一个高效的框架，通过轻量级翻译和强化学习，使模型从语码混合推理逐步过渡到完全目标语言推理，从而将英语推理能力迁移至其他语言，进而克服了现有基于蒸馏的方法在成本和可扩展性方面的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个天才学生，他是个数学天才，但他只会用英语思考和解决问题。当你要求他为一位说日语的朋友解决数学题时，如果你让他尝试用日语思考，他就会感到困惑、出错，或者在思考过程中不自觉地切回英语。
这就是目前的“大语言推理模型”（Large Reasoning Models）存在的问题。它们擅长英语数学，但在其他语言的数学方面表现糟糕。
这篇论文提出了一种新的训练方法，叫做 PCS（渐进式语码转换，Progressive Code-Switching）。你可以把它看作是一座温和的、循序渐进的桥梁，帮助这个学生在不丢失数学能力的前提下，学习用一种新语言进行思考。
以下是它的工作原理，使用简单的类比：
1. 问题所在：“硬切换”陷阱
通常，如果你告诉学生：“从现在起，你必须只用日语思考，”他们会感到恐慌。他们试图强行执行，但大脑会发生偏差，导致数学出错，或者开始不断重复同样的词汇。这就像是在一条新路上开车时，突然将方向盘向右转动90度；你很可能会撞车。
2. 解决方案：“双语桥梁”（语码转换）
PCS 不采取强制硬切换的方式，而是搭建一座桥梁。它允许学生先用英语和日语混合进行思考。
- 冷启动： 想象学生正在解一道数学题。他在前几步使用他们擅长的英语，但论文要求他将其中仅 30% 的步骤翻译成日语。
- 结果： 学生会习惯于看到日语单词与熟悉的英语逻辑混合在一起。这感觉很自然，而不是令人恐惧。
3. 训练方式：“渐进式徒步”（渐进式课程）
这是其中的核心秘诀。训练并不会让 30% 的日语比例永远保持不变。它就像一条徒步路径，只有当登山者变得更强壮时，路径才会变得更陡峭。
- 第一阶段： 学生用 30% 的日语步骤解题。
- 第二阶段： 一旦他们掌握了这一步，老师会说：“好，现在尝试 50% 的日语步骤。”
- 第三阶段： 然后是 70%，接着是 90%，直到最后，学生能够实现 100% 的日语思考。
因为学生首先是用英语学习数学逻辑，然后才逐渐翻译思考的“语言”，所以他们永远不会失去解决问题的能力。他们只是改变了思考的“口音”。
4. 奖励机制：“严厉而公正的教练”
AI 是使用奖励系统（类似于电子游戏得分）进行训练的。
- 目标： 获得正确的答案（准确性）以及使用正确的语言（一致性）。
- 技巧： 如果 AI 为了欺骗“语言检测器”，而在一个长句中夹杂一大段英语来作弊，系统会将其抓获。
- 区别： 其他方法试图通过让 AI 仅仅在“看起来”像是在说正确的语言来获得奖励，这导致了“奖励作弊”（AI 在伪装）。PCS 则强制要求 AI 逐步切换每一个步骤的语言，因此它无法作弊。
5. 结果：真正的多语言天才
该论文在五种语言（法语、葡萄牙语、日语、韩语、泰语）上测试了这种方法，使用的是数学问题。
- 旧方法： AI 要么数学正确但说的是英语，要么说的是目标语言但数学错误。
- PCS 方法： AI 既能得出正确的答案，又能完美地使用目标语言。它几乎完全缩小了英语与其他语言之间的性能差距。
总结
把 PCS 想象成教一个孩子游泳。
- 旧的方法： 把他们扔进深水区并说：“游啊！”（他们会沉下去或陷入恐慌）。
- PCS 的方法： 先让他们在浅水区带着救生圈（英语 + 目标语言）。随着他们变得越来越强壮，你再一步步撤掉救生圈，直到他们在深水区完美地游泳（仅使用目标语言），而从未溺水。
该论文声称，由于不需要一个“超级教师”AI 来批改每一个答案，只需要一个简单的翻译器和一个聪明的渐进式训练计划，因此这种方法比以往的方法更便宜、更容易。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。