💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

该论文介绍了 AdaMame，这是一种结合了监督微调与一种新型自适应 GRPO 算法（AdaMame-GRPO）的两阶段训练方案，旨在使大语言推理模型能够在不牺牲准确性或 Token 效率的情况下，使用查询所使用的语言进行推理，从而克服语言坍缩现象。

原作者： Dayeon Ki, Kevin Duh, Marine Carpuat

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dayeon Ki, Kevin Duh, Marine Carpuat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢、精通多种语言的学生，名叫 Ada。Ada 解决数学问题非常聪明，但她有一个坏习惯：无论你用哪种语言问她问题（法语、泰卢固语或泰语），她都坚持用英语进行思考和回答。

这就是所谓的 “语言坍缩”（language collapse） 问题。即使你用法语问：“一打有多少个鸡蛋？”，Ada 可能会想：“好吧，让我用英语计算一下……12个鸡蛋，” 然后仅仅是翻译一下答案。她并没有在所使用的语言中进行真正的思考。

现有的尝试修复这个问题的方法就像一位严厉的老师，规定：“如果你不说法语，你就得零分！”这强迫 Ada 说法语，但这常让她感到紧张。她可能会开始结巴（在句子中中英混杂），或者因为太专注于语言规则而给出错误的答案，或者为了证明自己在努力而说得过于冗长。

AdaMame 是一种更聪明的全新训练方案，旨在修复 Ada 的这个坏习惯，且不会让她感到紧张或变慢。以下是它的运作方式，分为简单的步骤：

两阶段训练方案

作者使用了一个两步走的训练过程，就像教练为运动员备战奥运会一样。

第一阶段：“沉浸式训练营”（SFT）
首先，他们把 Ada 放在一个只能与五种不同语言（法语、葡萄牙语、日语、韩语和泰语）的母语使用者互动的营地里。

他们做了什么： 他们向她展示了数千个数学问题，其中解题过程（即“思维过程”）已经用当地语言完美地写了出来。
结果： Ada 学会了如何在这些语言中解决数学问题。她不再立即默认使用英语。然而，当面对她没练习过的语言（如斯瓦希里语或孟加拉语）时，她仍然显得有些不稳定。

第二阶段：“聪明教练”（AdaMame-GRPO）
这是神奇的部分。在第二阶段，他们使用了一种特殊的训练方法，称为 AdaMame-GRPO。

旧教练的问题： 以前的方法只有在 Ada 答对且说对了语言时才会给予奖励。这就像是一个“全或无”的开关。如果她答对了但用了英语，她就得不到任何奖励。这让她不敢尝试。
AdaMame 的解决方案： 新的教练使用了一种 “渐进式增长策略”。
- 训练初期： 教练很宽容。“嘿，先试着解决问题！现在是用英语还是法语思考并不重要，先把数学题做对。”这让 Ada 能够进行探索并找到解决问题的最佳路径。
- 训练后期： 随着训练的进行，教练会慢慢调高语言规则的音量。“好了，你的数学已经很棒了。现在，你必须用用户要求的语言来思考。”
- 类比： 想象一下教孩子骑自行车。起初，你会让他们摇晃和摔倒（探索）。一旦他们稳住了，你会轻轻引导他们留在车道内（对齐查询语言）。你不会在第一秒就大喊“留在车道里！”，否则他们会直接撞车。

为什么这很重要

论文测试了这种新方法与旧方法的对比，发现了三个主要的胜利点：

不再“语码转换”： Ada 停止了那种令人烦恼的在句子中切换语言的行为（例如，用法语开始思考，却用英语结束）。她现在保持了一致性。
不再“过度思考”： 旧的方法会让 Ada 为了证明自己在努力而说很多话。AdaMame 让她的表达更高效。她使用更少的词汇（token）就能达到同样的结果。
“弱势群体”效应： 最显著的进步发生在 低资源语言（数据量较少的语言，如泰卢固语或斯瓦希里语）上。虽然其他方法在这些语言上表现挣扎，但 AdaMame 让 Ada 的表现出奇地好，这让技术对每个人都更加公平，而不仅仅是针对主要语言的使用者。

核心结论

论文声称 AdaMame 创建了一个模型，它具备以下特性：

准确性： 它能算对数学题。
忠实性： 它能用你要求的语言进行思考。
高效性： 它不会浪费时间或词汇。

它实现了作者所说的 “帕累托最优性能”（Pareto-optimal performance），这是一个高级说法，意思是：“我们在不牺牲任何一个目标的前提下，实现了这三个目标的最佳平衡。” 这就像得到了一辆既快、又安全、还省油的车，而之前的模型通常是快但不安全，或者安全但很慢。

作者发布了他们的数据和代码，以便他人可以使用这种“训练方案”来构建更好的多语言 AI，特别是针对数学推理，而无需依赖英语作为默认的思考语言。

技术摘要：AdaMame —— 一种用于自适应多语言推理的训练方案

问题陈述

大型推理模型（LRMs）在英语方面表现强劲，但在使用用户查询语言进行推理时经常失败，这种现象被称为语言坍缩（language collapse）。模型无法生成查询语言的推理轨迹（思维链/Chain-of-Thoughts），而是默认使用英语或在推理过程中进行中途语码转换（code-switching）。

现有的通过强化学习（RL）来纠正这一问题的尝试，通常是在准确性目标的基础上附加一个二进制语言忠实度奖励，并使用人工调优的权重比例。然而，本文指出这些方法存在三个持续存在的局限性：

准确性权衡： 提高语言忠实度往往以牺牲推理准确性为代价。
语码转换： 模型经常在单个推理轨迹内频繁切换语言。
过度思考（Overthinking）： 模型消耗过多的 Token，却未能获得成比例的正确性提升。
此外，许多先前的方法需要英语参考推理轨迹来进行监督，并依赖于固定的权重机制，这限制了其可扩展性和鲁棒性。

方法论：AdaMame

作者提出了 AdaMame，这是一个两阶段训练方案，旨在自适应地将推理语言与查询语言对齐，同时协同优化准确性和 Token 效率。

第一阶段：有监督微调 (SFT)

目标： 建立基础的多语言推理能力以及对特定语言模式的敏感度。
数据： 一个包含五种语言（法语、葡萄牙语、日语、韩语、泰语）共 3 万条自然发生的推理轨迹的数据集。至关重要的是，这些轨迹并非从英语机器翻译而来，而是经过生成并验证为在目标语言中表达流畅。
技术： 模型使用低秩自适应（LoRA）进行微调，以防止灾难性遗忘并提高效率。提示词明确鼓励使用查询语言进行推理。

第二阶段：强化学习 (AdaMame-GRPO)

目标： 将推理能力泛化到域外语言，并在不牺牲准确性的情况下强制执行语言对齐。
核心创新： 对 组相对策略优化（GRPO） 进行改进，称为 AdaMame-GRPO。
机制： 该方法引入了一个以查询为条件的对齐因子 ( $\alpha_i(t)$ $α_{i} (t)$ )，该因子在训练过程中逐渐增长，而不是使用固定的奖励权重。
- 探索阶段： 在训练初期，对齐因子较弱，允许模型通过探索多种推理语言来最大化准确性。
- 利用阶段： 随着训练的进行，该因子增加，从而放大那些推理语言与查询语言相匹配的输出（rollouts）的奖励。
- 数学公式： 奖励被缩放为 $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ ，其中 $\alpha_i(t)$ 遵循从 0.1 到 1.0 的余弦增长调度。
优势： 该方法不需要英语参考轨迹，并避免了手动调整奖励权重，而是采用了一种基于课程的“先探索后利用”策略。

主要贡献

AdaMame 方案： 一个两阶段（SFT + RL）的后训练框架，能够自适应地将推理语言与查询对齐，解决了准确性与语言忠实度之间的权衡问题。
数据集发布： 一个包含 3 万条自然发生的、高质量多语言推理轨迹的新数据集，支持无需依赖机器翻译英语数据的多语言推理研究。
AdaMame-GRPO 算法： 一种新型的 RL 变体，在推理准确性、语言忠实度和 Token 效率方面实现了帕累托最优（Pareto-optimal）性能。

实验结果

该方法在两个基准测试（MGSM-Rev2 和 MSVAMP）上，使用两种骨干模型（DISTILL-QWEN 1.5B 和 QWEN3 4B）针对 12 种语言（5 种域内语言，7 种域外语言）进行了评估。

帕累托最优性： 与所有基线模型（包括 Vanilla、Prompt、SFT、标准 GRPO 和 M-Thinker）相比，AdaMame-GRPO 在准确性、语言忠实度（通过语言混淆通过率 LCPR 衡量）和 Token 效率（测试时计算量，TTC）之间取得了最佳平衡。
域外泛化能力： 虽然 SFT 提高了域内性能，但在域外语言上的泛化效果较差。RL 阶段显著提升了泛化能力，特别是对于低资源语言（如孟加拉语、斯瓦希里语、泰卢固语），AdaMame-GRPO 在这些语言上较基线模型展现出了最大的增益。
Token 效率： 与诱发“过度思考”的方法不同，AdaMame-GRPO 在所有测试变体中产生的 Token 消耗最低。
课程效应： 分析确认了“先探索后利用”的动态过程：模型最初会生成多样化的语言，随后随着对齐因子的增长，逐渐收敛到查询语言。

重要性与主张

论文声称 AdaMame 通过消除对英语参考轨迹和固定奖励权重的需求，解决了当前多语言推理方法的核心局限性。通过实施自适应课程，该方法成功缓解了语言坍缩和语码转换问题，同时保持或提高了推理准确性。

作者将这项工作定位为迈向更公平的多语言推理的一步，证明了不仅在高资源语言，而且在低资源和域外设置下也能实现高性能。他们认为，超越以英语为中心的奖励设计，对于训练能够服务于全人类语言多样性的模型至关重要。

承认的局限性：

实验受限于计算预算，限制了其在特定模型规模和数学推理任务上的范围。
该方法依赖于 LINGUA 语言检测器，而该检测器在处理重度语码转换的轨迹或极低资源语言时可能存在可靠性问题。
训练语料库依赖于由 GPT-5 NANO 生成的轨迹，因此可能会继承其特定的语言偏差。