💬 NLP

Learning When to Translate for Multilingual Reasoning

本文介绍了 Luar，一种语言理解边界感知强化学习框架，该框架使推理语言模型能够仅在对非英语输入的直接理解不可靠时才选择性地调用英语翻译，从而在避免不必要翻译的同时，显著提升多语言推理性能。

原作者： Deokhyung Kang, Hyounghun Kim, Gary Geunbae Lee

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Deokhyung Kang, Hyounghun Kim, Gary Geunbae Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Learning When to Translate for Multilingual Reasoning》（学习何时进行翻译以实现多语言推理）的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：那个“自信但无知”的 AI

想象你有一位极其聪明的数学导师（AI），他解决问题的能力简直是天才级别的，但前提是问题必须用英语编写。如果你用斯瓦希里语或祖鲁语问他一个数学题，他可能仍会尝试去解。有时他会运气好猜对答案，但很多时候，他会完全误解题意。

可怕的地方在于：即使他感到困惑，他也不会承认。他可能会在内部思考过程（即“推理轨迹”）中说：“我不确定这个词是什么意思”，但随后却会自信满满地写下一个完全错误的最终答案。这就像一个根本没听懂题目，却为了显得聪明而硬写答案的学生。

旧的解决方案（以及它们为何失败）

研究人员曾尝试过两种主要方法来修复这个问题：

教 AI 学习更多语言： 这就像试图教这位导师世界上所有的语言。这既昂贵又缓慢，而且导师在面对稀有或“低资源”语言时仍然会挣扎。
翻译一切： 这就像为每一个问题都雇佣一名翻译，哪怕是那些简单的英语问题。虽然有效，但这既浪费时间又浪费金钱，因为你的导师本身就已经精通英语了。

新的解决方案：LUAR（“智能开关”）

作者创造了一个名为 LUAR 的新系统。把 LUAR 想象成训练 AI 成为一个智能开关，它知道确切的时刻该何时按下“翻译”按钮。

LUAR 不再强迫 AI 学习每一种语言，也不再强制翻译所有内容，而是教会 AI 自问自答：“我对这个问题的理解足够充分，可以独立解决吗？还是我需要请翻译帮忙？”

以下是他们训练它的方式，采用了一个两步走的“健身房”训练程序：

第一步：热身（监督式微调）

首先，他们向 AI 展示了一些问题案例。

如果 AI 正确解决了英语问题，他们会说：“做得好，继续保持。”
如果 AI 在处理斯瓦希里语问题时很吃力，但在翻译之后完美解决了问题，他们会说：“太棒了！下次遇到类似情况，记得请翻译帮忙。”
目标： 仅仅是为了让 AI 习惯于在卡壳时调用翻译器。

第二步：正式比赛（强化学习）

这是见证奇迹的时刻。AI 正在玩一场游戏，它根据两点来获取分数：

你答对了吗？（这是最重要的）。
你使用翻译器的方式是否明智？

奖励： 如果 AI 答对了，并且在遇到困难语言（即它通常会失败的语言）时调用了翻译器，它会获得加分。
惩罚： 如果 AI 答对了，但在处理简单的英语问题（即它不需要帮助的问题）时却调用了翻译器，它会扣分。
零分： 如果它答错了，无论它之前做了什么，都只能得到零分。

随着时间的推移，AI 学会了一条简单的规则：“只有当我力不从心时，才调用翻译器。如果我自己能搞定，就节省时间。”

结果如何？

结果令人印象深刻，尤其是在 AI 从未见过的语言（如约鲁巴语和祖鲁语）上。

精准度： AI 学会了停止翻译简单的英语问题。它节省了时间和资源。
力量： 当它确实遇到困难语言时，它会调用翻译器，其准确率大幅飙升。
泛化能力： 尽管他们只针对几种语言（阿拉伯语、泰语、斯瓦希里语）进行了训练，但 AI 学会了“何时翻译”这一概念。因此，当测试它完全陌生的语言（如约鲁巴语、祖鲁语）时，它知道会自动调用翻译器。

总结

这篇论文表明，我们不需要把 AI 变成一个“通晓万语”的人（polyglot）。相反，我们可以教会它诚实地面对自己的局限性。

通过给 AI 一个“翻译工具”，并教会它何时使用这个工具，我们得到了两全其美的方法：对于简单任务，拥有直接推理的速度；对于困难任务，拥有翻译带来的准确性。这就像是教一位司机知道什么时候该从晴朗的高速公路切换到为暴风雪准备的雪地胎，而不是强迫他们全程都穿着雪地胎行驶。

技术摘要：LUAR —— 学习何时进行翻译以实现多语言推理

问题陈述

推理语言模型（RLMs）通过生成中间推理轨迹，在复杂推理任务中展现出了强大的能力。然而，它们在多语言环境下（尤其是低资源语言）表现出显著的性能差距。近期的研究表明，这些差距往往不是由推理能力不足驱动的，而是由于在处理非英语输入时存在语言理解方面的失败。

虽然将非英语输入翻译成英语可以缓解这些理解失败，但盲目地翻译每一个查询既低效又没必要，因为 RLMs 通常能够依靠原始语言进行可靠的推理。核心挑战在于，如何使 RLMs 能够选择性地调用翻译，仅在对输入的直接理解不可靠时才进行翻译，且无需依赖会引入延迟的外部检测器，也不需要模型从头开始重新学习语言理解。

方法论：LUAR 框架

作者提出了 LUAR（语言理解边界感知强化学习），这是一个两阶段训练框架，旨在教导 RLMs 识别自身的语言理解边界，并仅在必要时调用外部翻译器。

1. 基于结果的边界估计

如果获取英语翻译能显著提高模型解决问题的能力，则定义该查询处于模型的语言理解边界之外。这一过程通过以下方式进行经验性估计：

通过直接推理（原始语言）采样 $N/2$ 个响应。
通过翻译增强推理（在轨迹前添加参考英语翻译）采样 $N/2$ 个响应。
计算正确率分数 $d_{acc}(q)$ 和 $t_{acc}(q)$ 。
分配翻译效用标签 $u(q) = 1$ ，如果 $t_{acc}(q) \ge d_{acc}(q) + \delta$ （其中 $\delta=0.5$ ），表示翻译是有益的。

2. 两阶段训练流程

第一阶段：翻译调用监督微调 (SFT)

目标： 预热模型的动作空间，使其包含翻译调用。
过程： 对从直接模式或翻译增强模式中采样的正确响应进行微调。
选择规则： 使用“软”规则来选择训练目标模式 ( $m(q)$ )：如果 $t_{acc}(q) > d_{acc}(q)$ ，则在翻译增强的轨迹上进行训练；否则，在直接轨迹上进行训练。这让模型接触到两种推理路径，但尚未强制执行严格的边界。

第二阶段：边界感知在线强化学习 (GRPO)

目标： 优化“何时”调用翻译器的决策。
过程： 模型使用组相对策略优化 (GRPO) 进行训练。
奖励函数： 定义了一个边界感知的奖励 $r(q, y_i)$ $r (q, y_{i})$ ，用于对任务正确性和翻译调用决策进行联合评分：
- 正确 + 有效调用 ( $u(q)=1$ )： 奖励 $1 + \gamma$ （奖励）。
- 正确 + 无调用： 奖励 $1$（基准）。
- 正确 + 不必要调用 ( $u(q)=0$ )： 奖励 $1 - \gamma$ （惩罚）。
- 错误/无效： 奖励 $0$。
这鼓励模型仅在经验证明调用翻译器能带来更高正确概率时才进行调用，同时避免在直接推理足以胜任时进行调用。

核心贡献

一种看待多语言推理的新视角： 本文将多语言推理差距重新定义为语言理解边界问题，提出 RLMs 应该学习检测自己何时处于这些边界之外，而不是仅仅提高通用的多语言理解能力。
LUAR 框架： 引入了一个两阶段训练流水线（SFT + 边界感知 GRPO），将调用翻译器的决策直接内化在推理轨迹中，从而消除了对外部检测器的需求。
选择性翻译策略： 证明了 RLMs 可以学习一种策略，将翻译调用集中在直接推理失效的低资源语言上，同时保留高资源语言的直接推理能力，并能处理未见的低资源语言。

实验结果

该框架在涵盖 10 种类型多样化语言的 PolyMath（数学推理）和 MMLU-ProX-Lite（STEM 推理）基准测试中，对 Qwen3-4B 和 Qwen3-8B 进行了评估。

性能提升： LUAR 的表现优于标准 GRPO、基于提示的方法（自我评估、原生工具使用）、基于外部检测器的方法（选择性翻译）以及其他基于训练的方法（Boundary-SFT, Q-ALIGN, TAPO）。
- 在 Qwen3-4B 上，LUAR 实现了 54.39% 的平均准确率（仅翻译了 20.3% 的示例），显著优于基座模型（44.93%）和全翻译基准（以 100% 翻译成本实现 55.39%）。
- 在 Qwen3-8B 上，LUAR 实现了 70.46% 的平均准确率。
模式选择： LUAR 取得了最高的模式选择宏 F1 值 (mode-selection macro-F1)，表明其能正确识别翻译何时有用。
泛化能力： 模型成功泛化到了未见的低资源语言（约鲁巴语、祖鲁语），大幅提升了这些语言上的准确率（例如，Qwen3-4B 在约鲁巴语上为 56.27%，在祖鲁语上为 87.20%，而这些语言在直接推理时表现最弱）。
效率： 与基座模型（11.77s）和外部选择性翻译（14.09s）相比，LUAR 展示了更低的推理延迟（9.32s），这归功于在避免翻译时缩短了推理轨迹。

意义与主张

论文声称 LUAR 提供了一种选择性方法来进行多语言推理，允许 RLMs 学习仅在直接理解不可靠时才调用翻译。这种方法：

弥合了高资源语言与低资源语言之间的性能差距，而无需大量的目标语言训练数据。
避免了不必要的开销，即不对模型已经能够理解的输入进行翻译。
有效地泛化到未见语言，表明所学习的策略捕捉到了稳健的语言理解边界信号，而非对特定训练语言的过拟合。

作者总结道，将语言理解视为一种可以通过工具使用（翻译）来检测并采取行动的边界条件，是构建鲁棒多语言推理模型的一个有前景的方向。他们也指出了局限性，包括覆盖语言家族的多样性以及任务范围（目前侧重于数学和 STEM），并建议未来的工作可以将这种边界感知策略扩展到更广泛的推理任务中。