💬 NLP

Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

本文提出了一种无监督强化学习方法，通过强制执行跨语言自一致性来增强大语言模型的多语言推理能力，在无需标准答案或平行数据的情况下，在多种语言和未见场景中实现了显著的性能提升。

原作者： Ahmed Elhady, Eneko Agirre, Mikel Artetxe

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmed Elhady, Eneko Agirre, Mikel Artetxe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的学生，他精通用英语解决数学问题，但一旦题目变成西班牙语、日语或斯瓦希里语，他就会感到困惑并犯错。这正是当今许多先进 AI 模型所面临的现状：它们在少数“高资源”语言（如英语）中表现出色，但在被要求用其他语言思考时却显得力不从心。

这篇论文介绍了一种巧妙的无监督训练方法，称为跨语言自一致性（Cross-lingual Self-Consistency），旨在解决这一问题。以下是其工作原理的简单类比：

问题所在：“困惑的翻译官”

目前，如果你用斯瓦希里语问 AI 一个数学问题，它可能会尝试在脑海中将其翻译成英语，解决问题，然后再将答案翻译回斯瓦希里语。但这个过程非常混乱。有时翻译质量很差，或者 AI 在过程中迷失了方向。结果呢？即使 AI 掌握了数学知识，它给出的斯瓦希里语答案却是错误的。

解决方案：“小组学习”类比

作者提出了一种新的 AI 训练方式，它不需要拥有正确答案（金标准标签）的老师，也不需要完美的翻译词典。相反，它利用了**自一致性（Self-Consistency）**的概念。

把 AI 想象成一个正在考试的学生。

旧方法（单语言）： 学生用英语参加考试。如果他们连续三次得到相同的答案，他们就很有信心；如果得到的答案不同，他们就知道自己搞混了。
新方法（跨语言）： 学生被给予同一个数学问题，但用 10 种不同的语言（英语、西班牙语、法语等）编写而成。
- AI 用英语解决这个问题。
- AI 用西班牙语解决这个问题。
- AI 用法语解决这个问题。
- ……以此类推。

黄金法则： 论文认为，如果数学逻辑是一样的，那么无论使用哪种语言来解决问题，最终答案必须是相同的。如果问题是“2 + 2”，那么无论在哪种语言下，答案都必须是“4”。

训练是如何运作的（“计分卡”）

研究人员利用强化学习（一种通过奖励良好行为来让 AI 学习的方法）为 AI 设计了一场游戏。

设置： AI 被给出一个英语数学题。然后，它使用自身的内部知识将这个题目“自翻译”成其他语言（如西班牙语或日语）。
挑战： AI 必须在原始英语以及它刚刚创建的所有新语言中解决这个问题。
奖励： 只有当所有这些不同语言中的最终答案相匹配时，AI 才会获得“高分”（奖励）。
- 如果英语答案是“4”，西班牙语答案也是“4”，AI 就会获得奖励。
- 如果英语答案是“4”，但西班牙语答案是“5”，AI 就会受到惩罚。

通过不断重复这个过程，AI 学会了对齐其思维。它意识到：“嘿，如果我在英语中得到了正确答案，我也必须确保我在西班牙语中得到同样的正确答案。”这迫使 AI 提高其在较弱语言中的推理能力，以匹配其在英语中的优势。

结果：一个公平的竞技场

研究人员在 10 种不同语言的数学问题上测试了各种 AI 模型（从小型到大型模型）。

巨大进步： 该方法在主要测试（MGSM）中将 AI 的准确率平均提高了 21.7%。
无需老师： 至关重要的是，这不需要任何人工提供的正确答案或预先翻译的数据。AI 通过检查其自身答案在不同语言之间是否一致，实现了自学。
泛化能力： 即使在接受从未见过的语言训练时，AI 在解决这些新语言的问题方面也变得更强了。此外，该方法不仅适用于数学，也适用于不同类型的逻辑谜题。

总结

这篇论文表明，你不需要一个庞大的、由人类翻译的完美教科书库来教 AI 如何进行多语言推理。你只需要教会它一个简单的规则：“真理是不变的，无论你用什么语言说话。” 通过强制 AI 在不同语言之间保持一致，它自然而然地在所有语言中都变得更加聪明和可靠。

技术摘要：用于多语言推理的跨语言自一致性研究

问题陈述

尽管大语言模型（LLMs）的多语言覆盖范围不断扩大，但其高级推理能力仍高度集中在英语和中文等高资源语言上。虽然模型可以执行多种语言的基础任务，但在使用查询语言进行复杂推理任务（如数学应用题）时，往往会失败。

现有的解决方案试图弥补这一差距，包括：

在英语中进行推理： 将源查询翻译成英语，在英语中进行推理，然后再将答案翻译回原语言。
监督微调（SFT）： 在平行数据（翻译后的问题和推理轨迹）上进行训练。
逻辑值操纵（Logit Manipulation）： 强制模型的输出分布模仿英语的推理模式。

这些方法存在显著局限性：它们依赖于稀缺的高质量平行推理数据，依赖于机器翻译的质量（这会引入噪声），并且往往无法泛化到未见过的语言或领域。此外，强制在英语中进行推理的策略并不一定能提高模型在源语言中的内在推理能力。

方法论

作者提出了一种无监督强化学习（RL）框架，通过强制执行跨语言自一致性来增强多语言推理能力。其核心原则是：即使在没有标准答案标签的情况下，模型对于以不同语言提出的等效问题，也应当产生相同的最终答案。

关键组件：

无监督信号： 该方法仅需要单语言问题（实验中特指英语）进行训练。它不需要金标准答案或预先存在的平行推理轨迹。
自我翻译： 为了生成平行输入，模型本身会将英语训练问题翻译成目标语言。虽然这种方式存在噪声，但具有可扩展性，且避免了从第三方翻译引擎引入外部知识。
奖励函数（RL）：
- 该框架将单语言自一致性（最小化答案分布的熵）扩展到了多语言设置。
- 该方法不是在单一语言内最小化熵，而是最小化特定语言的答案分布（ $\hat{p}_\pi$ ）与源自其他语言的目标分布（ $\hat{q}_\pi$ ）之间的交叉熵。
- 目标分布策略： 作者探索了定义 $\hat{q}_\pi$ $\overset{q}{^}_{π}$ 的三种方式：
  - 源语言： 等同于标准的单语言自一致性。
  - 参考语言（英语）： 将所有语言对齐到英语分布（起到跨语言蒸馏的作用）。
  - 组合方式： 对所有语言的答案分布取平均值。该变体被用作主要方法，直接针对整个语言集的一致性进行优化。
训练算法： 作者利用带有 VeRL 后端的 GRPO（组相对策略优化）进行训练。奖励基于不同语言中采样轨迹的最终答案的一致性进行计算。

核心贡献

新颖框架： 首个通过显式强制跨语言自一致性来提升多语言推理能力的无监督强化学习方法，无需平行数据或标准答案标签。
可扩展性： 该方法适用于缺乏多语言推理数据的场景，利用模型自身的翻译能力来创建训练信号。
泛化能力： 该方法展示了强大的泛化能力，能够应用于未见过的语言和分布外（OOD）领域，解决了高质量多语言推理数据集稀缺的问题。

实验结果

该方法在 MGSM 基准测试（10 种语言）以及三个 OOD 基准测试（mGPQA、MMATH、PolyMath）上进行了评估，使用了 Qwen2.5 模型（1.5B、7B、14B）和 Llama3（8B）。

性能提升：
- 在 MGSM 上，该方法相比原始模型实现了平均准确率提升：1.5B 模型提升 7.8%，7B 模型提升 15.1%，14B 模型提升 21.7%。
- 在几乎所有语言中都观察到了增益，某些低资源语言（如俄语、泰卢固语）的相对提升超过了 100%。
- 该方法优于之前的基准方法，包括测试时缩放（S1）和基于 DPO 的方法（LIDR），特别是在 Token 效率方面。虽然 S1 取得了具有竞争力的结果，但对于较长的推理轨迹，它需要大约 3 倍的 Token 量。
泛化性：
- 未见语言： 当在语言子集上进行训练时，模型在 MGSM 的未见语言上实现了 18.2% 的平均提升。
- OOD 基准测试： 该方法在 mGPQA 上获得了平均 4.7% 的增益，在 MMATH 上获得了 6.2% 的增益，优于会导致 OOD 任务性能下降的 LIDR。
一致性： 分析确认，该方法显著提高了单语言和跨语言的自一致性。使用此方法训练的模型与基准模型相比，能以更少的样本量（Maj@8）达到接近峰值的性能，表明其优化了推理计算效率。
资源层级： 该方法显著缩小了英语与其他语言之间的性能差距，尤其是在高资源和中等资源层级，尽管由于底层模型的熟练度限制，低资源语言仍然相对滞后。

意义与主张

论文声称，基于一致性的方法为提升 LLM 的多语言能力提供了一条可行路径，而无需承担监督数据标注的高昂成本。

公平性与鲁棒性： 通过缩小高资源语言与低资源语言之间的性能差距，该方法推动了 LLM 在不同语言语境下的公平性和鲁棒性。
内在提升： 不同于依赖英语作为代理的“翻译至英语”策略，该方法提升了模型在源语言中的内在推理能力。
实用性： 依靠自我翻译和单语言数据，使得该方法具有高度的可扩展性，并适用于不存在多语言推理数据的领域。

作者总结道，虽然该方法依赖于当前的模型规模（20B 以下）并面临低资源基准测试可用性的限制，但它为大规模增强多语言推理性能铺平了道路。未来的工作建议探索非可验证任务和更大的模型架构。