ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

1. 研究背景与问题 (Problem)

背景：
大型推理模型（LRMs）通过基于可验证奖励的强化学习（RLVR，如 GRPO）在数学推理等挑战性任务上展现了强大的能力。然而，现有的研究和训练主要局限于英语思维链（Chain-of-Thought, CoT）。

核心问题：

1. 多语言潜力的忽视： 尽管多语言思维（Multilingual Thinking）被证明能扩展模型的探索空间并可能带来更高的回报，但目前的 LRM 训练通常将其视为性能障碍（“诅咒”）或仅作为用户服务，而非提升推理能力的核心手段。
2. 探索与利用的局限： 传统的 RL 训练通常固定使用英语进行推理，限制了模型在动作空间（即不同的思维语言）中的探索。模型无法自主决定在何种情况下使用哪种语言进行思考，导致无法利用非英语语言在某些特定任务上的潜在优势。
3. 用户合规性需求： 全球用户需要模型能够生成符合其母语思维轨迹的推理过程，而现有的英语主导模型在强制非英语输出时往往表现不佳或产生幻觉。

目标：
提出一种新的后训练管道，使模型能够在强化学习过程中自主进行思维语言选择（On-Policy Thinking Language Selection），从而在“探索（Exploration）”和“利用（Exploitation）”阶段实现更好的平衡，提升整体推理性能。

---

2. 方法论 (Methodology)

作者提出了 ExpLang 框架，包含三个关键构建模块：

2.1 高质量多语言思维数据构建 (Data Synthesis)

• 数据生成： 利用一个更大的开源模型（Qwen3-32B）作为教师模型，在现有的英文数学数据集上，通过 12 种非英语前缀（6 种欧洲语言 + 6 种亚洲语言）诱导生成多语言思维链。
• 过滤与清洗： 使用 LangDetect 验证思维语言，使用 HuggingFace Math-Verify 验证答案正确性，剔除错误数据。
• 格式标记： 在思维标签前添加 <lang_select>[lang]</lang_select> 标记，使模型学会根据标记选择语言。

2.2 思维语言选择的冷启动 (Cold-Start via SFT)

• 监督微调 (SFT)： 使用 LoRA（Low-Rank Adaptation）对基础模型（Qwen3-4B）进行微调，使其能够严格遵循语言选择标签。
• 防止遗忘： 采用 LoRA 而非全量微调，以减轻对预训练模型数学推理能力的灾难性遗忘（Catastrophic Forgetting）。

2.3 带思维语言选择的 RLVR 训练 (RLVR with On-Policy Selection)

这是核心创新点，将“语言选择”作为 RL 中的一个动作，分为两个阶段：

• 阶段一：探索阶段 (Exploration Stage, 前 1/4 步)

  • 目标： 鼓励模型尝试不同的思维语言，扩展探索空间。
  • 奖励设计：
    • 多样性奖励 ($r_d$)： 对采样频率较低的语言给予奖励（$r_d = k_{min}/k$），鼓励模型尝试少见的语言。
    • Pass@k 奖励 ($r_p$)： 设为 0，不强制收敛。
    • KL 散度： 禁用，以最大化输出多样性。
  • 机制： 模型自主决定使用哪种语言，而非强制指定。

• 阶段二：利用阶段 (Exploitation Stage, 后 3/4 步)

  • 目标： 收敛到表现最优的语言策略，利用已探索到的优势。
  • 奖励设计：
    • 多样性奖励 ($r_d$)： 设为 0。
    • Pass@k 奖励 ($r_p$)： 设为 0.5。对于每个正确答案，同一批次中相同思维语言的其他正确回答也给予奖励。这鼓励模型选择那些能产生更多正确答案的“高效语言”。
    • KL 散度： 重新启用，以减缓语言选择的过度集中，保持一定的稳定性。

总奖励函数：
$$r = \lambda_f r_f + \lambda_c r_c + \lambda_d r_d + \lambda_p r_p + \lambda_v r_v$$
其中 $r_f, r_c, r_v$ 分别为格式、合规性和原始规则验证奖励。

---

3. 关键贡献 (Key Contributions)

1. 提出 ExpLang 管道： 首个将“思维语言选择”作为强化学习中的自主动作（On-Policy Action）的训练框架，实现了多语言探索与利用的有机结合。
2. 性能提升与效率优化： 在相同的训练预算下，ExpLang 在数学推理任务上稳定超越了仅使用英语训练的基线模型，同时减少了推理所需的 Token 数量。
3. 卓越的语言合规性： 模型在强制指定语言（包括未见过的语言）时，表现出近乎完美的合规性（Compliance），解决了多语言推理中常见的语言混用问题。
4. 揭示“英语 - 多语言 - 英语”的演变规律： 研究发现模型在训练过程中经历了从英语主导，到多语言广泛探索，最后回归英语主导（但融合了多语言优势）的演变过程，证明了多语言探索能有效提升最终性能。
5. 正交性与通用性： 该方法与大多数 RL 算法（如 GRPO, Dr. GRPO, DAPO 等）正交，易于集成到现有的 LLM 训练流程中。

---

4. 实验结果 (Results)

实验基于 Qwen3 模型系列（4B, 8B, 32B），在 MATH-500, AIME 2025, Olym-MATH 等数据集上进行测试。

• 自动选择性能 (Automatic Selection)：

  • ExpLang 在 MATH-500 上的准确率从基线的 78.1% 提升至 91.5%，Pass@k 提升至 96.8%。
  • 相比仅英语训练的 RL 基线，ExpLang 在 RL 阶段带来的性能增益更大（+19.4% vs +13.3%）。
  • 推理 Token 数量显著减少（例如 MATH-500 从 1416.9 降至 1263.3），表明推理效率更高。

• 强制语言选择性能 (Forced Selection)：

  • 已见语言 (Seen Languages)： 在 12 种训练过的非英语语言中，ExpLang 的合规性达到 99.9%，远超基线（约 66%-78%）。在合规样本上的准确率（AccF）和包含不合规样本的准确率（Acc*）均显著优于基线。
  • 未见语言 (Unseen Languages)： 在 4 种未见过的低资源语言（印尼语、希伯来语等）上，ExpLang 依然保持了较高的合规性（~75%）和性能，证明了良好的泛化能力。

• 消融实验 (Ablation Study)：

  • LoRA vs 全量微调： LoRA 有效避免了数学能力的灾难性遗忘。
  • 探索阶段的重要性： 移除探索阶段会导致自动设置下的性能下降，证明多语言探索对最终性能至关重要。
  • 利用阶段的重要性： 移除 Pass@k 利用奖励会导致自动设置下性能下降，说明收敛到高效语言是必要的。

• 机制分析：

  • 策略熵 (Policy Entropy)： 探索阶段熵值下降较慢（保持多样性），利用阶段熵值快速下降（收敛到最优策略）。
  • 非英语优势利用： 训练后，模型将非英语思维中的潜在优势转化为了英语推理能力的提升（Win-Tie-Lose 分析显示非英语优势被有效利用并迁移）。

---

5. 意义与影响 (Significance)

1. 重新定义多语言推理： 挑战了“多语言是性能诅咒”的传统观点，证明了多语言思维可以作为提升 LLM 推理能力的有效手段，通过扩展动作空间来优化 RL 的探索与利用。
2. 提升全球用户体验： 使模型能够真正理解并生成符合用户母语习惯的思维过程，同时保持甚至超越英语推理的性能，促进了语言平等。
3. 训练范式创新： 提供了一种低成本、高效率的 RL 训练新视角，即通过引入“语言选择”这一元动作，无需额外增加大量数据或计算成本，即可显著提升模型在复杂任务上的表现。
4. 通用性： 该框架不依赖于特定的 RL 算法，可广泛应用于未来的大模型推理优化研究中。

总结： ExpLang 通过让模型在强化学习中自主决定“用什么语言思考”，成功地将多语言多样性转化为推理能力的提升，实现了在保持高语言合规性的同时，显著超越纯英语训练模型的性能。