IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

以下是论文《IRIS：用于跨语言数学推理的交错强化与增量阶段课程》的详细技术总结。

1. 问题陈述

大型语言模型（LLMs）在处理复杂的数学推理时面临困难，特别是在多语言和低资源环境（例如印地语和马拉地语等印度语言）中。现有的训练范式存在两个主要局限性：

• 奖励稀疏性： 仅奖励最终答案的训练无法监督中间推理步骤，导致产生幻觉的逻辑链。
• 课程差距： 标准的课程学习（从简单问题逐步过渡到难题）往往无法捕捉推理在何处崩溃。相反，步骤级强化方法（如反向课程）通常缺乏难度调度，导致在稀疏奖励下的学习不稳定。
• 跨语言迁移： 低资源语言往往缺乏足够的数据来独立维持高质量的推理，而推理轨迹的直接翻译通常会破坏连贯性。

2. 方法论：IRIS 框架

作者提出了IRIS（交错强化与增量阶段课程），这是一种旨在将技能习得与推理优化解耦的双轴训练框架。

A. 双轴课程

1. 垂直轴（问题级课程）：

   • 目标： 逐步增加任务难度。
   • 过程： 模型分阶段进行监督微调（SFT）：简单 $\to$ 简单 + 中等 $\to$ 简单 + 中等 + 困难。
   • 机制： 模型针对复杂度递增的问题学习完整的推理轨迹，在强化学习开始之前建立推理模式的基线。

2. 水平轴（步骤级延续课程）：

   • 目标： 减少对提供推理前缀的依赖，鼓励独立规划。
   • 过程： 采用反向课程方法。对于包含 $n$ 个步骤的问题，模型在 $n-1$ 个阶段进行训练。
     • 阶段 0（最简单）： 模型被给予 $n-2$ 个步骤，必须仅生成最后 2 个步骤。
     • 阶段 $k$： 模型被给予 $n-k-2$ 个步骤，必须生成剩余部分。
     • 阶段 $n-2$（最困难）： 模型仅被给予问题，必须从头开始生成完整解决方案。
   • 机制： 这迫使模型从完成部分链条过渡到生成完整的推理轨迹。

B. 复合奖励设计（RLVR）

为了优化水平轴，作者使用组相对策略优化（GRPO），并配合一种新颖的复合奖励函数 $R_k$：
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• 正确性（$r_{final}$）： 针对精确答案匹配的二元奖励（+2）。
• 余弦对齐（$r_{cos}$）： 衡量生成后缀与真实推理步骤之间的语义相似度。关键在于，随着课程阶段的增加，该权重 $\lambda_k$ 线性衰减。它在早期阶段充当稳定器，但在困难阶段被消除，以鼓励多样化且有效的推理路径。
• 连续性（$r_{cont}$）： 奖励正确的步骤编号和逻辑流（例如，从前缀结束的地方继续）。
• 整数激励（$r_{int}$）： 对产生数值输出给予小额奖励。

C. 多语言策略：英语作为推理锚点

该框架引入了双语训练设置（例如英语 + 印地语）。

• 假设： 英语充当“推理锚点”。由于英语拥有高质量的推理数据，它能稳定学习动态。
• 机制： 模型从英语中学习推理的逻辑，并将这种能力迁移到低资源语言（印地语/马拉地语），后者主要专注于用新脚本表达该逻辑。实验表明，即使是20% 的英语混合，也能显著防止单语言低资源训练中的奖励停滞。

3. 主要贡献

1. IRIS 框架： 一种新颖的双轴课程，结合了基于难度的 SFT（垂直轴）与反向步骤 RL（水平轴），以稳定长视野推理。
2. 复合奖励函数： 一种多组件奖励信号，平衡答案正确性与步骤级对齐及结构连续性，并通过 GRPO 进行优化。
3. CL-Math 数据集： 一个新的29,000 示例多语言数据集，包含带有步骤级标注的数学问题，涵盖英语、印地语和马拉地语。每种语言包含 2,184 个简单、2,212 个中等和 5,588 个困难样本，并设有严格的训练/测试划分以防止数据泄露。
4. 跨语言洞察： 实证证据表明，双语训练（英语 + 低资源）充当必要的正则化器，使得在单语言方法失败的情况下仍能进行稳定的 RL 后训练。

4. 结果

作者在Qwen2.5-Math-7B和WizardMath-7B模型上评估了 IRIS。

• CL-Math 上的性能：
  • 与基线相比，IRIS 在最难的印地语问题上的推理准确率提高了高达**+15.8%**。
  • 双语设置（英语 - 印地语/马拉地语）显示出比单语言设置显著的增益，证实了“推理锚点”假设。
• 对标准基准的泛化能力：
  • SVAMP： 90.6%（基线为 70.4%）。
  • GSM8K： 83.9%（基线为 70.6%）。
  • MATH： 64.6%（基线为 29.5%）。
  • IRIS 的表现优于其他专用 7B 模型（MetaMath, DeepSeek-Math），并在特定基准上接近 GPT-4 的性能。
• 消融研究：
  • 移除垂直 SFT 预热或课程进度会显著降低性能。
  • 将奖励简化为仅正确性会降低准确率，突显了复合奖励结构的重要性。
  • 马拉地语训练中 20% 的英语混合产生了最佳平衡，起到了正则化器的作用。

5. 意义与影响

• 弥合低资源差距： IRIS 展示了一条实用路径，通过利用高资源英语数据而无需庞大的原生数据集，即可增强代表性不足语言（印地语、马拉地语）的数学推理能力。
• 稳定的推理强化学习： 阶段式课程与衰减对齐奖励的结合，解决了推理任务中强化学习常见的不稳定问题，使模型能够学习复杂的多步逻辑而不会崩溃。
• 开放科学： CL-Math和代码库的发布为社区进一步研究多语言推理和课程学习提供了关键资源。
• 认知对齐： 该框架模仿了人类的认知发展（先学习结构，再扩展复杂度），提供了一种比端到端黑盒优化更稳健的训练范式。

总之，IRIS 确立了结构化课程设计结合交错强化是解锁小语言模型（特别是在多语言背景下）深层推理能力的高效策略。