Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training

这篇论文提出了一种名为 ACTOR-CURATOR (AC) 的框架，旨在解决大语言模型（LLM）强化学习（RL）后训练（Post-Training）中的可扩展课程学习问题。该框架通过完全自动化的方式，利用策略改进（Policy Improvement）理论来动态筛选训练数据，从而显著提升训练效率和最终性能。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 背景：RL 已成为大模型后训练的核心范式（如 DeepSeek-R1, o1 等），用于提升推理、对齐和特定任务能力。然而，后训练通常涉及从海量、异构的数据集中选择训练样本。
• 核心挑战：
  • 数据选择至关重要：训练样本的选择、排序和频率直接影响收敛速度、稳定性和最终泛化能力。
  • 现有方法的局限性：传统的课程学习（Curriculum Learning）依赖人工标注难度、手动设计的“问题桶”或基于表格的统计信息。这些方法无法扩展到大规模数据集，难以泛化到未见过的样本，且当策略（Actor）进化导致问题效用变化时，这些静态或启发式的方法会失效。
  • 非平稳性与部分反馈：训练动态是非平稳的（随着模型变强，问题的难度和效用也在变），且 curator 只能观察到被选中样本的反馈（部分反馈），未选中样本的效用未知。
  • 探索与利用的权衡：需要在探索未充分采样的问题和利用当前已知能带来最大提升的问题之间取得平衡。

2. 方法论 (Methodology)

ACTOR-CURATOR 的核心思想是将问题选择建模为一个**非平稳随机多臂老虎机（Non-stationary Stochastic Bandit）**问题，并训练一个神经网络的"Curator（策展人）”来直接优化策略改进目标。

2.1 核心组件

• Actor（执行者）：标准的 LLM，负责生成解决方案并接收奖励。
• Curator（策展人）：一个神经网络，负责从大型问题库中自适应地选择训练样本。它不依赖人工难度标签，而是直接学习哪些样本能带来最大的策略改进（Policy Improvement）。

2.2 训练目标：策略改进驱动

Curator 的目标不是最大化绝对奖励或平均优势，而是最大化期望的策略性能提升。

• 定义迭代 $t$ 的性能提升为 $u_t = J(\pi_{t+1}) - J(\pi_t)$。
• 利用策略差异恒等式（Performance Difference Identity），将总提升分解为每个问题 $x$ 的贡献 $u_x^t$：
  $$u_x^t = p_X(x) \mathbb{E}_{y \sim \pi_t} \left[ \frac{\pi_{t+1}(y|x)}{\pi_t(y|x)} A_{\pi_t}(y|x) \right]$$
  其中 $A$ 是优势函数。这个信号是无偏的，且直接反映了该样本对策略更新的边际贡献。

2.3 算法流程

1. 两阶段采样（Two-stage Sampling）：
   • 首先从提议分布 $\tilde{q}$ 中采样一个候选批次 $\tilde{X}_t$（例如 2048 个样本）。
   • Curator 根据当前策略 $p_\phi$ 对候选批次进行重加权，从中采样出实际训练批次 $X_t$（例如 256 个样本）。
   • 这种设计解决了直接从百万级数据集中采样的计算不可行性，同时保持了估计的无偏性。
2. Actor 更新：Actor 在选定的 $X_t$ 上进行 Rollout 并更新（使用 GSPO 或 GRPO 等算法）。
3. Curator 更新：
   • 基于更新前后的策略 $\pi_t$ 和 $\pi_{t+1}$，计算每个选中样本的无偏策略改进估计值 $\hat{u}_x^t$。
   • 将问题选择视为 Bandit 问题，使用**在线随机镜像下降（Online Stochastic Mirror Descent, OSMD）**来更新 Curator 的参数。
   • 为了稳定训练，引入了类似 PPO 的**截断（Clipping）**机制，限制 Curator 策略分布的剧烈变化。

2.4 理论保证

• 论文证明了在部分反馈和非平稳环境下，基于 OSMD 的 Curator 具有动态后悔界（Dynamic Regret Bound）。
• 后悔界为 $O(T^{2/3} V^{1/3})$，其中 $V$ 衡量了问题效用随时间变化的剧烈程度。这表明算法能有效跟踪最优的采样分布。

3. 主要贡献 (Key Contributions)

1. 全自动化的可扩展框架：提出了 ACTOR-CURATOR，无需人工标注难度或手动构建数据集结构，即可在大规模异构数据集上实现自适应课程学习。
2. 基于策略改进的 Bandit 公式：首次将数据策展问题形式化为非平稳随机 Bandit 问题，并推导出了基于策略改进理论的无偏学习信号，而非依赖启发式信号（如绝对优势均值）。
3. 理论保证与算法设计：结合了 OSMD 算法和函数近似（神经网络），解决了大规模数据下的部分反馈和非平稳性问题，并提供了后悔界理论保证。
4. 实证性能突破：在多个高难度推理基准上取得了显著成果。

4. 实验结果 (Results)

实验在多个推理和数学基准上进行，包括 Countdown, Zebra, ARC-1D, MATH500, 和 AIME2024。

• 性能提升：
  • AIME2024：相比最强基线（PCL），相对提升 28.6%。
  • ARC-1D：相比最强基线，相对提升 30.5%；在 ARC-Hard 上提升高达 58.97%。
  • Countdown-Hard：提升 12.62%。
  • 在大多数基准上，ACTOR-CURATOR 均优于均匀采样（Uniform Sampling）、基于人工启发式的方法（SEC）和基于价值模型的方法（PCL）。
• 训练效率：
  • 达到相同性能所需的训练步数显著减少，实现了高达 80% 的加速（例如在 Zebra 数据集上）。
  • 训练曲线显示更稳定的优化过程，且在基线方法性能 plateau 后仍能持续提升。
• 消融实验：
  • 证明了“策略改进目标”和"OSMD 目标”是性能提升的关键，替换为绝对优势或回归损失会导致性能下降。
  • 证明了该方法对 Actor 更新算法（GRPO vs GSPO）和 Curator 模型大小具有鲁棒性。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 范式转变：ACTOR-CURATOR 展示了训练数据选择本身可以作为一个可优化的在线过程，而非静态资源。这减少了对繁琐的数据工程（Data Engineering）的依赖。
  • 通用性：该方法独立于具体的 Actor 更新算法，可广泛应用于各种 RLHF/RLAIF 场景。
  • 可扩展性：为在海量数据上训练大模型提供了一条 principled（有理论依据）且自动化的路径。
• 局限性：
  • 依赖奖励信号：与所有基于 RL 的后训练方法一样，需要可靠且可验证的奖励信号（如数学、逻辑、代码），在开放域生成任务中应用受限。
  • 计算开销：引入 Curator 增加了约 9% 的墙钟时间（Wall-clock time）开销，尽管相对于训练效率的提升而言是可以接受的。
  • 底层稳定性：如果 Actor 的优化本身不稳定，Curator 无法完全解决训练崩溃的问题。

总结：ACTOR-CURATOR 通过结合 Bandit 优化、神经函数近似和策略改进理论，成功解决了大模型 RL 后训练中数据选择的自动化和可扩展性问题，在多个高难度推理任务上实现了显著的性能和效率提升，为未来的自适应课程学习提供了新的基准。