技术摘要：用于优化文本生成的半离线强化学习

问题陈述

用于文本生成的强化学习（RL）目前面临着**在线（Online）与离线（Offline）**设置之间的二分法，两者各具显著的权衡：

• 在线 RL： 允许语言模型（LM）通过对其输出分布进行采样来充分探索环境。虽然这提供了对最终目标（如 ROUGE、人类反馈）的全面理解，但会产生极高的优化成本。具体而言，使用 $K$ 个样本进行优化需要进行 $K \times T$ 次模型的正向传播（FP），其中 $T$ 是序列长度。对于大型预训练模型而言，这通常是难以实现的。
• 离线 RL： 利用静态数据集（例如真值或束搜索输出）来消除训练期间的自回归生成需求。这使成本从 $K \times T$ 次 FP 降低到 $K$ 次 FP。然而，它牺牲了探索能力；模型只能看到针对特定静态数据点的奖励信号，从而无法发现静态分布之外的最优生成方向。

本文解决的核心研究问题是：我们能否改进 RL 设置，以实现有效的探索并同时将优化成本降至最低？

方法论：半离线 RL

作者提出了 半离线 RL（Semi-Offline RL），这是一种通过由超参数 $p_m \in [0, 1]$ 控制的连续设计空间来弥合在线与离线设置之间差距的新范式。

1. 半离线 MDP 公式化

该方法基于马尔可夫决策过程（MDP）构建，其中一个样本是通过混合由语言模型生成的 Token 和来自静态数据集的 Token 来组成的。

• 状态 ($s_t$)： 包括输入 $x$、部分生成的输出以及一个二进制掩码序列 $M_0, \dots, M_t$。
• 转移： 在每一步 $t$，伯努利变量 $M_{t+1} \sim \text{Bernoulli}(p_m)$ 决定了下一个 Token 的来源：
  • 如果 $M_{t+1} = 1$：智能体从 LM 中采样一个 Token $\hat{y}_t$（探索）。
  • 如果 $M_{t+1} = 0$：智能体从静态数据集中获取一个 Token $y_t$（利用）。
• 成本分析： 在完全可观测的情况下，期望的正向传播次数为 $E(C_t) = t \cdot p_m$。通过设置 $p_m \in (0, 1)$，该方法在探索能力与中间优化成本之间取得了平衡。

2. 最优 RL 设置：掩码观测（Masked Observations）

为了实现最小优化成本（即无论样本数量多少，均为 1 次 FP）同时保持探索能力，作者将其转化为**部分可观测 MDP（POMDP）**公式化。

• 约束： 为了实现并行生成（1 次 FP），智能体的动作不能依赖于同时由模型生成的 Token。
• 最优观测 ($o^*_t$)： 作者证明了最优观测满足三个理想属性（DP1-DP3）：
  1. 最小优化成本： 通过 1 次 FP 实现。
  2. 最小渐近偏差： 需要保留所有有助于预测状态的信息。
  3. 最小过拟合误差界限： 需要减少观测中冗余的信息。
• 实现： 最优设置通过掩码观测来实现。语言模型的输入由源文本 $x$ 和目标序列组成，其中由模型生成的 Token 被特殊的掩码 Token $[M]$ 取代，而来自静态数据集的 Token 则保持可见。
  • $y^M_t = [M]$ 如果 $M_t=1$（模型生成）。
  • $y^M_t = y_t$ 如果 $M_t=0$（使用静态数据）。
  • 这使得模型能够通过单次正向传播同时探索 $K$ 条不同的轨迹，因为观测值在不同样本间保持不变。

3. 优化策略

• 损失函数： 模型使用策略梯度方法（带基线的 REINFORCE）进行优化。损失函数被分解为 Token 级的奖励，从而能够高效地估计在掩码观测下生成特定 Token 的优势（Advantage）。
• 训练协议：
  1. 预训练： 在带有部分掩码的真值数据上微调预训练 LM（M-FT），以使其适应掩码输入格式。
  2. RL 训练： 最小化组合损失 $L = L_{MLE} + \lambda L_{RL}$，其中 $L_{MLE}$ 防止策略偏离原始数据集，$L_{RL}$ 则优化特定的目标（如 ROUGE）。

核心贡献

1. 定义了半离线 RL： 本文定义了一个理论设计空间，可在离线与在线 RL 之间平滑过渡，为基于探索能力和优化成本比较不同设置提供了基础。
2. 理论最优性： 作者推导出了满足最小优化成本、最小渐近偏差和最小过拟合误差界的理论最优 RL 设置（掩码观测）。
3. 高效实现： 他们证明了这种最优设置可以通过混合静态数据与掩码 Token 来实现，从而实现仅用 1 次正向传播即可探索 $K$ 个样本。
4. 实验验证： 大量实验表明，该方法取得了与最先进方法（包括在线 Actor-Critic 和离线 BRIO）相当或更优的表现，同时显著降低了训练时间和计算成本。

实验结果

该方法在四个文本生成任务上进行了评估：CNN/DM 和 SAMSum（摘要生成）、SQuAD（问题生成）以及 XSum（极端摘要）。

• 性能 vs. 成本： 所提方法（“OURS”）达到了与最先进方法（如 BRIO、AVG、SC、AC）相当或更优的结果，而仅需 $N$ 次正向传播（其中 $N$ 是实例数量），相比之下，多样本在线方法需要 $N \times T$ 或 $N \times K \times T$ 次传播。
• 效率： 在 SQuAD 和 SAMSum 数据集上，半离线方法展现出比 BRIO 和 AVG 更快的优化速度和更低的训练时间消耗。
• 消融实验：
  • 移除掩码信息（违反引理 1）会导致性能下降，原因是奖励估计不准确。
  • 添加冗余信息（违反引理 2）会导致过拟合及测试集表现下降。
  • 使用“更难”的静态数据集（DATA-，较低指标的候选者）进行探索，比使用高质量候选者（DATA+）效果更好，这表明探索次优点的邻域有助于识别改进方向。

意义与主张

本文声称，半离线 RL 提供了一个理论基础，用于比较不同的 RL 设置，并为在线 RL 的高计算成本提供了一个实际解决方案。通过利用掩码观测策略，该方法使大型预训练语言模型能够以离线训练的效率来探索环境并优化复杂目标（如人类反馈或 ROUGE）。作者断言，这种方法使模型能够识别出比纯离线方法更好的改进方向，同时避免了全在线探索所带来的高昂时间成本。