技术摘要：函数近似下具有模型误设的在线 KL 正则化强化学习

1. 问题形式化

本研究解决了在一般函数近似且所选模型类存在**误设（Misspecification）**的情况下，**KL 正则化上下文多臂老虎机（Contextual Bandits）和情节强化学习（Episodic RL）**的问题。

在标准设定中，理论保证通常依赖于可实现性假设（Realizability Assumption），即假设真实的奖励或价值函数恰好位于学习者的函数类之内。然而，在人类反馈强化学习（RLHF）和大型语言模型（LLM）后训练等实际应用中，学习者经常使用受限的函数类（例如线性或低秩模型），这些模型无法完美捕捉复杂的非线性奖励结构。这导致了模型误设，即即使拥有无限数据，所选类中的最佳预测器仍会保留非零的近似偏差。

具体目标为：

• 上下文多臂老虎机： 相对于 KL 最优 Gibbs 策略（由参考策略 $\pi_{\text{ref}}$ 和正则化参数 $\eta$ 定义），最小化累积 KL 遗憾（KL-regret）。
• 情节强化学习： 在情节 MDP 设定下，最小化累积 KL 遗憾，其中策略更新相对于阶段性参考策略进行 KL 惩罚。

核心挑战在于，现有的针对标准奖励遗憾形式的误设分析，由于优化几何结构和 Bellman 目标的差异，无法直接迁移到 KL 正则化设定中。

2. 方法论

2.1 误设形式化

作者引入了专门针对 KL 正则化目标的特定误设条件：

• 上下文多臂老虎机： 一种**逐点误设（Pointwise Misspecification）**形式化，其中真实奖励 $R^\star$ 与类 $\mathcal{R}$ 中最佳近似器之间的平方误差由 $\zeta_{\text{Bandit}}^2$ 限制。
• 情节强化学习： 一种与 KL 正则化 Bellman 目标一致的**阶段性误设（Stagewise Misspecification）**条件。该条件限制了真实 Bellman 回传（涉及对数配分算子）与阶段性函数类 $\mathcal{R}_h$ 中最佳近似器之间的误差，并由 $\zeta_{\text{RL}}$ 限制。

2.2 算法

论文提出了两种结合了乐观主义（Optimism）以处理不确定性和误设的回归算法：

1. MR-KL-UCB（上下文多臂老虎机）：

   • 在观测数据上拟合经验风险最小化器（ERM）。
   • 基于函数类的Eluder 维度计算不确定性奖励（Uncertainty Bonus）。
   • 将已知的误设水平 $\zeta_{\text{Bandit}}$ 添加到奖励中。
   • 使用基于乐观奖励估计的 Gibbs 分布更新策略：$\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$。

2. MR-KL-LSVI（情节强化学习）：

   • 将最小二乘值迭代（LSVI）扩展到 KL 正则化设定。
   • 进行后向规划：在每个阶段 $h$，利用下一阶段的连续值重新计算回归标签。
   • 拟合阶段性 ERM，计算不确定性奖励，并添加误设水平 $\zeta_{\text{RL}}$。
   • 通过相对于阶段性参考策略的 Gibbs 策略改进来更新策略。
   • 使用**软价值更新（Soft-value Update，即对数配分算子）**来处理 KL 正则化。

2.3 理论分析技术

分析结合了多种先进技术：

• Gibbs 变分恒等式（Gibbs Variational Identity）： 利用 KL 间隙（Gap）与得分差异之间的精确关系来界定遗憾。
• 二次自界定（Quadratic Self-Bounding）： 确立学习者策略与最优策略之间的 KL 间隙由其得分函数的平方差所上界约束（即乐观间隙）。
• 归约为 Bellman 残差（Reduction to Bellman Residuals）： 将平方在策略（On-policy）Q-间隙转换为平方 Bellman 残差项，从而隔离出 KL 特有的贡献。
• Freedman 不等式： 用于将可预测的平方奖励之和与实现的奖励之和对齐，确保高概率保证。

3. 核心贡献

1. 新颖的误设形式化： 论文定义了首个与 KL 对齐的误设条件，涵盖上下文多臂老虎机（逐点）和情节强化学习（沿 Bellman 路径的阶段性）。
2. 算法设计： 引入了 MR-KL-UCB 和 MR-KL-LSVI，这些算法能够显式地将乐观性奖励校准到已知的误设水平 ($\zeta$)，同时保持 KL 正则化目标所需的 Gibbs 策略结构。
3. 高概率遗憾保证： 作者建立了高概率 KL 遗憾界限，该界限显式地将统计复杂度（通过 Eluder 维度）与由于误设导致的近似误差分离。
   • 对于老虎机：$O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$。
   • 对于 RL：$\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$。
4. 恢复可实现情况： 分析表明，当误设水平为零（$\zeta = 0$）时，这些界限可以恢复可实现 KL 正则化设定的最先进（SOTA）保证。

4. 结果

主要理论结果（定理 5.1 和推论 5.4）提供了以下保证：

• 上下文多臂老虎机： 在逐点误设模型下，累积 KL 遗憾随函数类的 Eluder 维度的平方根缩放，并随总时间跨度 $T$ 乘以平方误设误差 $\zeta_{\text{Bandit}}^2$ 线性缩放。
• 情节强化学习： 在阶段性误设条件下，遗憾随时间跨度 $H$、正则化参数 $\eta$、聚合 Eluder 维度以及平方误设误差 $\zeta_{\text{RL}}^2$ 缩放。该界限包含一个用于平方奖励之和的显式项，该项受误设水平控制。

这些结果在高概率（$1-\delta$）下成立，并假设噪声是条件亚高斯（Conditionally Sub-Gaussian）的。

5. 意义与主张

本文声称填补了 RLHF 和基于偏好学习 理论理解中的关键空白，在这些领域中，模型误设很常见但往往在理论分析中被忽略。

• 弥合理论与实践： 通过超越可实现性假设，这项工作为现代 RL 应用提供了一个更现实的理论框架，因为在这些应用中，简单的函数类（如线性模型）常被用于近似复杂的奖励景观。
• 结构性洞察： 分析强调了 KL 正则化目标引入了特定的几何挑战（例如对数配分算子和 Gibbs 策略），这需要与标准奖励遗憾形式不同的特定误设条件。
• 鲁棒性： 证明了所提算法具有鲁棒性，能够应对近似误差，随着误设水平的增加而优雅地退化，而不是像某些依赖于可实现性的界限那样完全失效。

作者指出，其模型假设了逐点误设和轻尾噪声。他们承认，将这些保证扩展到在策略（On-policy）误设度量、重尾设置以及比当前范围更广泛的反馈模型（如基于偏好的形式化）仍然是一个重要的未来研究方向。