技术总结：部署中的强化学习应当是持续性的

问题陈述

本文指出，现实世界中强化学习（RL）部署的理论本质与现行的工程范式——即所谓的**“先训练后修复”（train-then-fix）**——之间存在根本性的不匹配。在这种标准范式下，智能体在离线阶段（通过模拟、自我博弈或演示）进行训练，并在部署后将其冻结。一旦部署，学习便停止了，直到性能下降到足以触发由人工主导的重训周期为止。

作者认为，这种范式在**“可度量部署”（measurable deployment）**场景下在理论上是不充分的。可度量部署被定义为满足以下条件的场景：

1. 智能体运行在一个“大世界”（Big World）机制中，其环境复杂度超过了智能体的表示能力和可用计算资源。
2. 在部署后仍保留有评估性奖励信号（例如：用户参与度、行程完成率、建议接受率）。

在这些条件下，“先训练后修复”的方法会错失性能提升的机会。本文认为，任何在非平稳环境中接收评估性反馈（且该环境中的最优策略是不可表示或无法触达的）的智能体，本质上都面临着一个**持续强化学习（Continual Reinforcement Learning, CRL）**问题。核心问题在于，传统的马尔可夫决策过程（MDP）形式化方法假设环境是平稳的，且存在一个固定的最优策略（$\pi^*$），这无法捕捉现实世界中“永无止境”的适应过程。

方法论与理论框架

1. 理论基础：历史过程形式化（History Process Formalism）

为了严谨地定义这一问题，本文并未采用标准的 MDP 元组 $\langle S, A, P, R \rangle$，而是采用了历史过程形式化方法（Bowling 等，2023；Abel 等，2023）。

• 环境 ($e$)： 定义为一个将有限长度的历史（$H$）和动作（$A$）映射到观测值（$O$）分布的函数。
• 智能体状态 ($S$)： 代表智能体对其历史的压缩，这与 MDP 状态不同。
• 学习规则 ($\sigma$)： 一个从历史到策略分布（$\Pi$）的映射。
• CRL 定义： 如果“最佳智能体”（即在可达策略空间内最大化性能度量的智能体）永不停歇地学习，则该 RL 问题是一个 CRL 实例。在历史过程中，由于智能体无法重置环境或回到完全相同的过去历史，且环境是非平稳的，因此寻找最优策略的过程永远不会终止。

2. 非平稳性的特征化

本文识别了导致可度量部署中必须进行持续学习的四种特定非平稳性来源：

1. 动作诱导的非平稳性（Action-Induced Non-Stationarity）： 智能体自身的动作会改变未来历史的分布（例如：推荐系统改变了用户偏好）。
2. 环境动态变化（Changes in Environment Dynamics）： 发生在智能体控制之外的外部因素，如季节性变化、硬件老化或市场波动。
3. 目标演变（Evolving Goals）： 奖励函数本身随时间而变化，源于利益相关者优先级的转移、监管更新或安全约束的变化。
4. 涌现的新颖性（Emergent Novelty）： “大世界假设”指出，智能体不可避免地会遇到超出其有限训练阶段分布范围的“动作-观测”序列（包括“黑天鹅”事件）。

3. 学习规则分析

作者对比了两种学习规则（更新策略的策略）：

• 学习规则 A（先训练后修复）： 智能体寻找一个高性能策略，确定一个固定的 $\pi_{final}$，然后停止。随着时间推移，性能会下降，直到达到某个阈值触发新的搜索周期，从而呈现出“锯齿状”的性能模式。
• 学习规则 B（持续学习者）： 智能体意识到没有任何可达策略是全局最优的。它从不终止搜索，而是利用可用的评估信号不断调整策略，以追踪变化的靶点。

核心贡献

1. 范式转移提案： 本文认为，可度量部署不仅仅是一个可以用持续学习算法解决的问题，它在本质上就是一个 CRL 问题。这种区别在于问题设置（环境特征）而非仅仅是算法解决方案。
2. 形式化证明： 通过利用历史过程形式化方法，作者证明了由于上述四种非平稳性来源的存在，假设存在固定最优策略的观点在现实部署中是无效的。
3. 实证案例研究： 本文分析了三个成功利用持续学习（无论是隐式还是显式）的现实应用案例：
   • Cursor Tab： 一个使用在线策略梯度的代码补全系统。它面临涌现的新颖性（新的代码模式）和环境动态（不断演进的库）。其紧密的部署-训练循环（1.5–2 小时）使其能够适应这些变化，从而减少了 21% 的建议量，并提高了 28% 的接受率。
   • Lyft： 一个使用在线 RL 的网约车匹配算法。它主要面临动作诱导的非平稳性（司机重新定位）和环境动态（需求波动）。该系统通过在线适应而非依赖固定模型，每年创造了超过 3000 万美元的额外收入。
   • 模拟到现实的差距（Sim-to-Real Gap）： 本文认为，模拟与现实之间的差距是所有四种非平稳性来源的体现。即使经过领域随机化处理，策略仍需要实时数据以实现可靠性能，这使得部署后的学习变得至关重要。
4. 实践建议：
   • 针对从业者： 构建生产数据即训练数据的反馈循环；通过在线监控（如 switchback 实验）进行持续验证；并在开发过程中刻意引入非平向性，以压力测试系统的适应能力。
   • 针对研究者： 重新评估常规优化器（如 Adam, RMSProp）在持续学习环境下的表现；推导适用于历史过程的算法属性（超越马尔可夫保证）；采用如**偏差遗憾（deviation regret）**等不假设弱通信环境的评估指标；并在理论模型中明确考虑有限的资源约束。

结果与证据

本文并未呈现由作者生成的新实验结果，而是综合了现有文献和行业报告的证据：

• Cursor Tab： 证明了连续的在策略（on-policy）更新比静态模型发布具有更优的性能指标。
• Lyft： 展示了在线 RL 匹配系统在司机利用率和收入方面优于固定策略，验证了适应诱导非平稳性的能力。
• 理论证据： 引用了“生锈摆锤”（Rusting Pendulum）环境（附录 A），在该环境中，先训练后修复的策略在摩擦力累积时会失效，而持续学习者能维持性能。
• 文献趋势： 强调了学术界对 CRL 兴趣的激增（图 1）以及支持这一转变的理论基础（如历史过程形式化）的成熟。

重要性与主张

本文主张，“先训练后修复”范式只是将不可避免的持续学习问题进行了延迟处理，而非解决方案。其意义在于：

• 重新定义部署： 本文断言，在复杂世界中部署带有评估性反馈的智能体，在定义上就是一个 CRL 问题。忽视这一信号并依赖人工干预进行更新是一种次优策略，会牺牲性能。
• 安全性与适应性： 与“固定策略更安全”的观点相反，本文认为在非平稳环境中，固定策略会产生不安全的性能退化。当设计好安全约束时，持续学习对于保持与演进的目标及法规的一致性是必要的。
• 社区方向： 本文呼吁研究重点从“收敛于固定人工制品”的算法转向“具备持续开放学习能力的智能体”，并敦促从业者充分利用系统中已有的反馈信号。

本文最后总结道，提升现实世界 RL 性能的路径不在于更好的离线训练，而在于接受部署的持续本质，并设计出永不停歇寻找更好策略的智能体。