Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

技术摘要：用于基于强化学习的自适应控制的运行时增量 Transformer (Runtime-Incremental Transformer)

问题陈述
本文研究了针对受非观测摩擦记忆（特别是 Stribeck 摩擦）影响的机器人机械臂，进行基于学习的自适应控制所面临的挑战。在这些系统中，摩擦力取决于一个具有有限“记忆时界”（$\tau_z$）的隐藏内部状态，这使得相对于测量状态而言，闭环系统是非马尔可夫的。作者的前期工作（INCRT-1L）使用了一个具有固定注意力头数（$K$）的单层 Transformer 编码器来处理滑动窗口内的历史测量数据。然而，该方法依赖于一种离线的两阶段程序（阶段-1/阶段-2）来通过代理算子分析来选择 $K$。虽然这种方法对于短中等记忆时界（$\tau_z \in \{1, 2\}$ s）是有效的，但在长记忆时界（$\tau_z = 5$ s）下，这种固定容量的方法在 40% 的训练种子中出现了灾难性失败。这些失败归因于强化学习（RL）优化景观中的局部吸引子，而这些吸引子在离线代理分析中是不可见的。

方法论：Runtime-INCRT
本文引入了 Runtime-INCRT，这是一种在强化学习训练循环期间动态增加和剪枝 Transformer 编码器注意力头的机制，从而消除了对离线架构搜索的需求。

1. 可变头架构： 元控制器采用一个最大容量为 $K_{max}$ 个头的 Transformer 块。在任何训练步 $t$，一个激活掩码决定了当前的头数 $K(t)$。
2. 运行时触发器：
   • 增长（Growth）： 当在线策略上下文标记（context-token）分布的有效秩（$\hat{\rho}_\alpha$）超过当前容量乘以一个阈值（$K(t)(1+\epsilon_{grow})$）时，触发增长。这表明当前的表示容量不足以捕捉策略输入分布的复杂性。
   • 剪枝（Pruning）： 当一个激活头的相对输出幅度低于阈值（$\epsilon_{prune}$）时，触发剪枝，将其标记为冗余头。
3. 操作约束：
   • 冷却期（Cooldown）： 在事件之间强制执行最小步数（$\Delta_{grace}$），以允许策略进行适应。
   • 软初始化（Soft Initialization）： 当增加一个新头时，其输出投影矩阵（$W^O$）被初始化为零。这确保了新头在初始阶段贡献为零，从而保持策略的连续性。
   • 剪枝界限： 当移除一个头时，策略输出的变化量由剪枝阈值进行限制。

理论保证
作者建立了三个分析保证，以确保学习过程的稳定性：

• 增长时的零损失（命题 7）： 由于采用了软初始化（$W^O=0$），增加一个头在增长瞬间不会导致策略输出的变化。
• 策略连续性界限（定理 9）： 剪枝事件引入的累积不连续性由剪枝事件的数量和阈值 $\epsilon_{prune}$ 线性约束。
• 头数收敛性（命题 11）： 只要上下文分布的经验有效秩趋于稳定，激活头数 $K(t)$ 就会收敛到由增长和剪枝阈值决定的稳态区间。

实验结果
该方法在具有 Stribeck 摩擦的 2 自由度机械臂上，在三种记忆机制（$\tau_z \in \{1, 2, 5\}$ s）下进行了评估，共计 30 次运行（每个机制 10 个随机种子）。

• 成功率： Runtime-INCRT 实现了 100% 的成功率（30/30 次运行），成功消除了在长时界下观察到的固定 $K$ 基准模型的失效模式。
• 性能： 它在所有记忆机制下均实现了完全成功，仅需一组超参数，优于在 $\tau_z = 5$ s 时失效的固定 $K$ 方法。
• 容量动态： 与预期控制器会根据任务复杂度调整 $K(t)$ 相反，该机制在所有运行中都达到了最大头容量上限（$K_{max}=8$）。剪枝触发器从未被触发。
• 消融研究洞察：
  • 在 $\tau_z = 2$ s 时改变 $K_{max}$ 显示，较小的容量上限（$K_{max}=2$）比较大的上限（$K_{max}=16$）具有更好的平均性能和更低的方差，这表明较大的容量并不必然提高性能。
  • 性能相对于冷却期参数（$\Delta_{grace}$）是非单调的，默认值是最优的。
  • 机制结论： 作者认为 Runtime-INCRT 的益处源于训练轨迹，而非最终容量。容量的逐渐激活在单个 RL 运行中起到了隐式**容量课程（capacity curriculum）**的作用，引导优化器避开较差的局部吸引子。

意义与主张
本文声称，Runtime-INCRT 为非马尔可夫环境下的自适应控制提供了一种原则性的替代方案，以取代离线架构搜索。其主要贡献在于证明了运行时调整模型容量（由在线数据分布的有效秩驱动）可以解决与长记忆时界相关的优化失败问题。作者强调，该方法消除了为确定头数而进行逐任务超参数搜索的需求，并提供了关于策略连续性的分析保证，这使其区别于标准的“重启并调整大小（restart-and-resize）”方法。这项工作表明，容量增长的过程本身作为一种关键的归纳偏置，对于复杂控制任务中成功的 RL 训练至关重要，而不仅仅是最终的模型大小。