🤖 AI

Agile Reinforcement Learning through Separable Neural Architecture and Applications

本文介绍了 SPAN，这是一种基于样条函数的自适应强化学习神经架构，尽管每步计算开销略有增加，但与 MLP 基准相比，它在基准环境和实际 HVAC 控制应用中都显著提高了样本效率和收敛可靠性。

原作者： Rajib Mostakim, Reza T. Batley, Sourav Saha

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajib Mostakim, Reza T. Batley, Sourav Saha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人走路、驾驶无人机，或者控制大型数据中心的空调。你希望机器人能尽可能快地学习，因为每一次失误都会浪费能量、磨损零件，或者（在数据中心的情况下）让服务器过热。

在人工智能的世界里，教导这些机器人的标准工具是一种被称为**多层感知器（MLP）**的“大脑”。你可以把 MLP 想象成一个巨大的、密集的蜘蛛网。网上的每一个点都与所有其他点相连。如果你戳一下其中一点，整个网都会震动。虽然这功能强大，但效率很低。它试图一次性学习整个世界，即使机器人现在只需要了解其中的一小个角落。这使得学习过程变得缓慢，并且需要大量的“试错”数据。

最近，科学家们发现了一种不同的脑结构，称为 KANs（Kolmogorov-Arnold 网络）。它们更像是set的一组专门的局部工具。与其是一个巨大的网络，不如说它们是一组小的、平滑的补丁（如 B-样条曲线），只有当机器人在特定情境下时才会激活。这种方式非常高效，但原始的 KANs 计算量巨大，以至于无法用于实时学习。

迎来 SPAN：一位“敏捷型”学习者

本文作者介绍了 SPAN（基于 SPline 的自适应网络）。你可以把 SPAN 看作是“金发姑娘原则”（意指恰到好处）的解决方案：它保留了局部工具的高效性，同时增加了一个聪明的“翻译器”层，使其能够快速运行以进行实时学习。

以下是 SPAN 的工作原理，使用简单的类比：

1. “翻译器”层（预处理步骤）

现实世界的数据（如室外温度或汽车速度）是杂乱且不可预测的。它们无法整齐地放入 SPAN 局部工具所需的那些规整、有界的方框中。

类比： 想象试图将一朵形状多变的野性云朵塞进一个完美的正方形框架里。如果你强行塞入，它就会破碎。
SPAN 的解决方案： SPAN 添加了一个“翻译器”层（一个带有 Sigmoid 函数的简单神经网络），在数据到达局部工具之前，先将那朵野性的云温柔地重塑为一个完美的正方形。这使得系统能够处理杂乱的现实世界数据，而不会感到困惑。

2. “局部补丁”系统（可分离架构）

一旦数据被翻译完成，SPAN 就不会一次性观察全局。它将问题分解成细小、易于处理的部分。

类比： 想象你正在绘制一幅巨大的壁画。
- MLP（旧方法）： 你试图一次性画完整幅壁画，在每一支画笔上都混合所有的颜色。如果你把天空画坏了，可能会不小心弄脏草地。
- SPAN（新方法）： 你使用一组小型、专门的画笔。如果你在画天空，你只使用“天空画笔”。如果你在画草地，你只使用“草地画笔”。这些画笔之间不会互相干扰。
优势： 因为 SPAN 只更新当前情境下所需的特定“画笔”，所以它学习得更快，并且需要的错误（样本）也更少。

他们发现了什么？

研究人员针对标准 MLP 在三个主要领域对 SPAN 进行了测试：

1. 学习速度（样本效率）

结果： SPAN 的学习速度比标准 MLP 快了 30-50%。
隐喻： 如果 MLP 需要走 100 英里才能找到宝藏，SPAN 只需要 50 到 70 英里就能找到。在现实世界中，这意味着机器人在学习过程中浪费的能量和时间更少。

2. 可靠性（成功率）

结果： SPAN 更容易成功。在困难任务中，MLP 在许多次尝试中都无法学会有效的策略，而 SPAN 的成功率高出 1.3 到 9 倍。
隐喻： 如果你雇佣一名司机在暴风雨中驾驶，MLP 司机可能会在 50% 的风暴中撞车或迷路。而 SPAN 司机几乎每次都能安全地把你送到目的地。

3. 现实世界测试：数据中心

测试： 他们将 SPAN 应用于控制一个真实世界数据中心模拟环境中的供暖和制冷（HVAC）。
结果： 与 MLP 相比，SPAN 在 12 个月中的 9 个月里降低了能耗。更重要的是，它将“热舒适度违规”（即服务器过热的情况）减少了 1.1 到 3.4 倍。
隐喻： MLP 就像一个反应太慢的恒温器，在打开空调之前就让房间变得闷热。而 SPAN 就像一个智能、主动的管理人员，能在恰到好处的时间调整温度，既省钱又保持设备凉爽。

核心结论

本文认为，虽然标准的“蜘蛛网”大脑（MLP）很好，但它们对于资源受限的环境来说往往过于笨拙。SPAN 是一种新的、“敏捷型”的架构，它利用局部、平滑的补丁来进行高效学习。

它不仅学得更快，而且学得更好。尽管 SPAN 处理每一个单步操作的时间稍长（就像一个运算稍慢的计算器），但它完成整个工作的速度和可靠性要高得多，因此完成整个任务所需的总时间和成本实际上比使用旧方法低了 1.3 到 6.3 倍。

简而言之：SPAN 是一种更聪明、更高效的方式，用于教机器人如何控制物理世界，从而节省时间、能量和金钱。

技术摘要：基于可分神经网络架构（SPAN）的敏捷强化学习

1. 问题陈述

深度强化学习（RL）正越来越多地部署在资源受限的环境中，如机器人、边缘设备和工业控制系统。然而，这些场景中使用的标准函数近似器——多层感知器（MLP）——往往表现出较低的效率。MLP 具有全局连接的结构，无论价值函数或策略实际在哪里变化，都会在整个输入空间内均匀分布表示能力。这种架构与强化学习价值函数固有的局部平滑性（其通常在平滑 MDP 动力学下满足 Lipschitz 连续性）之间的不匹配，导致了高样本复杂度以及不可靠的收敛，尤其是在训练预算有限的情况下。

虽然存在模型压缩技术，但它们通常是对过度参数化的模型进行事后处理，并不能提高内在的学习效率。相反，最近出现的基于样条（spline）的架构，如 Kolmogorov-Arnold 网络（KANs），虽然提供了参数效率，但由于密集的边向评估（edge-wise evaluations）带来了极高的计算开销，限制了它们在在线强化学习中的应用。目前仍需要一种既具备参数效率，又在计算上可行，且能与控制景观的局部平滑性显式对齐的函数近似器。

2. 方法论：SPAN 架构

作者引入了 SPAN（基于样条的自适应网络），这是一种旨在解决上述局限性的新型函数近似架构。SPAN 适配了 KHRONOS 框架（此前已在科学计算领域得到验证），以满足在线强化学习的特定需求。

核心架构组件

可学习预处理层： 与假设输入为 $[0, 1]^d$ 且为平稳归一化输入的 KHRONOS 不同，强化学习环境提供的观测值是非平稳且无界的。SPAN 引入了一个由全连接层和 Sigmoid 激活函数组成的learnable预处理层（ $\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$ ）。该层将任意观测值投影到样条基函数所需的有界定义域内，而无需依赖批统计数据或预设边界。从概念上讲，这起到了学习型 Koopman 式提升映射（lifting map）的作用，将原始输入解耦为可以在潜在空间中进行可分表示的动力学。
可分张量积样条结构： SPAN 的核心利用了秩- $M$ 张量分解和 B-样条基函数。对于输入 $\mathbf{x} \in [0, 1]^d$ ，架构构建了 $M$ 个可分模态：
$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$
其中 $B_i^{(k)}$ 是 $k$ 次 B-样条基函数， $N_p$ 是每个维度的基函数数量。最终输出是这些模态的线性组合。
复杂度降低： 这种可分结构将参数复杂度从指数级的 $\mathcal{O}(N^d)$ （在全张量网格中）降低到了线性的 $\mathcal{O}(M \cdot d \cdot N)$ ，有效地克服了限制基于网格的样条方法的维度灾难。

与强化学习算法的集成

SPAN 被设计为标准 Actor-Critic 框架中 MLP 的即插即用替代方案。作者展示了其与以下算法的集成：

Soft Actor-Critic (SAC)： 用于连续控制，SPAN 输出高斯策略参数和双 Q 函数。
Proximal Policy Optimization (PPO)： 用于离散控制，SPAN 输出动作逻辑值（logits）和价值估计。
Implicit Q-Learning (IQL)： 用于离线强化学习，SPAN 在价值函数、Q 函数和策略网络中取代了 MLP。

3. 主要贡献

本文做出了三个主要贡献：

架构适配： 通过引入可学习预处理层，将 KHRONOS 框架适配到强化学习中，弥合了科学计算框架所假设的平稳输入与强化学习非平稳观测之间的差距。
理论基础： 建立了 SPAN 的局部支撑属性（local support property）与强化学习价值函数及策略的 Lipschitz 结构之间的正式联系。作者认为，SPAN 的基函数仅在有界区域内激活，这自然地与 MDP 的“影响半径”属性相契合，从而将表示能力集中在需要的地方。
全面的实证验证： 通过在在线（PPO, SAC）、离线（IQL）以及现实世界工程应用中的广泛评估，证明了其在样本效率、收敛可靠性和总训练成本方面的提升。

4. 实验结果

在线控制基准测试

SPAN 在经典控制任务（CartPole, Acrobot, LunarLander）和 MuJoCo 连续控制任务（Hopper, InvertedPendulum, Walker2d, HalfCheetah）上与 MLP 基准进行了对比评估。

样本效率： SPAN 在各项基准测试中实现了 30–50% 的样本效率提升。例如，在 Hopper 任务上，SPAN 在 475k 步时达到了 50% 的专家性能和 90% 的成功率；而 MLP 在 715k 步时仅达到 10% 的成功率，且在更高的阈值下无法解决该任务。
成功率： SPAN 在各项基准测试中表现出 1.3–9 倍更高的成功率。在 Walker2d 上，MLP 未能找到超过 25% 阈值的解，而 SPAN 在 50% 阈值下仍保持了 55% 的成功率。
随时性能（Anytime Performance）： SPAN 对超参数变化表现出更强的鲁棒性，并在中间训练检查点表现出更好的性能。

计算成本分析

虽然 SPAN 因为样条评估会产生每步 1.2–1.8 倍于 MLP 的评估开销，但其卓越的样本效率和收敛可靠性使其具备更低的预期总训练成本。

在考虑收敛失败（成功率）的情况下，训练 MLP 的预期成本比 SPAN 高出 1.3–6.3 倍。例如，在 HalfCheetah 上，由于 MLP 在 100% 阈值下的成功率仅为 10%，其预期成本是 SPAN 的 4.87 倍。

离线强化学习

使用 IQL 在 Minari Adroit Hand 操作基准上进行了评估：

在专家数据集上，SPAN 显著优于 MLP，在 Door 任务上实现了 20 倍的提升（8.0 对比 0.4），在 Hammer 上提升 2.3 倍，在 Relocate 上提升 3.3 倍。
在较低质量的数据集（Cloned, Human）上，结果褒贬不一，这表明 SPAN 的平滑偏置在底层数据呈现一致、平滑策略时最为有效。

现实世界应用：数据中心 HVAC

SPAN 被应用于使用 Sinergym 环境（EnergyPlus 模拟）的数据中心 HVAC 控制任务。

能源效率： 与 MLP 相比，SPAN 在 9/12 个月内降低了能耗，在过渡季节（shoulder seasons）节能高达 8.1%。
热舒适度： SPAN 在全年范围内减少了 1.1–3.4 倍的热舒适度违规（温度超出 18–27°C 范围）。值得注意的是，在 8 月份，SPAN 将违规次数减少到 MLP 的 1/12，这表明 SPAN 在夏季高峰期略高的能耗是为了维持严格热舒适度而做的权衡。

5. 意义与主张

论文声称，对于资源受限的强化学习，SPAN 提供了一个原则性且具有实际可行性的 MLP 替代方案。其重要性在于：

归纳偏置对齐： 通过将架构的归纳偏置与物理控制问题的 Lipschitz 连续性和局部平滑性显式对齐，SPAN 在无需事后压缩的情况下实现了更高的学习效率。
受限环境下的可靠性： 在训练中断、样本有限或内存预算严格的场景中，SPAN 提供了更可靠的收敛保障。
向工程领域的泛化： 在数据中心 HVAC 控制任务上的成功应用证明，在具有热力学动力学和天气驱动非平稳性的现实工程问题中，观察到的架构优势是可以迁移的。

作者承认了局限性，指出 SPAN 的局部平滑偏置在具有尖锐价值函数转换的稀疏奖励设置中可能效果较差，且目前的前馈设计原生并不支持注意力机制或循环结构。未来的工作建议将 SPAN 与 Transformer 结合进行混合架构设计，以实现时间推理，并应用于车辆悬架控制和工业过程优化。