🤖 machine learning

SPHERE: Mitigating the Loss of Spectral Plasticity in Mixture-of-Experts for Deep Reinforcement Learning

本文介绍了 SPHERE，这是一种源自神经切线核理论的实用帕塞瓦尔惩罚项，它通过减轻混合专家网络中的谱可塑性损失，从而显著提升了 MetaWorld 和 HumanoidBench 基准测试上的持续强化学习性能。

原作者： Lirui Luo, Guoxi Zhang, Hongming Xu, Cong Fang, Qing Li

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Lirui Luo, Guoxi Zhang, Hongming Xu, Cong Fang, Qing Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人执行一系列不同的任务，比如行走、拿起杯子和开门。你希望机器人能够按顺序学习这些任务，同时不忘记之前学会的技能。这被称为持续学习。

正如这篇论文所描述的，问题在于，随着机器人学习的增多，它开始变得“僵化”。它失去了可塑性——即弯曲、适应和学习新事物的能力。它变得僵硬，就像一块干涸的海绵，再也无法吸水。

以下是这篇论文如何运用日常类比来解决这一问题的简要说明。

问题：“谱系坍缩”

作者解释说，当机器人学习时，它会基于新经验更新其内部“大脑”（即神经网络）。理想情况下，它应该能够同时向许多不同的方向调整，就像一位灵活体操运动员，可以向左、向右、向上和向下扭转。

然而，随着时间的推移，机器人的大脑开始坍缩。它不再灵活，只学会向一两个特定方向移动。论文将这种现象称为谱系可塑性丧失。

类比：想象一个管弦乐队。起初，每种乐器（弦乐、铜管、打击乐）都演奏独特的音符，创造出丰富饱满的声音。随着机器人学习更多任务，乐队开始反复只演奏同一个音符。音乐变得平淡无奇。机器人无法再学习复杂的新技能，因为它失去了“音域”。

解决方案：MoE（混合专家模型）

为了处理多项任务，研究人员使用了一种名为**混合专家模型（Mixture-of-Experts, MoE）**的特殊大脑架构。

类比：与其使用一个通才大脑，不如想象一个由 10 位专家（专才）组成的团队。当机器人需要行走时，它会咨询“行走专家”；当它需要拿起杯子时，它会咨询“抓握专家”。一位“守门人”负责决定在每种情况下使用哪位专家。

论文发现，即使有了这个专家团队，机器人仍然会陷入困境。专家们不再协同工作，团队的“谱系”发生坍缩。他们开始做同样的事情，或者守门人不再听取大多数专家的意见。

修复方案：SPHERE

作者开发了一种新工具，名为SPHERE（基于超球面专家正则化的谱系可塑性，Spectral Plasticity via Hyperspherical Expert REgularization）。

类比：将专家们想象成一群舞者。随着时间的推移，他们可能会开始在拥挤狭小的圆圈里跳舞，以完全相同的方式移动。SPHERE 就像一位编舞家，温柔地将他们推开。它迫使专家们分散开来，覆盖整个舞池，确保他们都在不同、独特的方向上移动。

从技术上讲，SPHERE 通过在训练过程中施加“惩罚”（一种温和的推动）来实现这一点。它会检查专家特征的“形状”，如果它们变得过于相似或过于扁平，就会对其进行惩罚。它迫使它们保持“球形”（圆润且饱满），从而保持机器人大脑的灵活性，使其准备好学习新事物。

实验中发生了什么？

研究人员在两个非常困难的机器人仿真环境中测试了该方法：

MetaWorld：一组 10 个机械臂任务（如推按钮或转动阀门）。
HumanoidBench：一组 5 个类人机器人任务（如站立、行走或滑行）。

结果：

没有 SPHERE：机器人团队（MoE）陷入了困境。随着它们学习后续任务，由于失去了适应能力，其成功率显著下降。
使用 SPHERE：机器人团队保持了灵活性。
- 在MetaWorld上，与无用的基线相比，机器人的成功率提高了133%。
- 在HumanoidBench上，它们提高了50%。

论文还表明，当使用 SPHERE 时，“音乐谱系”（灵活性的数学度量）在整个训练过程中保持高位，证明机器人没有丧失学习新方向的能力。

总结

简而言之，深度学习机器人往往会变得“僵硬”，并忘记如何学习新事物。这篇论文介绍了SPHERE，这是一种像教练一样的方法，不断提醒机器人内部的“专家”保持多样性和灵活性。通过这样做，机器人可以学习一系列新的任务，而不会丧失适应能力，其表现显著优于以往的方法。

技术摘要：SPHERE——缓解混合专家模型在深度强化学习中的光谱可塑性丧失

1. 问题陈述

在深度强化学习（DRL）中，基于经验流训练的智能体常遭受可塑性丧失：随着训练的进行，其从新经验中学习新技能的能力逐渐下降。这种现象在**持续强化学习（CRL）**场景中尤为有害，因为智能体必须按顺序掌握一系列任务。

尽管**混合专家（MoE）**架构已成功应用于扩展 DRL 中的策略容量（例如用于机械臂、人形机器人和四足机器人），但实证研究表明，MoE 策略在持续学习场景下同样遭受严重的可塑性丧失。随着训练推进，MoE 性能可能退化，这表明该架构本身易受与稠密网络中观察到的相同容量丧失机制的影响。

本文解决的核心挑战在于：缺乏针对 MoE 策略中可塑性丧失的形式化表征，以及缺乏缓解该问题的实用方法。现有的针对稠密网络的缓解策略（例如谱归一化、Hessian 正则化）无法直接转化为 MoE 策略的稀疏路由结构。

2. 方法论：SPHERE

作者提出了SPHERE（基于超球面专家正则化的光谱可塑性），这是一种旨在保留 MoE 策略学习容量的原则性正则化器。该方法通过以下四个关键理论和实践步骤展开：

2.1 将可塑性丧失形式化为光谱可塑性

基于神经切线核（NTK）理论，作者将可塑性丧失形式化为光谱可塑性丧失。

机制：策略的更新方向由经验 NTK（eNTK）矩阵 $K = JJ^\top$ 控制，其中 $J$ 是网络输出关于参数的雅可比矩阵。
定义：可塑性丧失对应于 eNTK 的光谱熵有效秩（ $r_e$ ）的坍缩。高有效秩意味着各向同性的谱，允许在多样化方向上进行更新。低有效秩（光谱坍缩）将更新限制在少数主导方向上，阻碍学习新任务的能力。
观察：在 CRL 中，MoE 策略的 eNTK 谱发生坍缩，降低了有效秩并限制了功能更新。

2.2 推导可处理的代理

由于内存限制（ $O(N^2P)$ ），直接计算大型网络的 eNTK 矩阵 $K$ 是不可行的。为此，作者基于参数空间中的**高斯 - 牛顿（GN）**矩阵（ $G_{GN} = \frac{1}{N}J^\top J$ ）推导了一个可处理的代理。

分解：他们将 GN 矩阵分解为对应于门控和专家参数的块对角分量。
逐层近似：在块对角近似下，完整 eNTK 的有效秩表示为各层块有效秩的混合。
专家块代理：对于专家层，作者利用克罗内克代理（ $\tilde{G}_{GN} = A \otimes G$ ），其中 $A$ 是特征格拉姆矩阵， $G$ 是梯度格拉姆矩阵。他们证明了专家块的有效秩由该克罗内克代理条件数的函数下界限定。

2.3 SPHERE 正则化器

为了最大化光谱可塑性的下界，作者旨在最小化特征格拉姆矩阵 $A$ 的条件数。

目标：他们关注最后一个隐藏专家层的加权专家特征格拉姆（ $A_{last}^{exp}$ ）。该矩阵通过连接由 Top-K 门控概率加权的专家特征构建。
惩罚：SPHERE 对 $A_{last}^{exp}$ 的各向异性分量施加Parseval 惩罚（二次惩罚）。损失函数定义为：
$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$
该惩罚鼓励特征格拉姆的特征值相等（各向同性），从而增加有效秩并保留光谱可塑性。
理论保证：作者证明，优化该惩罚会诱导光谱收缩，单调降低代理的条件数并增加 eNTK 有效秩的下界。

2.4 实现

SPHERE 被集成到 PPO 训练循环中。在每次梯度更新时，从前向传播计算加权专家特征格拉姆，并将 SPHERE 惩罚添加到演员（actor）的损失函数中。正则化系数根据演员梯度范数与 SPHERE 梯度范数的比率进行自适应缩放。

3. 主要贡献

形式化：本文正式将 MoE 策略中的可塑性丧失定义为光谱可塑性丧失，并通过经验 NTK 的光谱熵有效秩进行量化。
可处理代理：推导了一种实用的逐层光谱可塑性代理，仅依赖单个专家特征矩阵，避免了构建完整 eNTK。
算法（SPHERE）：引入了 SPHERE，这是一种原则性正则化器，通过对加权专家特征强制各向同性来对抗光谱坍缩。
实证验证：该方法在MetaWorld和HumanoidBench上进行了评估，显示出相对于未正则化的 MoE 基线及先前的可塑性缓解方法的持续改进。

4. 实验结果

作者在两个机器人基准测试上评估了 SPHERE：

MetaWorld (CW10)：包含 10 个操作任务的任务集。
HumanoidBench：包含 5 个 H1 人形机器人运动任务的任务集。

关键发现：

性能提升：
- 在 CRL 下的MetaWorld中，SPHERE 将平均成功率提高了133%（相对于未正则化的 Top-K MoE 基线）。
- 在 CRL 下的HumanoidBench中，SPHERE 将平均成功率提高了50%（相对于基线）。
- SPHERE 在标准 RL 设置（单任务训练）中也显示出提升，表明即使由于分布漂移，光谱可塑性也可能在单个任务内衰减。
光谱可塑性维持：在整个训练过程中，与表现出快速光谱坍缩的基线相比，SPHERE 保持了显著更高的有效秩（ $r_e(K)$ ）。
消融研究：
- 发现仅正则化最后一个隐藏专家层最为有效；正则化所有层或仅正则化门控则性能较低。
- 跨专家连接（正则化联合特征格拉姆而非单个专家）对性能提升至关重要，表明管理跨专家相关性的重要性。
- 该方法在不同的激活函数（ReLU、Tanh）、专家数量和 MoE 变体（Dense-MoE、DS-MoE）中均表现出鲁棒性。
定性分析：t-SNE 可视化显示，没有 SPHERE 时，状态表示坍缩到单一主导特征方向；而使用 SPHERE 时，表示保持多样化和各向同性。

5. 意义与主张

本文主张SPHERE为基于 MoE 的 DRL 智能体中的可塑性丧失问题提供了一种原则性解决方案。通过将可塑性丧失置于光谱理论（eNTK 有效秩）的视角下，作者架起了理论理解与实际正则化之间的桥梁。

该工作的意义在于：

实现可扩展的持续学习：随着 MoE 架构成为扩展 RL 智能体的标准，SPHERE 确保这些模型在长序列任务中保留学习新技能的能力，防止在后续任务上出现系统性失败。
理论洞察：它提供了关于 MoE 动态的新视角，将路由机制和专家专业化与学习景观的光谱属性联系起来。
实际有效性：该方法计算高效（即使拥有 1000 个专家，开销也仅增加约 3-6%），并能无缝集成到现有的 PPO 流程中，无需改变架构。

作者承认了局限性，指出其推导依赖于理论近似（块对角和层内独立性），且当前范围仅限于连续控制 RL。他们指出将 SPHERE 扩展到大规模基础模型是未来的工作方向。