🤖 machine learning

TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

本文提出 TSN-Affinity，一种新颖的持续离线强化学习方法，该方法利用微型子网络（TinySubNetworks）和决策 Transformer（Decision Transformer）实现任务特定参数化与相似度驱动的知识共享，为基于回放策略提供了一种内存高效的替代方案，能有效缓解离散与连续控制任务中的灾难性遗忘问题。

原作者： Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人玩电子游戏并操控机械臂。难点在于：你不能让机器人在现实世界中练习，因为成本太高或风险太大。相反，你必须利用一个包含人类执行这些任务的老视频记录（数据集）的库来教导它。

现在，想象你每周都要教这个机器人玩一款新游戏。在“持续离线强化学习”（CORL）中，最大的问题就是遗忘。如果你教机器人玩《打砖块》（Breakout），它可能会在那款游戏上变得非常擅长，以至于忘记了如何玩《乒乓球》（Pong）。如果你试图在不删除旧数据的情况下教它玩《乒乓球》，机器人会感到困惑，导致两款游戏都玩砸。

本文介绍了一种名为TSN-Affinity的新方法来解决这个问题。以下是其工作原理，使用简单的类比来说明：

1. 旧方法：“一个大脑”的问题

大多数以前的方法都试图用一个巨大的共享“大脑”来教导机器人。为了防止遗忘，它们会保存旧视频的小片段（重放），并将它们与新片段混合。

缺陷：这就像一边说英语一边学法语，然后一边说英语和法语一边学西班牙语。最终，语言会混淆，或者你需要一个巨大的旧磁带库来理清一切，这会占用太多空间。

2. 新方法：TSN-Affinity（“模块化工具箱”）

作者提出了一种更聪明的方法，使用微型子网络（TinySubNetworks）。想象机器人的大脑不是一个巨大的整体，而是一个装有多个小型专用抽屉的工具箱。

专用抽屉（子网络）：当机器人学习新任务（如《打砖块》）时，它不会重写整个大脑。相反，它会打开一个特定的微小抽屉，并填入该游戏所需的精确工具。一旦那个抽屉关闭，它就保持原样。如果你后来学习一款新游戏，你会打开一个不同的抽屉。这意味着机器人永远不会忘记旧游戏，因为旧工具被锁起来且未受干扰。

3. 秘密武器：“亲和路由”（聪明的图书管理员）

如果每个新任务都获得一个全新的抽屉，工具箱会变得巨大且混乱。本文的创新之处在于一个智能图书管理员（称为路由机制），它决定使用哪个抽屉。

在机器人开始学习新任务之前，图书管理员会问：“这个新任务看起来像我们已经有工具的旧任务吗？”

图书管理员检查两件事：

动作亲和性（动作）：“这个新游戏所需的动作是否像我们已经知道的？”（例如，如果新游戏需要跳跃，而我们已经有一个“跳跃”抽屉，也许我们可以使用它）。
潜在亲和性（感觉）：“新任务在机器人内部‘感觉’是否像旧任务？”（例如，即使图形不同，游戏的模式看起来是否相似？）

决策：

如果它们相似：图书管理员说：“太好了！让我们重用现有的抽屉。”机器人使用旧工具（它们是冻结且安全的），并仅在其上添加一些新的微小工具。这节省了空间并提高了性能。
如果它们不同：图书管理员说：“不，这太不同了。”它为新任务打开一个全新的空抽屉。

4. 结果：电子游戏 vs. 机械臂

作者在两个截然不同的挑战上测试了这种方法：

电子游戏（Atari）：这些是快速的、基于像素的游戏，使用简单的按钮（离散动作）。
- 结果：该方法取得了巨大成功。“专用抽屉”方法完全阻止了机器人忘记旧游戏。“智能图书管理员”通过重用正确的工具帮助机器人表现得更好，通常能达到仅一次训练一款游戏的机器人的性能水平。
机械臂（Panda）：这涉及在三维空间中移动物理手臂，进行平滑的连续运动（如拿起杯子）。
- 结果：这要困难得多。“智能图书管理员”在决定重用哪些工具时更加困难，因为运动如此复杂且多变。虽然该方法仍然比旧的“一个大脑”方法表现更好，但它表明在复杂的物理任务中重用工具是棘手的。机器人必须在保持旧技能安全的同时，学习新的、困难的物理运动。

总结

TSN-Affinity就像给学生一套单独的、带标签的笔记本，而不是一本巨大的教科书。

当他们学习新科目时，他们会打开一本新笔记本。
如果新科目与旧科目相似，他们会检查是否可以将旧笔记作为基础（重用它们），而不是从头开始。
这确保了他们永远不会忘记过去所学的内容，也不会因为混淆不同科目而感到困惑。

本文证明，对于从旧数据中学习而不搞乱过去，拥有一个系统来知道何时重用旧知识以及何时从头开始，比仅仅试图将所有内容记忆在一个大堆中要好得多。

以下是论文《TSN-Affinity：面向持续离线强化学习的相似度驱动参数复用》的详细技术总结。

1. 问题陈述

本文探讨了持续离线强化学习（CORL），这是一种智能体必须从静态、预收集的序列数据中学习任务，且无法与环境进行交互的设定。这种场景出现在实时交互成本过高、风险过大或不可行的领域（例如机器人技术、医疗保健）。

CORL 面临“双重困难”：

离线强化学习挑战：处理训练数据与评估之间的分布偏移，并避免分布外（OOD）动作。
持续学习挑战：在获取新任务的同时，防止对先前学习任务发生灾难性遗忘，且除非显式存储，否则无法访问过去的数据。

现有解决方案严重依赖基于重放的方法（存储和复用过去样本），这会产生内存开销并遭受分布不匹配的影响。相反，架构方法（为特定任务分配特定参数）在监督学习中已显示出潜力，但由于序列决策的复杂性及策略诱导的分布偏移，在 CORL 中仍未得到充分探索。

2. 方法论：TSN-Affinity

作者提出了TSN-Affinity，这是一种新颖的架构方法，将微型子网络（TSN）与决策转换器（DT）骨干网络相结合。其核心创新是一种相似度驱动的参数复用策略，根据“亲和力”将任务路由到特定的模型副本。

核心组件：

决策转换器骨干网络：该方法使用 DT 将强化学习重构为监督序列建模问题。这自然地将预测限制在数据集的经验分布内，从而缓解 OOD 问题。
- Atari（离散）：在动作对数几率上使用交叉熵损失进行训练。
- Panda（连续）：在连续动作上使用掩蔽均方误差进行训练。
稀疏任务特定子网络：系统维护多个模型副本，而不是训练单个稠密模型。对于每个任务，会在特定副本的权重上学习一个稀疏二值掩码。
- 权重保护：一旦权重被分配给某个任务，它就会被“冻结”，并在后续任务的训练过程中受到保护，免受梯度更新。
- 复用：如果新任务被认为与旧任务相似，新任务可以“激活”先前任务中冻结的权重，将其作为固定的功能组件使用，而无需重新训练它们。
亲和力路由（创新性）：在训练新任务 $T_t$ $T_{t}$ 之前，系统决定是复用现有模型副本还是生成一个新副本。该决定基于三种路由模式：
1. 动作亲和力（ $d_A$ ）：衡量源任务策略（子网络）预测新任务轨迹动作的效果（Atari 使用交叉熵，Panda 使用均方误差）。
2. 潜在亲和力（ $d_L$ ）：衡量内部表示的相似性。它使用对称 KL 散度，将新任务的潜在统计量（观测编码的均值和方差）与源任务的存储统计量进行比较。
3. 混合亲和力（ $d_H$ ）：动作亲和力和潜在亲和力的加权组合。

如果新任务与源任务之间的亲和力得分低于阈值 $\tau$ ，则将该新任务分配给该源的副本。否则，将创建一个新副本。

研究的变体：

TSN-Affinity：具有基于亲和力路由的完整方法。
TSN-ReplayKL：用基于观测层面相似性的启发式方法（重放记忆之间的 KL 散度）替换亲和力路由。
TSN-Core：完全移除路由；使用单个演进的模型副本配合稀疏子网络（无副本选择）。

3. 主要贡献

TSN-Affinity 框架：一种新的 CORL 方法，将知识转移表述为稀疏任务特定子网络上的路由问题，动态地选择并基于强化学习感知的相似度复用参数。
亲和力路由机制：一种特定机制，利用动作层面（策略兼容性）和表示层面（潜在相似性）指标来决定参数复用，超越了简单的重放或随机分配。
综合基准测试：引入了两个持续离线强化学习基准测试，涵盖：
- 视觉离散控制：一系列 Atari 游戏（Breakout, Alien, Atlantis, Boxing, Centipede）。
- 连续机器人操作：使用 Franka Emika Panda 机械臂的 Panda-gym 环境（Reach, Push, Pick-and-Place）。
实证验证：广泛的实验表明，架构方法可以完全消除遗忘，且相似度驱动的复用显著优于基于重放的基线，特别是在异构连续控制设定中。

4. 结果

Atari 基准测试（离散控制）

遗忘：稀疏子网络（TSN-Core）在所有任务中实现了零遗忘。稠密基线（Naive, EWC, SI）遭受了严重的灾难性遗忘（归一化回报约为 15-18%）。
性能：虽然仅靠稀疏子网络就能消除遗忘，但亲和力路由进一步提高了多任务性能。
- TSN-Affinity-A（动作亲和力）和 TSN-Affinity-L（潜在亲和力）分别实现了约 89.7% 和 89.6% 的归一化性能。
- 这优于最佳稠密基线（Cumulative Replay 为 76.2%），并接近单任务训练模型的性能。
结论：在离散设定中，稀疏子网络足以防止遗忘，而亲和力路由通过优化容量使用来提升性能。

Panda 基准测试（连续控制）

挑战：由于动作空间的异构性和连续控制动态，该设定显著更难。零遗忘并未在所有 TSN 变体中普遍实现。
路由有效性：
- TSN-ReplayKL（基于观测的路由）表现不佳，甚至不如 TSN-Core，表明在连续控制中，观测相似性不足以用于路由。
- TSN-Affinity-L（潜在亲和力）取得了最佳结果，实现了零遗忘，且与目标回报的平均差距最低（0.670），优于 Cumulative Replay（0.729）。
权衡：最佳性能需要创建多个模型副本（3 个副本），突显了性能与容量之间的权衡。然而，结果证实，在重放启发式方法失效的复杂连续领域中，强化学习感知的亲和力是可靠的路由信号。

5. 意义与结论

本文证明了架构式持续学习是在离线强化学习设定中替代基于重放策略的可行且往往更优的方案。

缓解灾难性遗忘：通过将任务特定参数隔离在稀疏子网络中，该方法有效防止了破坏性干扰。
优于重放的效率：TSN-Affinity 避免了重放缓冲区固有的内存开销和分布不匹配问题。
卓越的路由：本研究证明，控制相关的亲和力得分（动作和潜在相似性）在路由决策中远比简单的基于观测的相似性或重放启发式方法有效，特别是在连续控制任务中。
未来影响：这项工作为安全关键领域（如机器人技术）中可扩展、内存高效的持续学习铺平了道路，在这些领域中，重新收集数据或与环境交互是不可行的。

作者得出结论，相似度引导的架构复用是 CORL 的一种稳健策略，在保留过去知识和将其转移到新的相关任务之间提供了强有力的平衡。