💻 computer science

A Patch-Routed Mixture-of-Experts for Continual MOBA Draft Recommendation

本文提出了一种用于持续性 MOBA 阵容推荐的补丁路由混合专家架构，该架构利用版本化的补丁标识来隔离适应过程，从而实现了零遗忘，并且与独立模型相比，在减少存储的同时显著加快了收敛速度，尽管其速度优势会随着补丁流的增长而减弱。

原作者： Mohammadreza Mohammadnejad, Morteza Dorrigiv, Farzin Yaghmaee

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammadreza Mohammadnejad, Morteza Dorrigiv, Farzin Yaghmaee

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在竞技电子游戏的领域中，最关键的决策往往发生在第一枪开火之前。在像《Dota 2》这样的游戏中，两支队伍轮流禁用和选择角色（被称为英雄），以构建他们的阵容。这个选人阶段是一个高风险的谜题，其中的每一个选择都会限制未来的选项，并为胜利奠定基础。由于游戏不断被开发者更新以保持新鲜感，规则也会频繁变化。这些被称为“补丁”的更新会调整角色的强度、道具的成本以及技能之间的交互方式。今天看起来完美的策略，明天可能就会变得毫无用处。这为人工智能创造了一个独特的挑战：当“好”的定义本身就在不断变化时，计算机如何学习做出优秀的推荐？

这就是持续学习的问题。想象一名学生必须每月掌握一门新学科，但前几个月的教科书仍然有效且不能被遗忘。如果学生试图通过简单地覆盖旧笔记来学习新材料，他们就会失去应对过去考试所需的知识。这种学习新事物与记住旧事物之间的张力是人工智能的一个基本障碍。研究人员长期以来一直在寻找帮助机器适应新数据而不抹除已学知识的方法，这种挣扎被称为“稳定性-塑性权衡”（stability-plasticity trade-off）。在视频游戏背景下，补丁按固定周期发布且其身份是预先已知的，这个问题提供了一个测试特定解决方案的罕见机会。

来自塞姆南大学（Semnan University）的一个研究小组通过为《Dota 2》的选人过程构建一种新型推荐系统解决了这一问题。他们并没有试图强迫一个单一且灵活的大脑同时记住游戏的所有版本，而是设计了一个系统，该系统保留了一个共享的核心知识库，同时为每一次游戏更新分配一个专门的专家。他们的方法被称为 PatchExpertFFN，它将游戏的版本号视为一个清晰的钥匙，用以解锁正确的工具集，而不是一个需要去猜测的谜团。当游戏更新时，系统准确知道当前处于哪个版本，并将决策路由到为该时代训练的特定专家模块，从而让旧的专家不受影响。

研究人员使用涵盖五个不同游戏版本的海量职业比赛数据集对这一想法进行了测试。他们将新系统与另外两种方法进行了对比：一种是尝试在一个连续流中学习一切的标准方法；另一种是“模型动物园”（model zoo），即为每一个补丁都保存一个完全独立的、全尺寸的 AI。标准方法表现得非常吃力；随着它学习新的补丁，它会忘记如何玩旧的版本，这种现象被称为“灾难性遗忘”。而“模型动物园”则从未遗忘任何东西，因为它为每个过去的版本都保留了完美的副本，但它需要存储海量的数据，本质上是为每一次更新都保留了一座完整的“大脑图书馆”。

新系统达到了一个卓越的平衡。通过使用一个仅在第一个补丁上进行训练并随后冻结的共享骨干网络，然后为后续每个补丁附加一个较小的专门专家，研究人员实现了一个几乎与“模型动物园”一样好的结果，但效率更高。该系统保留了为早期补丁做出准确推荐的能力，且零记忆损失，达到了与独立模型相当的性能。同时，它仅需“模型动物园”所需存储空间的 63% 左右。这种效率源于该系统不需要为每个版本存储整个大脑，而只需存储发生变化的特定部分。

研究还揭示了该系统的适应速度。当新补丁到来时，新的专家学习必要调整的速度比标准方法快得多，大约只需一半数量的训练样本即可达到巅峰性能。然而，这种速度优势也有极限。随着补丁流的增长，固定的共享核心变得不再足以应对最新的版本，系统的性能开始略微落后于完全独立的模型。研究人员发现，当更新流相对于初始共享核心的有效寿命相对较短时，该系统效果最好。如果游戏改变的次数过多，最初的冻结基础最终会变得与当前的现实过于脱节，从而需要定期刷新核心本身。

这项发现之所以特别重要，在于其背后的机制。系统不需要猜测正在进行的是哪个版本的游戏；游戏客户端会直接告知它。这使得系统能够将游戏版本与正确的专家进行硬连线连接，确保为新版本进行的学习永远不会意外覆盖旧版本的知识。研究人员通过检查系统的内部权重验证了这一点，确认了过去补丁的记忆保持原样，未受新版本训练的影响。这种结构性的“零遗忘”保证是其他依赖复杂数学平衡技巧的方法只能近似实现的目标。

研究结果表明，对于必须在具有明确、标记化变化的运行环境中运行的 AI 系统，这提供了一条实用的路径。无论是软件更新、季节性目录变更还是不断变化的市场状况，如果变化的身份是已知的，就可以构建一个隔离适应过程而不牺牲记忆的系统。研究人员指出，虽然他们的方法非常高效，但它并不是针对无尽变化流的永久解决方案。该系统是为那些相对于初始共享知识寿命而言较短的流而设计的。对于长期应用，策略应包括一项定期维护政策，即重新训练共享核心以追赶当前的世界状态，从而重置专家链。

最后，这项工作证明了解决遗忘问题的方案并不总是需要更复杂的算法或更大的记忆。有时，答案在于系统的组织方式。通过尊重变化的边界，并将特定的角色分配给特定的时代，研究人员创建了一个学习迅速、记忆完美，且存储成本仅为以往解决方案一小部分的系统。它提醒我们，面对不断的变革，明确了解究竟发生了什么变化，本身就是最强大的工具。

技术摘要：一种用于持续性 MOBA 选人推荐的补丁路由混合专家模型

1. 问题定义

本文探讨了在多人在线战术竞技游戏（MOBA）选人推荐背景下的**持续学习（Continual Learning, CL）挑战。具体而言，它针对的是在适应平衡性补丁（Balance Patches）**时，共享权重模型所固有的“稳定性-塑性权衡（Stability-Plasticity Trade-off）”问题。

在像《Dota 2》这样的游戏中，开发者会发布周期性的补丁，改变英雄属性、技能数值和道具成本。这些补丁引发了**领域增量（Domain-incremental）**偏移：任务（推荐下一个英雄）保持不变，但输入分布在已知的、有标签的时间戳处发生剧烈变化。

核心冲突： 标准的持续学习方法（如弹性权重整合 EWC）或对共享模型进行顺序微调，往往会导致灾难性遗忘（Catastrophic Forgetting），即适应新补丁的过程会覆盖掉对先前补丁至关重要的参数。
约束条件： 为每个补丁重新训练一个模型在计算上非常昂贵，且会丢弃有用知识。相反，维护一个“模型库”（每个补丁一个完整的模型）虽然能保证零遗忘，但会产生高昂的存储成本。
机遇： 与边界需要推断的典型概念漂移不同，MOBA 补丁提供了明确且已知的身份信息（游戏版本元数据），在训练和推理阶段均可获得。本文探讨了是否可以直接利用这一已知身份来路由参数，从而实现隔离式适配，而不必推断任务边界。

2. 方法论：PatchExpertFFN

作者提出了 PatchExpertFFN，这是一种**补丁路由混合专家（Patch-Routed Mixture-of-Experts, MoE）**架构，旨在实现适配隔离并保留共享表示。

架构设计：

共享主干（Shared Trunk）： 主干由基于 Transformer 的模型（具体为 BERT4Rec 变体）组成，其中 Token/位置嵌入、自注意力子层和前置注意力归一化层构成一个冻结的主干。该主干仅在初始补丁（Patch 0）上进行训练，此后不再更新。
每补丁专家（Per-Patch Experts）： 主干每一层的馈送前向（FFN）子层都被替换为一组每补丁专用的专家库。
硬路由（Hard Routing）： 路由是根据补丁身份 ( $t$ ) 硬编码的。在补丁 $t$ 下进行的选人序列将专门由专家 $E_t$ 和对应的输出头 $H_t$ 进行处理。无需学习型的门控网络；补丁 ID 直接充当开关。
初始化策略： 对于 $t \ge 1$ ，新的专家 $E_t$ 和头 $H_t$ 是从紧接的前一个补丁专家 ( $E_{t-1}$ ) 进行拷贝初始化（Copy-initialized），而非从冻结的主干中初始化。这提供了一个“热启动”，在不需要重新训练主干的情况下编码先验知识。
训练计划：
- Patch 0： 主干、 $E_0$ 和 $H_0$ 进行联合训练。
- Patch $t > 0$ ： 主干及所有之前的专家/头（ $j < t$ ）均被冻结。仅对当前的参数对 $(E_t, H_t)$ 在新补丁的数据上进行训练。

理论特性：

零后向迁移（Zero Backward Transfer）： 由于后续补丁的训练不会更新早期补丁的专家，因此通过构造实现了零后向迁移。
存储效率： 该架构存储一个冻结的主干加上每个补丁一个专家库/头。作者计算得出，每个补丁的存储增量约为完整独立模型的 63%（具体为 $\rho \approx 0.628$ ），因为主干是共享的。

3. 核心贡献

PatchExpertFFN 架构： 一种新型 MoE 设计，通过显式补丁身份进行硬路由，将 FFN 子层替换为每补丁专家。它消除了对学习型门控或任务推断步骤的需求。
验证零遗忘： 作者通过权重一致性检查验证了该实现实现了相对于保存模型的精确零后向迁移，这将其与近似保留方法区分开来。
存储与保留的权衡： 本文量化了零遗忘的代价。PatchExpertFFN 达到了全“模型库”（每个补丁存储一个完整模型）平均平台性能的 98.7%，而仅需其每补丁存储量的 63%。
专家漂移测量（Expert-Drift Instrumentation）： 作者引入了一种指标来衡量训练后的专家与其拷贝源之间的位移，从而量化了在热启动之外发生了多少适配。

4. 实验结果

实验在 DOTA-Draft 数据集上进行，涵盖了连续五个《Dota 2》补丁（7.35–7.39）的职业比赛数据。

塑性与速度：
- 在第一个补丁转换处（Exp1），PatchExpertFFN 的性能达到了顺序微调（Base）的平台期性能，但仅用了约一半的后补丁样本量。
- 在随后的转换中（Exp2–Exp4），路由机制维持了顺序微调平台性能的 97–99%，但表现出逐渐扩大的性能差距。
保留能力：
- 路由测量： 当使用正确的补丁特定专家进行评估时，后向迁移精确为零。
- 非路由消融实验： 当移除路由，并使用最后一个补丁的专家对所有过去补丁进行评分时，性能显著下降（类似于 Base 模型），证明了保留能力源于路由机制，而非仅仅是冻结了主干。
存储：
- 模型库（每个补丁完整模型）的存储随时间线性增长。PatchExpertFFs 的增长也是线性的，但相对于全模型大小，其斜率为 0.628。
专家漂移：
- 漂移分析显示，适配分布在所有层中，而非集中在特定的头或层。漂移呈非单调增长但总体呈上升趋势，表明后期的补丁必须同时吸收自身的偏移以及与固定主干之间日益扩大的距离。

5. 意义与局限性（根据论文所述）

意义：
本文证明了显式环境元数据（补丁版本）可以被用来在持续学习中实现结构化参数隔离。通过硬路由到专用专家，该系统保证了零遗忘，且没有维护完整独立模型的存储开销。该方法对于中短长度的流式数据特别有效，因为此时共享主干仍能保持足够的适用性。

局限性与范围：

塑性税（Plasticity Tax）： PatchExpertFFN 与顺序微调之间的性能差距随时间而扩大。这归因于冻结的主干（基于 Patch 0 训练）与后期补丁的分布变得越来越不匹配。该架构适用于相对于主干有效寿命较短的流式数据。
未见过的补丁： 当前设计无法处理尚未训练过专家的补丁（即没有定义的路由目标）。
泛化性： 结果针对特定的 Dota 2 数据集、BERT4Rec 主干以及五个补丁。观察到的“塑性税”是该特定流数据的特性。
未来工作： 作者建议，通过定期刷新主干（重新训练共享主干并重启专家链）可以缓解塑性税，尽管这一点尚未经过评估。他们还指出，学习型或软路由可以处理未见过的补丁。

总之，本文提出了一种务实的 MOBA 选人推荐解决方案，它通过牺牲少量的、随时间变化的性能损失，换取了显著的存储成本降低以及对灾难性遗忘的严格防御，充分利用了游戏版本这一已知且有标签的独特属性。