💻 computer science

Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding

本文提出了一种结合在线训练深度代理模型的 MAP-Elites 算法，通过代理模型与算法的相互促进，显著提升了自动构建《炉石传说》卡组时的样本效率与多样性，并取得了该领域的最新最优成果。

原作者： Yulun Zhang, Matthew C. Fontaine, Amy K. Hoover, Stefanos Nikolaidis

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yulun Zhang, Matthew C. Fontaine, Amy K. Hoover, Stefanos Nikolaidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何自动设计《炉石传说》（Hearthstone）卡组的有趣故事。想象一下，你是一位游戏设计师，想要创造出成百上千种既强大又风格各异的卡组，但手动去试错太慢了。于是，作者们开发了一套聪明的“双管齐下”系统。

我们可以用**“一位天才的学徒”和“一位严厉的考官”**的比喻来理解这项技术。

1. 核心问题：大海捞针太累了

在《炉石传说》里，可能的卡组组合有天文数字（约 $10^{35}$ 种）。

传统方法（MAP-Elites）：就像让一个勤奋的学徒去试每一种可能的卡组。他每试一次，就要和对手打 200 场游戏来测试效果。这太慢了，而且因为游戏本身有随机性（比如抽牌顺序），一次测试的结果可能不准。
挑战：我们需要一种方法，既能快速找到好卡组，又能保证这些卡组风格多样（有的快攻，有的控制），而不是只找到一种“最强”的。

2. 解决方案：DSA-ME（深度代理辅助 MAP-Elites）

作者提出了一种**“内循环”与“外循环”配合的机制，就像“学徒在模拟考场练习”和“考官在真实考场阅卷”**的交替进行。

角色一：深度代理模型（The Deep Surrogate）—— 聪明的“模拟考官”

这是一个经过训练的人工智能（神经网络）。

它的作用：它不需要真的去玩游戏。只要看到一副卡组，它就能预测这副卡组大概能赢多少、打多久、手牌剩多少。
它的优势：预测速度极快，就像看一眼就能猜出结果，不需要真的打 200 场游戏。
它的弱点：刚开始它是个“小白”，预测不准。如果只靠它瞎猜，可能会发现一些“看起来很强，实际很弱”的假卡组（也就是所谓的“对抗样本”）。

角色二：MAP-Elites 算法 —— 不知疲倦的“探索者”

这是一个负责寻找多样性的算法。它不满足于只找一个最好的，而是要把整个“卡组地图”填满，找出各种不同风格（比如“快攻型”、“控制型”）的最强卡组。

3. 工作流程：师徒互动的“双循环”

这个系统通过两个循环不断进化：

内循环（在“模拟考场”里）：
1. 探索者（MAP-Elites）利用**“模拟考官”**（代理模型）快速筛选出成千上万种有潜力的卡组。
2. 因为模拟考官很快，探索者可以迅速发现很多不同的风格，并整理出一份“精英名单”。
3. 关键点：探索者会故意去挑战模拟考官的弱点，找出那些模拟考官觉得好、但可能实际不好的卡组（这就像学徒故意找茬，帮考官发现盲点）。
外循环（在“真实考场”里）：
1. 把内循环选出来的“精英名单”送到**“真实考官”**（真正的游戏引擎 SabberStone）面前。
2. 真的打 200 场游戏，获取真实数据（谁赢了、打了多久）。
3. 更新与学习：
  - 把这些真实数据喂给“模拟考官”，让它变得更聪明、更准确。
  - 同时，把这些真实的优胜卡组存入最终的“宝藏库”。

这就形成了一个良性循环：
模拟考官越练越准 $\rightarrow$ 探索者能发现更复杂的卡组 $\rightarrow$ 真实测试产生更多高质量数据 $\rightarrow$ 模拟考官变得更强。

4. 为什么这个方法很厉害？（实验结果）

作者做了对比实验，发现：

比“纯盲试”快得多：没有代理模型的纯 MAP-Elites 就像盲人摸象，效率很低。
比“离线训练”的模型好：如果只用一堆随机数据提前训练好模型（就像只背了旧题库），遇到新题型就傻了。而他们的模型是在线学习的，随着探索不断进化，越用越灵。
比“线性模型”强：简单的数学模型（线性模型）处理不了复杂的卡牌互动，而他们的深度神经网络（像人脑一样复杂的模型）能理解卡牌之间微妙的化学反应。

最终成果：
他们不仅找到了更多样化的卡组（填满了更多的“风格格子”），而且这些卡组的胜率也更高。这就好比他们不仅找到了“最快的车”，还找到了“最稳的车”、“最省油的車”等各种风格的最优解。

5. 一个小插曲：关于“额外数据”

作者原本以为，给模型多喂一些“辅助数据”（比如总伤害、抽牌数等），能让模型理解得更深。结果发现，在这个特定的简单编码方式下，加不加这些数据效果差不多，甚至有时反而变差。

原因推测：可能是因为目前的卡组编码太简单（只记录了“有没有这张卡”，没记录“这张卡有多强”），导致模型无法利用这些额外信息。就像给一个只认识字的人看复杂的物理公式，他看不懂，反而干扰了判断。

总结

这篇论文的核心思想就是：不要只靠蛮力去试错，也不要只靠死记硬背的旧经验。

通过让一个快速但偶尔会犯错的 AI 预测器和一个严谨但缓慢的真实测试互相配合、互相学习，我们就能以极低的成本，在巨大的游戏设计空间里，挖掘出既强大又丰富多彩的创意内容。这不仅适用于《炉石传说》，未来也可能用于设计机器人动作、生成游戏关卡等更多领域。

这是一份关于论文《Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding》（用于自动化炉石传说卡组构建的深度代理辅助 MAP-Elites）的详细技术总结。

1. 研究问题 (Problem)

该研究旨在解决游戏中高效生成高质量且多样化内容的问题，具体案例为自动化构建《炉石传说》（Hearthstone）的卡组。

挑战：
- 评估成本高昂：由于游戏初始状态和玩家动作的随机性，评估一个候选卡组需要至少进行 200 场对局才能获得可靠的性能数据。
- 搜索空间巨大：仅使用基础牌和经典牌（共 342 张），可能的卡组组合数量约为 $1.42 \times 10^{35}$ 。
- 现有方法的局限：传统的 MAP-Elites 算法（一种质量多样性优化算法）虽然能生成多样化的策略卡组，但需要大量的昂贵评估（即实际游戏模拟），导致样本效率低下。
- 离线代理模型的缺陷：之前基于离线数据训练的代理模型（Surrogate Model）容易受到“对抗性样本”的影响，即算法可能发现模型预测为高价值但在实际游戏中表现糟糕的卡组。

2. 方法论 (Methodology)

作者提出了一种名为 DSA-ME (Deep Surrogate Assisted MAP-Elites) 的新型模型化质量多样性算法。该算法结合了 MAP-Elites 和在线训练的深度神经网络代理模型。

核心架构：内外循环机制

算法包含两个主要循环（如图 1 所示）：

内循环 (Inner Loop)：
- 利用深度代理模型（Deep Surrogate Model）作为游戏引擎的快速替代品。
- 在代理模型上运行 MAP-Elites 算法，快速搜索并生成一个多样化的精英卡组集合（Surrogate Archive）。
- 由于代理模型预测速度快，内循环可以运行多次迭代，探索搜索空间。
外循环 (Outer Loop)：
- 将内循环生成的精英卡组提交到真实的《炉石传说》模拟器（SabberStone）中进行昂贵的真实评估（每卡组 200 场对局）。
- 获取真实的性能数据（目标函数：平均健康差；度量函数：平均手牌数、平均回合数）。
- 数据更新：将真实评估数据存入训练缓冲区（Data Buffer），用于在线重新训练代理模型。
- 真值归档：将真实评估后的精英卡组存入“真值归档”（Ground-truth Archive），作为最终输出。

关键组件

深度代理模型：使用多层感知机（MLP）作为深度神经网络。
- 输入：卡组编码为“卡牌袋”（Bag-of-Cards）向量，表示每张卡牌在卡组中的数量（0, 1, 或 2）。
- 输出：预测目标函数（平均健康差）和度量函数（手牌数、回合数），以及辅助数据（如胜率、总伤害等，用于辅助学习内部表示）。
在线训练策略：与传统的离线训练不同，DSA-ME 随着搜索过程的进行不断更新模型。内循环发现的“对抗性”或“边缘”案例会被用于修正模型的预测偏差，使模型逐渐适应搜索空间。

3. 主要贡献 (Key Contributions)

提出 DSA-ME 算法：首次将深度神经网络作为在线训练的代理模型引入到质量多样性（QD）优化中，用于解决高维、离散的生成式内容问题。
解决样本效率问题：通过代理模型引导搜索方向，显著减少了在真实游戏引擎上所需的评估次数，同时保持了生成内容的多样性。
在线 vs 离线对比：证明了在线训练（Online Training）优于离线训练（Offline Training）。离线模型容易陷入局部最优或被对抗样本误导，而在线模型能随着搜索进程自我修正。
深度模型 vs 线性模型：证明了深度神经网络在处理高维离散搜索空间（如数百张卡牌的组合）时，比线性代理模型具有更强的表达能力和预测精度。
开源实现：提供了完整的实验代码（EvoStone2），推动了该领域的研究。

4. 实验结果 (Results)

实验在《炉石传说》盗贼（Rogue）职业卡组构建任务上进行，对比了四种算法：MAP-Elites（无代理）、LSA-ME（线性代理）、Offline DSA-ME（离线深度代理）和 DSA-ME（在线深度代理）。

性能指标：
- QD-Score（质量多样性得分）：DSA-ME 得分最高（338.52），显著优于 LSA-ME (276.23) 和 Offline DSA-ME (194.94)。
- 填充率（Cells Filled）：DSA-ME 填充了 31.86% 的归档单元，表明其生成的策略多样性最高。
- 最大胜率与健康差：DSA-ME 在所有指标上均达到或接近最优（胜率 98.4%）。
统计显著性：方差分析（ANOVA）表明，DSA-ME 在所有指标上均显著优于 MAP-Elites 和离线基线。
关于辅助数据（Ancillary Data）的发现：
- 实验尝试引入辅助数据（如总伤害、法力消耗方差等）来增强模型内部表示。
- 结果：辅助数据并未提升性能，甚至在某些情况下降低了 DSA-ME 的表现。作者推测这可能是因为当前的“卡牌袋”编码方式过于简单，未能捕捉卡牌的具体属性（如法力值、攻击力、卡牌描述），导致辅助数据无法有效帮助模型构建更好的内部表示。

5. 意义与影响 (Significance)

自动化游戏平衡：该方法为游戏设计师提供了一种高效工具，用于自动生成具有不同战略风格（如快攻 Aggro 与控制 Control）的高性能卡组，辅助游戏平衡性测试。
质量多样性优化的新范式：展示了“在线深度代理模型”在解决高维、离散、昂贵评估的生成式优化问题上的巨大潜力，超越了传统的基于高斯过程（Gaussian Process）的代理方法（后者难以处理高维离散数据）。
样本效率提升：在保持生成内容多样性的同时，大幅降低了计算成本，使得在复杂游戏环境中进行大规模自动化内容生成成为可能。

总结：该论文通过引入在线训练的深度代理模型，成功解决了 MAP-Elites 在自动化炉石卡组构建中评估成本过高的问题，实现了高质量、高多样性卡组的快速生成，并确立了该任务在质量多样性领域的最新技术水平（SOTA）。