💻 computer science

Hierarchical Deep Counterfactual Regret Minimization

本文介绍了分层深度反事实遗憾最小化（HDCFR），这是一种将基于技能的分层策略学习与深度 CFR 相结合的新型算法，通过允许使用预定义的专业知识和可迁移技能，提高了解决大规模非完全信息博弈的效率。

原作者： Jiayu Chen, Xudong Wu, Zhekai Wang, Vaneet Aggarwal

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayu Chen, Xudong Wu, Zhekai Wang, Vaneet Aggarwal

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，一些最困难的挑战来自于那些玩家无法看到全盘信息的游戏。想象一下扑克桌：你知道自己的牌和桌面上的牌，但你完全不知道对手手里拿的是什么。这种信息不完全性创造了一个充满不确定性的景观，在这里，每一个决策都必须权衡隐藏的可能性。几十年来，研究人员一直使用一种被称为“反事实后悔最小化”（counterfactual regret minimization）的方法来教计算机如何玩这些游戏。其逻辑非常直观：在游戏结束后，计算机回溯它所做的每一个选择，并自问：“如果我当时做了别的选择会怎样？”如果改变那个选择能带来更好的结果，计算机就会产生一种“后悔”感。通过数百万次的对局，它学会了如何最小化这种后悔，最终沉淀出一种极其强大的策略，使得任何对手都无法持续击败它。这种方法造就了历史上一些最强大的扑克 AI。

然而，当游戏变得过于复杂时，一个重大的问题便随之而来。在简单的扑克变体中，计算机可以绘制出游戏可能采取的所有路径。但在那些具有更长对局序列的复杂版本中，可能的路径数量会爆炸式增长，达到数万亿之多。传统的这种需要检查每一条路径以计算后悔的方法变得不再可行，因为计算机需要处理的数据量将超过宇宙中现有的数据总量。为了解决这个问题，研究人员转向了深度学习，利用神经网络在不检查每一种可能性的情况下预测正确的动作。然而，即使是这些先进的系统，在面对时间跨度极长的游戏时也会感到吃力，往往会迷失在仅通过采样少数路径所产生的海量随机噪声之中。它们缺乏一种将思维组织成易于管理的模块化的能力，就像人类试图记住一千个细微的步骤，而不是识别出几个熟悉的常规动作一样。

来自香港大学、北京大学和普渡大学的一个研究团队引入了一种名为“分层深度反事实后悔最小化”（Hierarchical Deep Counterfactual Regret Minimization，简称 HDCFR）的新方法，旨在克服这些局限性。他们的研究成果发表在一篇研究论文中，该研究提出，与其强迫 AI 从头开始学习每一个微小的动作，不如先教它学习“技能”。在这个系统中，AI 学习低层组件，这些组件充当解决游戏局部问题的特定技能，例如某种特定的下注模式或防御手段。随后，一个高层组件充当“管理者”，决定在何时以及何时切换使用哪种技能。这种结构模仿了人类的游戏方式：我们在开车时并不会思考每一块肌肉的运动；我们是以“左转”、“变道”或“停车”等概念进行思考，并根据情况的变化在这些高层目标之间进行切换。

研究人员构建的算法能够在全盘信息不可见的“无模型”（model-free）环境下工作。在这种场景下，AI 无法通过预判来看到所有的未来；它只能通过采样少数路径并从结果中学习。为了使这一过程在面对随机波动时保持稳定，团队引入了一种方差缩减技术。这就像是一个稳定器，帮助 AI 区分出哪些是真正的优秀策略，哪些仅仅是运气好。他们在数学上证明了这种分层方法能够收敛至最优策略，这意味着 AI 最终也能像旧方法一样学会完美对弈，但同时具备了处理更深、更复杂游戏的能力。

在与目前该领域最强的算法进行对比测试时，HDCFR 展现出了明显的优势，尤其是在游戏难度增加的情况下。研究人员在几种不同版本的扑克游戏上对系统进行了评估，范围从只有少量卡牌的简单变体，到拥有超过三十万亿个节点的复杂版本。在较简单的游戏中，新方法的表现与现有的顶尖工具持平。然而，随着游戏的长度增加和决策时界的延伸，其他方法开始显得力不从心，其表现变得不稳定甚至停止提升。相比之下，HDCFR 则能持续有效地学习，达到了更高的竞技水平。团队发现，这种分层结构使得 AI 即使在游戏拉长时也能保持稳定性，而之前的深度学习方法如果不被大量数据中的噪声淹没，则无法实现这一目标。

该研究的一个关键发现是系统在任务间转移知识的能力。研究人员在一种较简单的游戏版本上训练 AI，然后要求它将学到的知识应用到一个更复杂的版本中。他们发现，AI 掌握的低层技能（如特定的下注策略）可以在新的、更难的游戏中被复用。这种技能转移显著加快了学习过程。在某些情况下，AI 可以完全专注于学习这些技能的高层管理，从而跳过重新学习基础知识的过程。这表明该系统不仅仅是在死记硬背某个特定的游戏，而是真正学习了一套可以适应新挑战的灵活工具集。研究人员还观察到，AI 学会了长时间地使用这些技能，有时会坚持使用单一策略进行十步或更多步的行动，然后再进行切换，这反映了人类专家以“阶段”而非“孤立动作”为单位进行思考的方式。

研究还详细探讨了当系统的某些部分被移除时会发生什么。当研究人员移除允许 AI 在时间维度上延续技能的机制时，系统难以收敛，就像旧方法一样。同样，当他们移除方差缩减稳定器时，学习性能显著下降，尤其是在较长的游戏中。这些测试证实，分层结构和噪声削减技术对于系统在深度、复杂的环境中发挥作用至关重要。研究人员指出，虽然该系统需要大量的计算能力进行训练（在处理最大规模游戏时，在标准服务器上大约需要一周时间），但其结果展示了一条通往处理具有海量状态空间游戏的 AI 的可行路径。

归根结底，这项工作代表了机器处理不确定性下复杂决策方式的一种转变。通过将学习组织成“技能”与“管理者”的层级结构，研究人员创造了一个能够比以往更有效地在信息不完全游戏的广袤且隐秘的景观中进行导航的系统。研究结果表明，要让 AI 精通最复杂的战略挑战，它可能需要停止尝试计算每一种可能性，转而开始学习以结构化的、可复用的技能进行思考。这种方法不仅提高了在游戏中的表现，也为智能体如何在现实世界中运作提供了一个蓝图——在现实世界中，信息往往是不完整的，而未来也过于宏大，无法进行详尽的全盘规划。

技术摘要：分层深度反事实遗憾最小化 (HDCFR)

问题陈述

不完全信息博弈 (IIGs)，如扑克，模拟了在决策者缺乏完整状态信息情况下的决策过程。虽然反事实遗憾最小化 (CFR) 是求解 IIGs 的主流算法，但标准的表格型 CFR 需要在每次迭代中遍历整个博弈树，这使得处理具有大规模状态空间和深层决策时界的博弈变得不可行。深度学习扩展（Deep CFR）提高了可扩展性，但通常依赖于显式的博弈模型进行回溯，或者在仅能进行结果采样（outcome sampling）的模型无关（model-free）设置中面临高方差问题。此外，现有的深度方法通常学习扁平策略，缺乏整合领域特定技能或分层决策结构的能力，而这种结构能够模仿人类的规划并促进相似任务之间的知识迁移。

方法论

本文提出了分层深度反事实遗憾最小化 (HDCFR)，这是首个旨在解决模型无关、大规模 IIGs 的分层 Deep CFR 扩展。该方法通过三个递进阶段开发：

1. 理论基础：分层 CFR (HCFR)

作者将标准的 IIG 定义进行了扩展，以包含分层策略。智能体在每一步的决策由一个分层动作 $(z_t, a_t)$ 组成，其中包含一个选项（技能） $z_t$ 和一个原始动作 $a_t$ 。

策略分解： 策略 $\sigma_i$ 被分解为高层策略 $\sigma^H_i(z|I)$ （选择选项）和低层策略 $\sigma^L_i(a|I, z)$ （在选项内执行动作）。
遗憾分解： HCFR 不仅仅最小化单一的全局遗憾，而是最小化高层反事实遗憾 ( $R^{H}$ ) 与低层反事实遗憾 ( $R^{L}$ ) 之和。
收敛性： 作者证明，独立最小化这些分解后的遗憾，可以达到与标准表格型 CFR 相同的收敛速率 ( $O(T^{-0.5})$ ) 的纳什均衡 (NE)。

2. 模型无关扩展：低方差蒙特卡洛采样

为了处理无法进行全量遍历的深层博弈树，作者将 HCFR 适配到模型无关的结果采样 (OS) 设置中。

无偏估计量： 他们推导出了分层反事实遗憾的无偏蒙特卡洛估计量。
方差缩减： 意识到长时界采样会引入高方差，他们引入了一个基准函数 $b_t$ 。理论分析（定理 5）表明，将基准设置为状态的期望值可以最小化遗憾估计量的方差。这对于稳定深层博弈中的学习至关重要。

3. 深度近似：HDCFR

最后，使用神经网络 (NN) 近似表格函数，以处理无限的状态空间。

网络架构： 系统训练三类网络：
1. 遗憾网络： 近似累积的反事实遗憾 ( $R^H, R^L$ )。
2. 策略网络： 近似平均策略 ( $\sigma^H, \sigma^L$ )。
3. 基准网络： 近似用于方差缩减的价值函数。
训练目标： 这些网络经过训练以最小化在精确拟合下的目标函数。具体而言，遗憾网络最小化预测值与采样即时遗憾之间的平方误差，而策略网络则最小化预测值与采样平均策略之间的误差。
单步选项框架： 高层策略利用多头注意力 (MHA) 机制来动态决定是继续当前选项还是切换到新选项，从而有效地在没有显式终止条件的情况下学习时间抽象。

核心贡献

首个分层 CFR： 本文引入了第一个分层版本的 Deep CFR，为在 IIGs 中学习分层策略建立了理论收敛保证。
模型无关方差缩减： 提出了一种基于采样的、模型无关的分层 CFR 扩展，其中包括无偏蒙特卡洛估计量和一个具有理论依据的基准函数，用以控制长时界任务中的方差。
可扩展的深度学习集成： HDCFR 成功地将这些理论组件与神经网络集成，使其能够在保持表格设置收敛属性的同时，在广阔的状态空间中进行学习。
技能可迁移性： 该框架允许从相似任务中利用预先学习的技能（选项），从而促进在新 IIGs 中的快速学习和迁移。

实验结果

作者在包括标准 Leduc Hold'em 和 Heads-Up Flop Hold'em (FHP) 在内的系列扑克基准测试上评估了 HDCFR，这些测试通过增加决策时界（筹码量和加注次数）来增加难度。

性能对比最先进技术 (SOTA)： HDCFA 与 DREAM, OSSDCFR, NFSP 和 ESCHER 进行了基准测试对比。
- 在具有扩展时界的 Leduc 变体（Leduc 15, 20）中，HDCFR 实现了比基准模型更低的被剥削度（更接近 NE）。当 DREAM 在这些深层时界设置中难以收敛时，HDCFR 保持了稳定性。
- 在 FHP 基准（博弈树超过 $10^{12}$ 个节点）中，HDCFR 在对抗性对决中表现出优越性能，相对于 DREAM, OSSDCFR 和 NFSP 取得了正向的平均收益。
消融研究：
- 移除 多头注意力 (MHA) 组件会导致智能体在深层博弈中无法收敛，证实了时间抽象的必要性。
- 移除 基准函数 会因高方差导致性能显著下降，验证了方差缩减机制的作用。
- 增加遍历器采样策略中的探索率 ( $\epsilon$ ) 可以提高学习性能。
技能迁移： 将从小规模 Leduc 博弈中迁移出的技能应用于 Leduc 20 的实验表明，预学习的技能可以加速收敛。固定这些技能使智能体能够专注于高层策略选择，而动态调整它们则允许进一步优化。对技能切换频率的分析确认，高层策略学会了在时间上延长技能（平均持续约 10 步），而不是在每个原始动作处进行切换。

意义与主张

本文声称 HDCFR 提供了一个通过将选项框架与反事实遗憾最小化相结合，来学习竞争性多智能体系统的创新框架。其主要意义在于：

可扩展性： 它通过利用带有方差缩减的模型无关结果采样，解决了深层博弈树中回溯的局限性。
类人决策： 通过学习分层策略，该算法模仿了依赖于技能和子目标的决策过程，相比扁平策略具有更好的可解释性。
迁移学习： 它证明了在一个不完全信息博弈中学习到的技能可以有效地迁移到类似的、更复杂的任务中，从而减少了新领域的训练数据需求。

作者总结道，HDCFR 在处理随着决策时界增加而变得更加复杂的深层时界不完全信息博弈时，表现优于领先的模型无关算法，从而为解决此类复杂问题建立了新的基准。