🤖 machine learning

Chessformer: A Unified Architecture for Chess Modeling

本文介绍了 Chessformer，这是一种统一的仅编码器 Transformer 架构，它融合了几何注意力偏置与方格令牌表示，从而在人类走法预测中同时实现最先进的性能，显著提升 Leela Chess Zero 的棋力，并支持细粒度的可解释性，证明了将模型设计与领域几何结构相契合能在多个目标上产生更优结果。

原作者： Daniel Monroe, George Eilender, Philip Chalmers, Zhenwei Tang, Ashton Anderson

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Monroe, George Eilender, Philip Chalmers, Zhenwei Tang, Ashton Anderson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象将国际象棋游戏视为一座巨大而复杂的城市。多年来，人工智能研究人员一直在尝试构建不同类型的“城市向导”来导航这座城市。有些向导被设计为“终极导游”（赢得每一场比赛），有些被设计为“模仿人类游客”（预测普通人的行为），还有些被设计为“透明地图”（让我们能够确切地看到它们如何做出决策）。

根据这篇论文，问题在于研究人员一直为这三项任务构建三本独立且互不兼容的指南。这些指南往往笨拙、低效，并且无法完全契合国际象棋这座城市的独特“几何结构”。

作者介绍了Chessformer，这是一种全新的、一体化的指南，能够利用巧妙的创新设计，比之前分离的指南更好地完成这三项任务。

以下是他们如何实现这一点的简要分解：

1. 新地图：“方格即令牌”

大多数先前的 AI 模型将棋盘视为长长的走法列表（像阅读故事）或一张模糊的照片。作者认为，这就像试图通过阅读街道名称列表或从太空看卫星照片来导航城市——这会丢失具体的布局信息。

相反，Chessformer 将 64 格棋盘上的每一个方格都视为其独特的“令牌”（数据的基本构建块）。

类比：想象一座城市，每个街角都有自己的专用 GPS 卫星。AI 看到的不仅仅是“一步棋”，而是棋子所在的角与它想去的那个角之间的具体关系。这完美契合了棋盘的自然形状。

2. 秘密武器：“几何注意力偏置”（GAB）

标准 AI 模型使用一种通用的方式来理解“位置”（例如，知道“旁边”在书中和在地图上意味着相同的东西）。但在国际象棋中，“旁边”的含义取决于棋子而大不相同。马的“旁边”是"L"形，车的“旁边”是直线。

作者发明了一种新工具，称为几何注意力偏置（GAB）。

类比：将 GAB 想象成一把动态可变形尺。
- 如果 AI 在看车，尺子会沿直线延伸，以查看车能走多远。
- 如果它在看马，尺子会瞬间重塑为"L"形，以查看马的跳跃路径。
- 它甚至会根据棋局阶段而变化。在开局阶段，它可能会观察整个棋盘；在残局阶段，它可能会集中关注王的安全。
- 这使得 AI 能够瞬间“感受”棋盘的几何结构，而不必每次都从头学习。

3. 三大胜利

该论文声称 Chessformer 在三个特定领域取得了胜利，证明了一种架构可以包揽所有任务：

A. 在预测人类方面击败人类（“读心术”胜利）

目标：预测人类棋手下一步会做什么。
结果：他们创建了一个名为MAIA-3的模型。它以57.1% 的准确率预测人类走法。
神奇之处：先前的模型需要巨大的计算能力（3.55 亿个“脑细胞”或参数）才能接近这一水平。而 MAIA-3 仅用7900 万个参数（不到前者的四分之一）就做到了。这就像用一本小巧高效的笔记本而不是超级计算机来预测朋友的走法。

B. 击败最佳引擎（“特级大师”胜利）

目标：比现有的最佳引擎下得更好。
结果：他们将 Chessformer 植入著名的开源引擎Leela Chess Zero中。
神奇之处：这次升级增加了超过100 个“等级分”（Elo）的强度（衡量技能的指标）。为了说明这一点，顶尖人类棋手与世界冠军之间的差距通常只有 50 分。这次升级如此强大，以至于新的 Leela 引擎在重大比赛中实际上击败了 Stockfish（长期以来的世界冠军引擎）。

C. 洞察大脑内部（“透明”胜利）

目标：理解 AI 为何做出某步棋。
结果：由于 Chessformer 将每个方格视为特定令牌，我们可以观察它的“注意力”（它关注的内容），并说：“啊，它正在关注那个被牵制的马所在的方格。”
神奇之处：先前的模型就像黑盒；你看到了输入和输出，但中间过程是个谜。Chessformer 则像一扇透明的窗户。作者发现 AI 正在学习特定的国际象棋概念，如“双将”（同时攻击两个棋子）和“牵制”（困住一个棋子），并且他们能够精确指出棋盘上这些模式发生的具体方格。

核心启示

这篇论文的主要教训是对齐至关重要。当你构建一个 AI 来理解特定世界（如国际象棋）时，你不应该强行将该世界塞入一个通用的盒子。相反，你应该构建 AI 的大脑以匹配该世界的形状。

通过构建一个尊重棋盘几何结构（方格即令牌）和移动规则（动态 GAB）的模型，作者创造了一个系统，它更强大、更像人类、且更易于理解，同时使用的计算能力远少于以往。

技术摘要：CHESSFORMER

问题陈述

国际象棋建模领域目前处于碎片化状态，存在多种针对特定且往往相互冲突的目标而优化的不同架构：最大化原始棋力、预测人类走法选择以及实现机制可解释性。现有方法常与国际象棋领域的几何结构不相匹配。例如，基于 Transformer 的模型经常采用将走法序列或线性化棋盘表示作为标记的方案，或使用（如旋转嵌入）等位置编码，这些方法将人为的一维结构强加于二维棋盘之上，可能会阻碍性能提升。这种碎片化引发了一个疑问：是否可以通过将内部表示与领域固有的几何结构对齐，构建单一的统一架构，从而同时在棋力、人类走法预测和可解释性方面实现最先进水平？

方法论

作者提出了Chessformer，这是一种旨在统一上述目标的仅编码器 Transformer 架构。其核心设计原则如下：

方格标记表示（Square-Token Representation）： 不同于以往将走法序列或卷积通道作为标记的方法，Chessformer 将 64 个棋盘方格视为独立的标记。每个方格由一个 12 维向量表示，指示 12 种棋子类型（或空位）中某一种的存在。棋盘会根据行棋方的视角进行翻转。为了捕捉历史，模型将当前棋盘状态的表示与之前的 $n$ 个状态（通常 $n=7$ ）的表示进行拼接，从而在每个时间步生成一个固定的 64 个标记序列。
几何注意力偏置（Geometric Attention Bias, GAB）： 为了解决标准自注意力的置换不变性以及国际象棋独特的几何结构问题，作者提出了 GAB。这是一种新颖的动态位置编码，它基于棋盘状态本身生成注意力偏置。
- 机制： 棋盘状态标记通过线性投影和层归一化被压缩为全局表示。该表示随后被投影，为每个注意力头生成一组偏置模板（ $h \times 4096$ ）。这些偏置被重塑为 $h \times 64 \times 64$ ，并在 Softmax 之前以加法形式添加到点积注意力 logits 中。
- 功能： GAB 使模型能够根据特定位置的几何结构（例如棋子机动性、兵形结构）自适应地调整注意力模式，而不是依赖静态的相对或绝对位置。它充当了几何模板的动态混合器。
输出头（Output Heads）：
- 价值头（Value Head）： 通过对编码器输出进行平均池化，随后进行线性投影，来预测游戏结果（胜、和、负）。
- 策略头（Policy Head）： 采用“源 - 目标”（source-destination）公式。查询向量对应起始方格，键向量对应目标方格。策略 logits 通过缩放点积计算得出，生成一个表示所有可能走法的 $64 \times 64$ 矩阵。这种设计自然地支持国际象棋走法的“从 - 到”结构，并增强了可解释性。
训练机制（Training Regimes）：
- 人类走法预测（MAIA-3）： 在重新采样的 Lichess 快棋数据集上进行训练，根据棋盘状态和棋手等级分预测人类走法。等级分通过“软嵌入”（soft embeddings）融入，这些嵌入在弱引擎和强引擎水平之间进行插值。
- 棋力（Leela-CF）： 通过从搜索增强的 Leela Chess Zero (Lc0) 神谕进行监督蒸馏进行训练。该模型学习预测 MCTS 增强神谕的策略分布和价值，而在推理过程中无需执行树搜索。

主要贡献

统一架构： Chessformer 是首个被证明能同时在原始棋力、人类走法预测和可解释性方面提升最先进水平的架构。
几何注意力偏置（GAB）： 一种新的动态位置编码，能够适应棋盘状态，性能优于静态的绝对和相对偏置。它使模型能更有效地捕捉领域特定的几何关系（例如棋子移动模式）。
方格标记设计： 通过将方格视为标记，该架构与国际象棋的视觉和几何本质保持一致，减少了参数量，并使得注意力和激活值能够直接归因于特定的棋盘方格。
源 - 目标策略头： 一种将动作空间显式建模为源 - 目标对矩阵的策略头，促进了细粒度的可解释性。

结果

1. 人类走法预测（MAIA-3）

性能： 拥有 7900 万参数的 MAIA-3 模型在 ALLIE 测试集上达到了 57.1% 的走法匹配准确率。
效率： 这一成绩超越了之前的最先进水平（ALLIE-ADAPTIVE-SEARCH，55.9%），后者需要一个启用搜索的 3.55 亿参数模型。MAIA-3 以不到其四分之一的参数量且无需搜索实现了这一成绩。
可扩展性： 拥有 500 万参数的 MAIA-3 模型达到了 55.4% 的准确率，以 70 倍更少的参数量匹配了之前的最先进水平。
技能等级： 在所有技能等级均观察到提升，其中在较高等级分处的提升最为显著，表明该模型更好地捕捉了高水平对局的稳定性。

2. 棋力（Leela-CF）

蒸馏： 一个 1.91 亿参数的 Chessformer（Leela-CF）是从搜索增强的 Lc0 神谕中蒸馏而来的。
等级分提升： 在无搜索设置下，Leela-CF 实现了 2466 的等级分（使用价值最大化）和 2374 的等级分（使用策略选择），显著优于基线模型（如 2299 等级分的 AC-270M 和 2168 等级分的 Leela-CNN），同时使用了更少的浮点运算次数（FLOPs）。
锦标赛胜利： 当集成到完整的 Leela Chess Zero 配置中时，基于 Chessformer 的引擎在包括 TCEC Cup 11 以及 TCEC Swiss 6 和 7 在内的多个重大锦标赛中击败了Stockfish（常年世界冠军引擎）。这代表其棋力比之前的最佳 Lc0 配置提高了超过 100 个等级分。

3. 可解释性

归因： 方格标记设计使得注意力和激活模式能够直接归因于特定的棋盘方格。
特征分析： 使用跨层转换器（cross-layer transcoders），作者识别出了高度可解释的特征，这些特征对应于战术主题（叉、牵制、将军）和战略概念（王的安全、兵形结构）。
GAB 与语义注意力： 分析显示，GAB 偏置在不同位置间相对一致，但在查询方格间变化显著（捕捉局部几何结构）；而点积注意力在不同位置间变化显著，但在查询方格间保持一致（捕捉全局语义上下文）。这表明存在一种互补的分工，其中 GAB 处理几何约束，而点积注意力处理语义评估。

意义与主张

该论文主张，Chessformer 证明了将模型的标记化、位置编码和输出设计与领域的基础结构对齐，能够同时在性能、人类兼容性和可解释性方面带来提升。

效率： 与以往的最先进方法相比，该架构以更少的参数和计算资源实现了更优越的结果。
人类兼容性： 通过无需搜索且高精度的建模人类对局，该模型弥合了超人类引擎实力与类人行为之间的差距，可能有助于教学和协作。
机制洞察： 这种与领域对齐的架构使机制可解释性更加自然，允许研究人员直接将内部模型状态映射到国际象棋概念。

作者总结道，虽然 GAB 目前专门针对国际象棋，但更广泛的教训是：将模型架构适应于领域的几何结构，可以使 AI 模型灵活地适应任务精通和人类兼容性。他们承认了局限性，指出 GAB 的益处可能取决于几何关系处于核心地位的领域，并且需要更深入的机制分析来完全理解 GAB 与语义注意力在规划和评估中的相互作用。