UniMaia: Steering Chess Policies with Language for Human-like Play
本文介绍了 UniMaia，这是一个参数高效的框架，它利用语言提示引导冻结的 Lc0 国际象棋策略网络，在无需端到端多模态训练的情况下，实现对棋风与棋力的类人可控性，同时保持特定领域的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位世界级的国际象棋教练，他极其聪明，知晓所有可能的走法，但他也有点像机器人。他总是下出“完美”的棋局，这非常有利于获胜，但如果你想看看人类会如何下棋，或者希望他像特定的人（比如初学者或特级大师）那样下棋，那就显得枯燥了。
另一方面，你有一位富有创造力的故事讲述者，他喜欢聊天，并能遵循诸如“像紧张的新手一样下棋”或“使用西西里防御”之类的指令，但这名故事讲述者棋艺不精，经常走出违规的棋步或忽略明显的威胁。
UniMaia 是一个新框架，试图兼取两者的长处。它将“机器人教练”（一个冻结的、预训练的国际象棋 AI，名为 Lc0）与一个“翻译器”（一个文本编码器）相结合，该翻译器能够理解自然语言指令。
以下是其工作原理，借助一些简单的类比：
1. 冻结的教练与新的翻译器
将国际象棋引擎（Lc0）想象成一座完美棋手的冻结雕像。你不能将其熔化或从头重新训练，因为那将耗费过多的时间和金钱，而且你会失去其惊人的棋艺。
UniMaia 不会熔化这座雕像。相反，它在雕像周围构建了一个ControlNet 风格的“控制面板”。这就像给雕像安装了一套旋钮和杠杆。
- 杠杆：由文本编码器（一个小语言模型）控制。
- 输入：你输入提示，例如“扮演一位喜爱王翼弃兵开局、等级分为 1200 的棋手”。
- 动作：文本编码器读取你的文字，并转动控制面板上的旋钮。这些旋钮向雕像的大脑发送微小而精确的调整（残差更新），引导它更像人类那样下棋或遵循特定策略，同时不改变雕像理解棋局的核心能力。
2. “方向盘”类比
想象国际象棋引擎是一辆高性能赛车。它知道如何在赛道上完美驾驶。
- 旧方法：要让这辆车像出租车或送货卡车那样驾驶，你必须从头重建整个引擎。
- UniMaia 方法：你保持赛车引擎原封不动。你只需安装一个智能方向盘，该方向盘可通过语音命令进行编程。如果你说“像谨慎的出租车司机那样驾驶”，方向盘会微调车辆路径，使其更加保守。如果你说“像鲁莽的赛车手那样驾驶”，它会调整路径，使其更具攻击性。引擎仍然是那台强大的引擎，但行为会根据你的语音指令而改变。
3. “类人”目标
研究人员希望看看是否能让 AI 像人类一样下棋。人类会犯错，有偏爱的开局，并且会根据其技能水平（即“等级分”Elo）表现出不同的下棋风格。
- 结果：UniMaia 成功学会了“操控”国际象棋引擎。当被要求像初学者那样下棋时，它会犯更多错误；当被要求像特级大师那样下棋时，它的走棋更加精准。它甚至可以根据文本描述在不同国际象棋开局之间切换。
- 权衡：需要达成一种微妙的平衡。你越要求 AI“表现得像人类”或遵循复杂的指令，其最佳走法预测的精确度相较于纯粹、无引导的国际象棋引擎就会略微下降。然而，它仍然与专门构建用于预测人类走法的模型保持很强的竞争力。
4. “时间机器”功能（UniMaia-Aux）
研究人员添加了第二个版本，称为UniMaia-Aux。这就像给教练配备了一台时间机器和一个秒表。
- 除了文本指令外，该版本还会查看走棋的时间、棋手在时钟上剩余的时间，以及他们思考上一手棋所花费的时间。
- 结果：这帮助 AI 更好地理解人类行为。例如，它更擅长根据棋局形势和时间压力预测人类何时会“认输”（放弃），这是标准版本较不擅长的方面。
5. 数据食谱
为了训练这个系统，研究人员并没有仅仅喂给它随机棋局。他们建立了一个包含来自 Lichess 的52 亿局国际象棋的巨大库。
- 他们创建了一个“提示生成器”，自动为这些棋局编写数百万条不同的指令，例如“一位等级分为 1500 的棋手正在下法兰西防御”。
- 这使得他们能够训练系统理解各种各样的人类下棋风格，而无需人类手动编写每一条指令。
总结
UniMaia 证明，要让强大的 AI 遵循指令，无需从头重建它。通过将轻量级的“语言翻译器”附加到一位冻结的专家身上，你可以用自然语言引导其行为。它创造了一个国际象棋 AI，它不仅仅是一个计算器，更是一个灵活的伙伴，能够模仿不同的棋手、遵循特定策略，甚至理解时钟带来的压力，同时保持其核心的棋艺天才。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。