Reinforcement learning for Quantum Tiq-Taq-Toe

想象一个逻辑规则略有不同的世界，在那里，一个物体在被人观察之前，可以同时存在于多个地方。这就是量子力学的领域，它是研究宇宙中最小微粒行为的一门物理学分支。虽然这些原理通常被保留用于关于现实结构的复杂理论，但现在它们正在最熟悉的场景中接受测试：井字棋（Tic-Tac-Toe）的简单网格。在这个量子版本的游戏中，进行的不是静态的 X 和 O 标记，而是通过概率和连接将棋子联系在一起，其方式超出了常人的经验。对计算机而言，挑战在于学习如何玩这种游戏，不是通过遵循固定的指令，而是像人类一样通过经验进行学习。这是强化学习的领域，在这种方法中，人工智能通过尝试移动、观察结果并随着时间的推移调整方法来改进其策略。研究人员对这一交叉领域感兴趣，因为如果计算机能够学会应对量子游戏的混乱且多变的景观，它最终可能帮助我们解决更难的量子计算问题，例如纠正精密量子机器中的错误。

在最近的一项研究中，来自荷兰莱顿大学的研究人员决定观察这些学习机器是否能够掌握一种特定的量子版井字棋。他们选择了一个使用三态量子单元的版本，这比理论中常用的标准两态系统允许更丰富的移动多样性。这个游戏本身非常棘手，因为玩家永远无法完全看清棋盘。玩家看到的不是方格内确定的 X 或 O，而是一幅概率图，显示了标记可能出现的位置，以及不同方格是如何相互连接的记录。每当玩家进行一次移动，这些连接可能会发生坍缩，在原本只有不确定性的地方突然显现出确定的状态。为了测试他们的理论，团队搭建了一个数字竞技场，让人工智能代理进行自我对抗。他们创建了两个不同版本的游戏规则。第一个版本相对具有限制性，要求任何复杂的量子移动必须涉及棋盘上的至少一个空格。第二个版本则更加开放，允许更广泛的交互作用以及方格之间更复杂的纠缠。

研究人员使用一种方法训练他们的代理，即让他们进行数千场对局，并从每一次胜、负、平中学习。他们想看看代理为了玩好游戏需要什么样的信息。他们测试了三种类型的玩家：一种只能看到概率图，一种只能看到棋子如何连接的历史记录，第三种则可以同时获取这两者。在更具限制性的游戏版本中，模拟显示出一个清晰的模式：先手玩家拥有明显的优势。尽管游戏中存在一定程度的随机性，使得无法保证获胜，但先手玩家比后手玩家能更频繁地找到通往胜利的路径。这表明，即使在规则不断变化的博弈中，也存在着学习机器可以发现的可辨识策略。研究人员通过让训练得最好的代理进行对决来可视化这些结果，显示出先手玩家始终能获得更多的胜利。

当研究人员转向规则允许更多样化的量子态和相互作用的更复杂版本时，动态发生了变化。在这种情况下，仅拥有一种类型的信息是不够的。只有当代理能够同时看到当前的概率图和棋子如何纠缠的历史记录时，它们的表现才最好。这种结合使得人工智能既能理解棋盘的实时状态，又能记住之前回合中形成的复杂关系。结果是一个更加平衡的游戏，玩家之间的胜负变得更加公平。这一发现强调了在信息隐藏或部分可见的环境中，拥有关于现在与过去的完整图景对于做出正确决策至关重要。

该研究得出结论，这种量子版本的井字棋可以作为开发更优量子系统人工智能的有效试验场。研究人员指出，由于棋盘的部分可见性所导致的固有难度，反映了现实量子计算中所面临的挑战，即控制和理解这些隐藏状态是至关重要的。虽然目前的工作重点是训练代理进行游戏，但作者建议，未来的工作可以探索其他帮助机器处理这种不确定性的方法，例如使用能够记住过去序列的记忆系统或更先进的处理模型。目前，这项工作证明了强化学习可以成功应对量子游戏的奇异逻辑，为机器学习与未来量子技术的融合提供了一条清晰的路径。