想象一群朋友正试图一起解开一个谜题，但他们被禁止互相交谈。他们不能发短信、不能耳语，甚至不能进行眼神交流。在计算机科学的世界里，这是“多智能体强化学习”（MARL）的一个经典难题。在这个领域中，计算机程序（智能体）通过试错来学习做决策，就像狗学习耍把戏一样，但当有许多这样的智能体作为一个团队协作时，由于它们无法分享彼此的秘密，往往会陷入困境。

为了帮助这些沉默的队友进行协作，科学家们长期以来一直使用一种被称为“共享随机性”的小技巧。想象一下，在游戏开始前，给每位朋友一份同样的洗好的扑克牌。他们不能说话，但如果两人都抽到了“黑桃A”，他们就知道要做出相同的动作。这是一种无需言语即可实现同步的聪明方法。但这里有一个陷阱：这种“扑克牌”策略存在一个硬性的天花板。无论你如何洗牌，总有一些谜题是仅靠这种策略无法取得胜利的。

于是，物理学中的“奇兵”登场了：量子纠缠。这是粒子之间一种奇妙的联系，两种事物被深度链接在一起，以至于测量其中一个能瞬间得知另一个的状态，即使它们相隔数英里之遥。这就像拥有两颗神奇的骰子，无论它们在多么远的地方掷出，结果总是相同的数字。几十年来，物理学家一直知道，使用这些“神奇骰子”解决某些协作谜题的效果，要比使用任何扑克牌策略都要好。但直到现在，还没有人想出办法教一群学习型计算机智能体如何真正利用这种量子魔力来提升工作效率。

这篇论文首次构建了一个针对这些智能体的训练场，教它们如何利用量子纠缠在不言语的情况下进行协作。研究人员创建了一个全新的系统，让智能体学习将量子测量视为一种秘密语言。他们在简单的单次游戏上进行了测试，发现智能体确实可以学会利用量子纠缠的策略，从而击败了所有最好的“扑克牌”方法，实现了物理学家所说的“量子优势”。随后，他们更进一步，教导智能体在涉及流量路由器和服务器队列的复杂持续场景中进行协作。在这些模拟中，具有纠缠能力的智能体能够让客户等待的时间比非纠缠智能体更短，证明了量子连接可以比传统的技巧更高效地帮助沉默的团队协作。

沉默的团队与神奇的骰子

让我们深入了解这个故事。想象你和你的好朋友正在一起玩一场高风险的视频游戏。你们分别位于地图的两端，且规则规定：禁止交谈。 你不能发送消息，不能用角色做信号，也不能看对方的屏幕。你们的目标是获胜，但要做到这一点，你们需要做出与你朋友完全匹配的动作。

在人工智能的世界里，这就是“多智能体强化学习”（MARL）问题。这些 AI 智能体是通过实践来学习的。通常，如果它们无法交谈，就会依赖共享随机性。把这想象成赛前的一种仪式，你和你的朋友都抛一枚硬币。如果是正面，你们都跳跃；如果是反面，你们都蹲下。这是一种无需说话即可实现同步的方法。科学家们使用这种方法已经很多年了，它效果尚可。但它存在极限。对于某些非常棘手的谜题，仅仅靠抛硬币是不够的，无法获得完美的胜率。

然后，出现了量子纠缠。这是物理学中的一种真实现象，其中两个粒子以一种挑战日常逻辑的方式相互连接。如果你拥有一对纠缠粒子，测量其中一个会立即揭示另一个的状态，无论它们相距多远。这就像拥有两颗相互连接的“神奇骰子”。如果你在你的骰子上掷出了 6，你朋友的骰子会瞬间也显示为 6，即使他在银河系的另一端。物理学家早就知道，如果你使用这些神奇骰子而不是普通的硬币，你赢得某些游戏的概率会比仅用硬币更高。这被称为“量子优势”。

但这里有一个大问题：我们能否教会一支学习型 AI 团队去真正使用这些神奇骰子来进行协作？或者说，量子纠缠只是一个计算机无法学会利用的酷炫物理技巧？

新的训练场

来自纳斯达克和宾夕法尼亚大学的一个团队决定建立一个训练场来寻找答案。他们想看看是否可以教 AI 智能体通过纯粹的经验，在没有任何人类告知答案的情况下，学会利用量子纠缠的策略。

为了实现这一点，他们必须发明一种让 AI 用来“思考”量子力学的新方法。通常，AI 通过调整神经网络中的数字（权重）来进行学习。但量子力学涉及复杂的数学，无法简单地套入标准的 AI 工具中。该团队创建了一个名为 QuantumSoftmax 的新工具。

想象你在教一个机器人玩杂耍。你不能只告诉它“去杂耍”。你必须将其分解为微小的、可调节的动作。QuantumSoftmax 就像一个特殊的翻译器，它将机器人混乱的原始数学转化为有效的“量子测量”。它确保机器人的每一个决定都遵循严格的量子物理规则。这使得 AI 可以使用“梯度下降”——即通过试错进行学习的标准方法——来不断微调其量子策略，直到变得越来越好。

他们还设计了一种新的团队架构。他们将决策过程分为两个部分：

1. 局部执行者（Local Actors）： 这些是单个智能体（玩家）。它们观察自己看到的内容并决定行动。
2. 量子协调器（Quantum Coordinator）： 这是“神奇”的部分。它不会直接告诉玩家该做什么。相反，它利用纠缠粒子为每个玩家生成一段“建议”（一个随机数或信号）。因为粒子是纠缠的，所以给玩家 A 的建议与给玩家 B 的建议是完美相关的，尽管他们从未交谈过。

随后，玩家会将这些建议与自己的观察结果相结合，做出最终的动作。这就像协调员给每个玩家递了一张秘密纸条，上面写着：“如果你看到红灯，就做 X”，但这张纸条是由神奇的骰子生成的，确保了纸条的内容能够完美匹配。

结果：魔法奏效了（在模拟中）

团队通过两种不同的方式对新系统进行了测试。

首先，热身游戏：
他们从简单的、单轮次的“非局域游戏”开始。这些是物理学家用来证明量子力学之诡谲的谜题。一个著名的例子是 CHSH 游戏。在这个游戏中，玩家需要根据随机输入来猜测彼此的动作。

• 结果： 团队从零开始训练他们的智能体。在没有任何帮助的情况下，智能体学会了利用量子纠缠。它们发现，通过这种方式赢得游戏的概率高于任何仅使用“共享随机性”（即抛硬币）的策略。
• 细节： 他们发现，加入一点点“熵”（一个表示鼓励 AI 保持一定的随机性而非过于可预测的术语）有助于智能体避免陷入旧有的经典策略。通过这种微调，每一次训练运行都找到了获胜的量子策略。

其次，现实世界模拟：
他们并没有止步于简单的游戏。他们想看看这在复杂且持续的过程中是否有效。他们模拟了一个“多路由器多服务器排队问题”。想象一个繁忙的网络，有两个路由器（智能体）向服务器发送数据包。路由器之间无法通信，但它们需要平衡负载，以确保没有服务器过载，也没有数据包等待过久。

• 设置： 这是一个复杂的序列决策问题。路由器必须随着时间的推移做出系列选择。
• 结果： 使用量子纠缠框架训练的智能体，其协作能力优于仅使用共享随机性的智能体。具体来说，纠缠智能体的“过度等待时间”（即客户等待时间相对于完美理论极限的增加量）更低。
• 意义： 这证实了量子纠缠可以在复杂的、类似现实世界的场景中发挥作用，而不仅仅是在简单的单次谜题中。智能体学会了利用“神奇骰子”来保持交通流动的顺畅。

这意味着什么（以及它没能做到什么）

论文非常明确地说明了他们取得了哪些成就，以及哪些问题仍悬而未决。

他们证明了：
他们展示了从零开始训练 AI 智能体学习量子策略是可能的。他们构建了一个框架，让智能体可以学习利用纠缠在不通信的情况下进行协作。在他们的模拟中，这在简单游戏和复杂的排队问题中都表现出了优于经典方法的性能。

他们没有做的是：

• 并非真实的量子硬件： 这些智能体并没有使用真正的量子计算机或真实的纠缠粒子。所谓的“纠缠”是在经典计算机上进行的数学模拟。他们证明了这一概念是行得通的，但他们还没有制造出真正的物理量子机器人团队。
• 并非瞬时通信： 论文明确排除了纠缠允许超光速通信的可能性。智能体仍然无法交谈。“神奇之处”仅仅在于它们能比随机概率更好地实现决策相关性。
• 并非已解决的问题： 虽然他们在这些特定的模拟中发现了量子优势，但他们并不声称量子纠缠可以解决所有问题。他们指出，在许多设定下这可能会有所帮助，但我们需要弄清楚究竟是哪些设定。

沉默团队的未来

作者们看到了一个光明但带有推测性的未来。他们提到，在高频交易领域（计算机以毫秒级速度买卖股票），通信造成的延迟是一个巨大的问题。如果交易者能够利用纠缠在不交谈的情况下进行协作，他们或许能反应得更快、更高效。

然而，他们也指出了障碍。现实世界的量子系统是混乱的。它们存在误差、规模有限以及测量不精确等问题。下一步的任务是教 AI 智能体如何应对这些现实世界的缺陷。他们还好奇，纠缠是否可以帮助智能体进行跨时间的协作，而不只是在单一时刻，这对于长期任务至关重要。

简而言之，这篇论文是一个概念验证。它就像展示了一辆车可以在冰面上行驶。它证明了物理定律是成立的，且引擎可以应对这种湿滑的表面。但在我们能在冰原上驾驶之前，我们需要造出一辆能应对严寒、大风和颠簸的真车。作者们已经造好了引擎，现在轮到世界去造车了。