想象一下，你正在试图教一个机器人如何遵循一组会改变其内部情绪或位置的指令。在人工智能领域，这被称为“序列建模”（sequence modeling）。机器人逐字逐句地阅读一个故事，随着每一个新词的出现，它都会更新自己对故事走向的理解。长期以来，最著名的机器人（被称为 Transformer）在这方面表现出色，但它们也极其渴求计算能力。因此，科学家们发明了一种更轻量、更高效的新型机器人，称为状态空间模型（State-Space Model，简称 SSM）。你可以把 SSM 想象成一个拥有微型、高效记忆库的机器人，它在阅读时能即时更新自身，而不是每次都重新阅读整个故事。

但棘手之处在于：仅仅因为一个机器人很高效，并不意味着它足够聪明到能处理所有事情。有些任务就像简单的数学（比如加法），而另一些任务则像是涉及按特定顺序交换物品的复杂谜题。在数学中，这些谜题通常用“群”（groups）来描述，它们只是关于事物如何组合或交换的某种高级规则。如果规则简单且可预测（比如加法），机器人可能会轻松应对。但如果规则很混乱且依赖操作顺序（比如交换红、蓝两种颜色的球，先换红再换蓝与先换蓝再换红的结果不同），机器人就会感到困惑。科学家们想要知道：这些高效机器人的绝对极限究竟在哪里？它们能学会解决这些混乱的谜题吗，还是只能被困在简单的谜题中？

这篇论文深入探讨了这个问题，通过测试一种非常高效的特定类型机器人——“对角线 SSM”（Diagonal SSM）。研究人员想要观察这些机器人是否能学习追踪复杂的状态变化，特别是涉及非阿贝尔群（non-Abelian groups，即那些依赖顺序的混乱谜题）的变化。他们发现了一个坚硬的数学壁垒：单层对角线机器人根本无法解决这些混乱的谜题，无论你如何努力尝试。然而，如果将这些机器人堆叠在一起，它们在理论上就获得了解决这些问题的能力，但前提是这个谜题必须具有特定的分层结构（称为“可解群”，solvable group）。

这里有一个让故事变得有趣的反转：尽管这些堆叠后的机器人从理论上讲应该能够解决这些谜题，但研究人员发现，在实践中，它们往往会失败。这就像是一辆引擎强大到足以爬上高山的汽车，但驾驶员（训练算法）却总是卡在沟里，找不到上山的路。这篇论文证明了这种能力存在于架构之中，但标准的训练方法难以将其释放出来，尤其是对于更复杂的非阿贝尔任务。

机器人的记忆库

为了理解作者的发现，我们首先需要了解这些“对角线 SSM”是如何工作的。想象一个拥有一排轻型开关的机器人。当它读到一个新词时，它会根据一个简单的规则来拨动这些开关。在“对角线”SSM 中，拨动一个开关的规则并不依赖于其他开关；每个开关都是独立运作的。这使得机器人运行得极其迅速且易于训练，就像一个团队中的每个成员都在各自完成工作，而无需互相交流。

研究人员在一种名为“状态追踪”（state-tracking）的游戏中测试了这些机器人。在这个游戏中，机器人会收到一系列指令（例如“交换红球”、“旋转蓝球”），并必须记住最终的排列情况。如果指令是简单的且满足交换律（即顺序不影响结果，就像 2 + 3 等于 3 + 2），机器人会表现得非常出色。但如果指令不满足交换律（例如穿袜子和穿鞋的先后顺序不同），机器人就会面临更大的挑战。

理论壁垒：单层 vs 多层

论文首先提出了一个关于单层机器人能力的强有力的数学证明。作者表明，单层对角线 SSM 在本质上仅限于解决“阿贝尔”（Abelian）谜题——即那些操作顺序无关紧要的谜题。无论你如何调整机器人，只要它只有一层这样的独立开关，它就无法追踪复杂非阿贝尔群（如三个物体的置换群 $S_3$）的状态。

然而，当你开始堆叠层数时，故事变得更加精彩。作者证明，如果你堆叠 $k$ 层这样的对角线机器人，只要该谜题可以被分解为 $k$ 个较简单的阿贝尔步骤，这个团队就能解决它。这就像一场接力赛：如果一个跑者无法完成任务，你可以把接力棒交给第二个跑者，再由他交给第三个。只要谜题可以被切分为特定数量的简单有序步骤，相应数量的机器人团队在理论上就能解决它。这意味着，深度（增加层数）是解锁更复杂智能的关键，但这也伴随着一个严格的规则：你需要恰好与谜题的复杂度“切片”数量相等的层数。

学习差距：理论与现实

这就是情节变得复杂的地方。作者不仅停留在数学层面，他们还构建了这些机器人并尝试对其进行训练。他们在各种任务上测试了单层和两层模型，包括简单的加法（阿贝尔任务）和棘手的 $S_3$ 置换谜题（非阿贝尔任务）。

结果既有成功也有挫败。对于简单的任务，机器人学习得很快，并且能处理非常长的序列。但对于复杂的 $S_3$ 任务，尽管两层模型在理论上应该具备解决它的能力（根据他们的数学推导），但在实践中却大多失败了。机器人无法学会正确的模式，即使经过了数千次的尝试。

研究人员发现，问题不在于机器人“不能”做到，而是因为解决方案确实存在于机器人的设计之中。这更像是机器人在大海捞针，而标准的训练方法（梯度下降）总是错过了那根针。在一次实验中，他们尝试通过让机器人从非常接近正确答案的状态开始来“帮助”它。当他们这样做时，机器人突然学会了这项任务，并且能够处理比它之前见过的序列长得多的序列。这表明，解决方案确实存在于机器人的“权重空间”中，但寻找这条路径的过程极其狭窄且难以驾驭。

总结

论文的结论是，虽然对角线 SSM 非常高效，并且如果堆叠足够的层数，在理论上能够解决复杂的状态追踪问题，但在“它们能做什么”与“它们实际学到了什么”之间存在着巨大的鸿沟。数学告诉我们两层机器人可以解决 $S_3$ 谜题，但在实践中，它通常会失败。这凸显了 AI 研究中的一个关键教训：仅仅因为一个模型具有智能的潜力，并不意味着它能轻易地学会变得聪明。作者建议，为了弥补这一差距，我们可能需要改变训练这些模型的方法，或者或许微调它们的架构（例如允许开关之间存在更多的交互），从而让通往解决方案的路径不再那么“湿滑”。

简而言之，这些高效的机器人就像是那些拥有教科书知识却在考试中屡屡失利的优秀学生——他们明明掌握了解决难题的知识，却因为无法想出如何应用这些知识而不断失败。这篇论文精确地描绘了它们的边界，但也警告我们，让它们真正发挥作用，远比数学推导出的过程要困难得多。