🤖 AI

Recurrent Reasoning on Symbolic Puzzles with Sequence Models

本文介绍了 RecurrReason，这是一个包含四种循环逻辑谜题的难度控制基准测试，旨在证明虽然经过微调的 Transformer 模型在诸如 Block World 等特定任务上可以取得高准确率，但其推理能力具有高度的架构依赖性，并且在面对分布外挑战或具有复杂转移函数的任务（如 River Crossing）时表现得非常脆弱。

原作者： Gowrav Mannem, Chowdhury Marzia Mahjabin, Jason Chen, Shivank Garg, Kevin Zhu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gowrav Mannem, Chowdhury Marzia Mahjabin, Jason Chen, Shivank Garg, Kevin Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有点天真的机器人如何解谜。你想看看它是真的理解了规则，还是仅仅根据它在练习中看到的模式进行猜测。这篇题为**《基于序列模型的符号谜题循环推理》（Recurrent Reasoning on Symbolic Puzzles with Sequence Models）**的论文，通过建立一个严密的测试来查明这一点。

以下是他们所做工作的简单解释。

设置：一个新的“健身房”

研究人员创建了一个新的训练场，叫做 RecurrReason。你可以把它想象成一个拥有四种特定类型运动器械（谜题）的健身房，每种器械都会随着你转动标有 N 的旋钮（从 1 到 10）而变得越来越难。

这四种谜题分别是：

汉诺塔 (Tower of Hanoi)： 在柱子之间移动圆盘，但不允许把大的放在小的上面。
过河问题 (River Crossing)： 让人们及其“代理人”乘船过河，且不能让任何人被吃掉（这是一个安全规则）。
跳棋 (Checkers Jumping)： 通过滑动和跳跃棋子来实现双方易位。
块世界 (Block World)： 在桌子上移动方块，以匹配目标图像。

这个健身房的关键特征是，研究人员知道解决每一个谜题的完美、最短路径。他们能精确地看到机器人在哪里出了错。

运动员：两种不同类型的“大脑”

他们测试了两种不同类型的 AI “大脑”（模型），以观察哪一种能学会规则：

“T5”大脑（编码器-解码器）： 想象这个机器人拥有一面双向镜子。它在思考时，既可以观察当前的谜题状态，也可以同时观察最终的目标图像。它在做出动作之前，已经看到了全貌。
“GPT-2”大脑（仅解码器）： 想象这个机器人拥有一面单向镜子。它能看到当前的状态，但目标图像被挡在了镜子后面。它必须仅根据刚刚看到的内容来猜测下一步动作，而无法“窥视”目的地。

结果：谁通过了测试？

结果令人惊讶且非常明确：

1. “块世界”的成功案例

谜题： 移动方块。
结果： T5 机器人成为了大师，它解决了 97% 的简单谜题，并在从未见过的超级困难谜题中达到了 81% 的成功率。
原因： 这个谜题是“局部性”的。要移动一个方块，你只需要检查堆叠的最顶端。这就像检查一叠书的最上面那本是否松动一样。T5 机器人可以轻松地同时看到目标和顶部的方块。

2. “过河问题”与“汉诺塔”的失败

谜题： 安全地让人们过河，或按特定顺序堆叠圆盘。
结果： 两类机器人都彻底失败了。 他们在过河问题上的得分是 0%，在汉诺塔问题上的得分也几乎为 0%。
原因： 这些谜题需要“全局性”的思考。
- 过河问题： 你必须检查河两岸的每一个人，以确保没有人处于危险之中。这就像组织一场派对，在让客人进门前，你必须检查每位客人的关系。机器人被这种复杂性压垮了。
- 汉诺塔： 步骤数量呈指数级增长（每增加一个圆盘，步骤就翻倍）。这就像尝试爬梯子，每当你增加一级横木，梯子的高度就会翻倍。机器人在庞大的步骤数量中迷失了方向。

大道理（“啊哈！”时刻）

1. 架构比规模更重要
T5 机器人实际上比 GPT-2 机器人更“小”（只有 6000 万个“神经元”），但 GPT-2 有 1.24 亿个“神经元”。然而，T5 赢了。

类比： 这不在于拥有多大的大脑，而在于拥有什么类型的大脑。T5 在规划时能够观察目标的这种能力，才是它的秘密武器。尽管 GPT-2 更大，但在思考时它对目标是盲目的，这导致了它的失败。

2. 预训练并不总是有效
研究人员尝试使用了已经读过数百万本书（经过预训练）的机器人，以及从零开始的机器人。

发现： 读了很多书对于 T5 机器人解决“块世界”谜题只有帮助。在更难的谜题上，再多的阅读也无济于事。
教训： 你不能仅仅通过“阅读”来学会解决逻辑谜题。如果谜题需要检查复杂的全局规则（如过河问题的安全规则），通用的知识并不能转化成解决问题的能力。机器人需要特定的结构来处理这些规则。

3. “错误雪崩”效应
论文解释说，在这些谜题中，如果你犯了一个小错误，整个解决方案就会崩塌。

类比： 想象在走钢丝。如果你在短绳上（块世界）踉跄了一下，你可能还能恢复平衡。但如果你在一条长达 1000 英里的绳子上行走（汉诺塔），开头的一个微小晃动意味着你在到达一半之前就一定会摔下去。

结论

论文得出结论：对于 AI 要真正解决复杂的、多步骤的逻辑问题，我们不能仅仅把模型做得更大或喂给它们更多的数据。我们需要构建能够在规划时“看到”目标，并且能够处理规则简单且具有局部性的架构。如果一个谜题要求在每一步都检查整个棋盘，那么目前的 AI 模型将会撞上一堵硬墙，无论它们有多大。

技术摘要：基于序列模型的符号谜题循环推理

问题陈述
大型语言模型（LLMs）通常表现出在符号和算法任务上的表象能力，但这种性能往往掩盖了其在问题长度、难度增加或偏离训练分布时的脆弱行为。目前的推理基准测试往往优先考虑生成一个有效的最终答案，而非注重解题过程的鲁棒性、极小性和稳定性。本文认为，对于算法问题，正确性不仅要求产生一个看似合理的终点，还要求具备重复选择有效中间动作、避免非法转换以及在长时程内保持一致性的能力。作者认为，算法推理是一个区分真正的鲁棒性与浅层模式匹配的关键设定。

方法论：RecurrReason 基准测试
为了解决这些局限性，作者引入了 RecurrReason，这是一个由四种循环逻辑谜题组成的难度受控基准测试：

积木世界 (Block World)： 在堆栈中重新排列积木。
跳棋 (Checkers Jumping)： 在线性棋盘上交换红蓝棋子的位置。
汉诺塔 (Tower of Hanoi)： 在满足尺寸约束的情况下，在柱子之间移动圆盘。
过河问题 (River Crossing)： 带着角色-代理对穿越河流，并满足安全约束。

该基准测试具有以下特征：

可扩展难度： 每个谜题由一个整数 $N \in \{1, \dots, 10\}$ 参数化。
最优轨迹： 所有实例均使用广度优先搜索 (BFS) 生成最优轨迹，总计包含 10,817 个独特的谜题和 285,933 个步数。
任务形式化： 任务被构造成一个“预测下一步”的问题。模型接收当前状态 ( $s_t$ ) 和目标状态 ( $g$ )，并必须预测下一个状态 ( $s_{t+1}$ )。评估过程采用无真实中间状态的自回归展开。
评估协议： 模型在 $N=1$ 到 $7 $的实例上进行训练，并在留出的分布内实例（$ N=1 $到$ 7$）和分布外 (OOD) 实例（ $N=8$ 到 $10$）上进行评估。指标包括轨迹成功率、动作合法性和最优性差距。

实验设置
本研究在一致的数据划分和训练条件下，对两个 Transformer 家族进行了基准测试（包括从零开始训练、零样本学习和微调）：

T5 类 (编码器-解码器)： 一个 60M 参数的模型 (T5-small)，其编码器对拼接的状态和目标进行双向注意力计算，使得目标在每一步都成为“第一类”条件信号。
GPT-2 类 (仅解码器)： 一个 124M 参数的模型 (GPT-2)，使用因果掩码，这阻止了当前状态的 token 关注位于序列后方的目标 token，从而在结构上造成了目标导向规划的瓶颈。

关键结果
实验表明，谜题本身的结构是决定可学习性的更强因素，其重要性超过了模型规模或预训练：

积木世界成功率： 微调后的预训练 T5 模型实现了 97.27% 的验证准确率和 81.00% 的 OOD 准确率。这一成功归功于该谜题的局部转换函数（仅检查堆栈顶部， $O(1)$ 复杂度）、线性解长度增长 ( $L(N) = O(N)$ ) 以及密集的训练信号。
在其他谜题上的失败：
- 过河问题： 所有模型在所有条件下得分均为 0.00%。该谜题要求在每一步进行全局约束验证 ( $O(N)$ )，且具有组合动作空间，这击败了所有架构。
- 汉诺塔： 模型在验证集上的准确率最高仅为 11.11%（仅在平凡的 $N=1$ 情况中），且 OOD 准确率为 0.00%。指数级的解长度 ( $2^N - 1$ ) 导致了复合误差，使其无法泛化到 $N=1$ 之外。
- 跳棋： 模型取得的准确率最高仅为 1.11%，仅能解决起始状态等于目标状态的平凡实例。二次方级别的解长度和避免死胡同的需求被证明是无法逾越的。
架构 vs. 规模： 较小的 T5 模型 (60M) 显著优于较大的 GPT-2 模型 (124M)。作者将其归因于编码器-解码器架构能够双向关注目标，而仅解码器模型中的因果掩码为规划制造了结构性瓶颈。
预训练迁移： 仅在具有局部结构化转换函数的谜题（积木世界）中观察到了预训练收益。对于需要全局约束（过河问题）或递归分解（汉诺塔）的任务，预训练并未提供迁移效果。

失败模式分析
作者识别了与谜题结构相关的特定失败模式：

非法动作： 在全局约束型谜题（汉诺塔、过河问题）中占主导地位，表明模型未能泛化约束条件。
循环： 是仅解码器模型在积木世界中的主要失败模式，表明模型仅部分学习了规则，而缺乏目标导向的选择能力。
过早停止： 在 GPT-2 处理汉诺塔时观察到，这与训练数据中停止 token 的统计过度代表有关。

意义与主张
本文声称，架构归纳偏置比规模更重要，对于系统性的算法推理而言，这一点至关重要。具体而言：

结构决定论： 谜题的可学习性由三个结构属性决定：转换局部性、动作空间大小和解长度增长。作者通过一个复合误差模型进行形式化，显示成功概率随解长度呈指数级衰减 ( $P \approx e^{-\epsilon L(N)}$ )。
目标调节： 双向目标调节（如 T5）对于目标导向的规划至关重要，而因果注意力（如 GPT-2）则会产生一个结构性瓶颈，即使拥有更多的参数量也会阻碍有效的规划。
预训练的局限性： 预训练赋予了一种层级归纳偏置，但这种偏置仅能迁移到具有局部可分解结构的任务中。它本身并不足以让模型处理全局约束或递归深度。
未来方向： 结果表明，实现可靠的多步推理需要架构搜索能力或显式的符号约束检查，而不仅仅是单纯地扩大模型规模。

作者总结道，RecurrReason 为未来关于长度泛化、目标调节规划以及系统性算法推理的架构需求的研究提供了一个受控的试验场。

设置：一个新的“健身房”

运动员：两种不同类型的“大脑”

结果：谁通过了测试？

大道理（“啊哈！”时刻）

结论

类似论文