🤖 machine learning

Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

本文介绍了平衡推理器（EqR），这是一个通过在潜在动力系统中学习任务条件吸引子来实现可扩展且可泛化推理的框架，该框架支持自适应的测试时计算分配，从而在 Sudoku-Extreme 等复杂任务上将准确率从 2.6% 提升至 99% 以上。

原作者： Benhao Huang, Zhengyang Geng, Zico Kolter

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Benhao Huang, Zhengyang Geng, Zico Kolter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning》（均衡推理器：学习吸引子实现可扩展推理）的解释。

核心理念：像磁铁一样思考

想象你正在尝试解决一个非常棘手的谜题，比如复杂的数独。你有一位聪明的助手（一个 AI 模型）来帮助你。

旧方法（前馈模型）：
旧式的思考方式就像是一次性猜测。助手看着谜题，思考一刹那，然后立刻喊出答案。如果错了，那就错了。无论给予多少时间，它都没有第二次机会去深入思考。论文表明，对于难题，这些“一次性”助手表现极差，答对的比率不到 3%。

新方法（迭代推理）：
新方法被称为均衡推理器（EqR），它就像一块磁铁。
助手不会立刻喊出答案，而是先做出一个猜测，然后反复不断地进行修正。

第一步： 它做出一个猜测。
第二步： 它检查猜测，发现几个错误并修正它们。
第三步： 它再次检查，发现更多细微的错误并修正它们。

论文认为，这个过程不仅仅是“思考更久”。它是关于让 AI 学会寻找一个"磁性吸引子"。

什么是“吸引子”？

想象一片布满山丘和山谷的地形。

山丘： 这些代表糟糕的猜测或错误的答案。
山谷： 这些代表良好、稳定的答案。
吸引子： 这是最深、最稳定的山谷，也是“正确答案”所在的地方。

论文声称，为了让 AI 在推理方面变得非常出色，它需要学习绘制一张地图，使得“正确答案”成为一个深邃、宽阔的山谷（一个强吸引子）。当 AI 开始思考时，它会从山坡上滚落。如果地形塑造得当，它会自然地滚入正确的山谷并停在那里。

如果地形杂乱无章，AI 可能会被困在一个小而浅的坑里（错误的答案），或者永远滚动下去而无法安定。

如何实现：两个秘密配方

研究人员发现，仅仅让 AI“思考更久”是不够的。他们必须教会 AI 如何塑造自己的思维地形，以便它能找到正确的山谷。他们通过两个简单的技巧做到了这一点：

随机起点（“转瓶子”技巧）：
通常，AI 模型每次解决谜题都从完全相同的位置开始。研究人员让 AI 每次都从随机的位置开始。
- 类比： 想象你在一个岛上寻找隐藏的宝藏。如果你总是从同一个码头出发，你可能会被困在沼泽里。如果你从随机海滩出发，你找到通往宝藏路径的机会就大得多。这有助于 AI 探索通往解决方案的不同路径。
添加一点噪声（“摇晃桌子”技巧）：
在 AI 思考的过程中，研究人员给它的思维添加了一点点随机的“抖动”或噪声。
- 类比： 想象你正走在走廊里试图寻找一扇门。如果你笔直地走，你可能会被窗帘挡住而卡住。如果你稍微扭动一下（添加噪声），你可能会撞到窗帘，意识到那不是门，从而找到真正的门。这防止 AI 被困在一个“虚假”的山谷（看起来稳定但实际错误的答案）中。

结果：从“一无所知”到“大师”

论文在两项非常困难的任务上测试了这种方法：数独（数字谜题）和迷宫（在网格中寻找路径）。

之前： 标准 AI 模型（“一次性”猜测者）几乎答错了所有题目（在困难数独上的准确率约为 2%）。
之后： 通过使用带有随机起点和少量噪声的“磁铁”方法，AI 能够扩展其思考能力。
- 如果让它们思考几步，表现就会变好。
- 如果让它们思考极长的时间（相当于展开 40,000 层神经网络），它们就会成为大师。
- 得分： 在最难的数独谜题上，准确率从2.6% 跃升至 99% 以上。

“深度与广度”策略

论文还发现了一条关于如何分配 AI“思考时间”的有趣规则：

深度（思考得更深）： 这就像沿着一条路径进行一次漫长而谨慎的行走。如果路径清晰，这很有效。
广度（思考得更宽）： 这就像同时从不同的起点派出 100 名不同的探险家。
规则： 你需要足够的“深度”首先让探险者们朝着正确的方向移动。一旦他们开始移动，增加“广度”（更多的探险家）就能帮助你更快地找到最佳路径。

“停止按钮”（自适应计算）

最后，研究人员添加了一个“停止按钮”。

问题： 有时谜题很简单，AI 在 5 秒内就能解决。有时很难，需要 5 分钟。在简单谜题上浪费 5 分钟是低效的。
解决方案： AI 学会了倾听自己的“磁铁”。如果它感觉到自己已经安定在一个稳定的山谷中（答案已稳固），它会立即停止思考。如果它还在摇晃，它就会继续。
结果： 这节省了巨大的计算能力（能耗降低高达 11 倍），同时没有损失准确性。

总结

这篇论文告诉我们，为了让 AI 在推理方面变得更好，我们不应该仅仅让模型变得更大。相反，我们应该教会它塑造其内部思维过程，使得正确答案像深邃、稳定的磁铁一样发挥作用。通过添加一点随机性并让 AI“思考”直到它安定下来，我们可以将一个笨拙的猜测者转变为一个近乎完美的解题者。

技术摘要：均衡推理器（EqR）

1. 问题陈述

现代人工智能系统日益依赖扩展推理时计算量来提升推理性能，通常通过潜在状态的迭代更新来实现。然而，允许这些迭代模型超越记忆模式进行泛化的内部机制尚不明确。虽然某些模型在计算量增加时表现出收益递减甚至性能下降，但其他模型则取得了显著增益。核心问题是：何种内部机制能够实现可扩展且可泛化的推理？

当前的迭代推理模型（例如 HRM、TRM）对潜在状态应用学习到的更新规则，但往往难以泛化到需要深度推理的任务，或无法随推理预算的增加而有效扩展。该论文提出，扩展失败往往源于模型学习到的内部动力学与任务解空间之间的错位。

2. 方法论：均衡推理器（EqR）

作者提出了均衡推理器（EqR），这是一个将迭代推理形式化为学习任务条件吸引子景观的框架。在此视角下，有效解对应于由更新规则 $z_{k+1} = f_\theta(z_k; x)$ 定义的潜在动力学系统中的稳定不动点（吸引子）。

核心假设

当模型学习到一个内部景观，其中：

任务对齐：稳定吸引子对应正确的任务解（低误差盆地）。
可达性：这些正确的吸引子可以从多样化的初始状态到达。
此时，可泛化的推理便得以产生。

关键组件与干预措施

为了塑造这一景观，作者引入了一条从前馈模型到可扩展迭代推理器的受控构建路径，结合了特定的训练干预措施：

权重绑定迭代（Weight-Tied Iteration）：跨层重用参数以定义循环动力学系统，允许模型展开到任意深度（例如，等效于 40,000 层），而无需增加参数量。
随机状态初始化（RI）：模型不使用固定的初始状态 $z_0$ ，而是为每条轨迹采样 $z_0 \sim \mu_0(\cdot|x)$ （例如高斯噪声）。这将训练与推理时的广度扩展（多次重启）对齐，并鼓励路径独立性。
通过噪声注入实现路径随机性（NI）：在每次迭代步骤注入加性噪声（ $z_{k+1} = z_k + (1-\lambda)r_\theta(z_k; x) + \beta \epsilon_k$ ）。这防止了过早收敛到虚假吸引子，并拓宽了对景观的探索。
分段在线训练（SOT）：一种训练调度方案，将长轨迹分割为片段，在每个片段后应用监督和参数更新。这交替进行潜在状态的细化和更新算子的重塑，避免了离线监督中发现的“陈旧轨迹”不匹配问题。
自适应计算时间（ACT）：一种学习到的停止机制，允许模型在简单实例上提前终止，从而将更多计算资源分配给困难案例。

推理扩展

EqR 沿两个维度扩展推理时计算量：

深度（ $D$ ）：增加每条轨迹的展开迭代次数，以在盆地内细化解。
广度（ $B$ ）：聚合来自多个独立随机轨迹（重启）的输出，以增加对吸引子景观的覆盖。

基于收敛性的选择（选择具有最低不动点残差 $\|f_\theta(z; x) - z\|$ 的轨迹）用于选择最佳预测，这仅在景观被正确塑造后才变得可靠。

3. 关键结果

作者在Sudoku-Extreme（一个具有挑战性的 9x9 约束满足任务）和Maze-Unique（一个唯一可解的 30x30 寻路任务）上评估了 EqR。

泛化与记忆：标准前馈模型（即使有 64 层）在 Sudoku-Extreme 上准确率接近零（2.6%），而未经过景观塑造的权重绑定迭代模型达到了 32.6%。
干预措施的影响：应用随机初始化（RI）和噪声注入（NI）显著提升了性能。在数独任务上，基线迭代模型（TRM 风格）达到 84.8% 的准确率；EqR（结合 RI+NI）在相同的计算预算下达到 86.4%。
可扩展性：
- 深度扩展：将迭代次数从 16 增加到 64，数独准确率从 86.4% 提升至 93.0%。
- 广度扩展：将深度（64）与广度（128 次重启）结合，将数独准确率推至99.8%，迷宫准确率达到93.0%。
- 不动点残差：较低的不动点残差与较高的任务准确率之间存在紧密耦合。随着深度增加，残差减小，准确率提高，验证了吸引子假设。
效率：通过自适应计算时间（ACT），EqR 在简单实例上提前终止，以显著更少的函数评估次数（例如，在 Sudoku-Lite 上比基线少 11.34 倍 NFEs）实现了匹配准确率目标。

4. 意义与主张

该论文声称提供了关于为何迭代推理可扩展的机制性理解。主要贡献包括：

吸引子视角：将迭代推理的观点从简单的收敛转变为学习任务条件吸引子景观。成功取决于将模型内部稳定状态与任务正确解对齐。
可扩展性的训练干预：证明了特定的、与任务无关的干预措施（RI 和 NI）对于塑造这一景观至关重要，使正确吸引子变得可达且稳定。如果没有这些措施，扩展计算量往往会导致收益递减或失败。
可靠的收敛信号：表明一旦景观被塑造，不动点残差就成为任务正确性的可靠代理，从而实现了优于多数投票的高效选择策略（Top-1 收敛）。
无需外部验证器的可扩展推理：EqR 在不依赖外部验证器或特定任务先验的情况下，实现了大规模扩展（展开等效于 40,000 层）并在困难任务上达到近乎完美的准确率，仅依赖内部动力学和推理时计算量。

作者总结道，对于迭代潜在推理模型要实现扩展，对其评估不能仅看最终准确率，而应看其内部动力学是否使正确解变得稳定、可达且可被选择。这一视角为理解和改进迭代模型的泛化能力提供了一条途径。