🤖 AI

Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

本文介绍了 FPRM，这是一种基于 Transformer 的模型，它采用预归一化层、残差缩放和定点收敛作为自适应停止机制，以实现在数独和 ARC-AGI 等多样化任务中稳定的逐步组合推理。

原作者： Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常困难的谜题，比如一个复杂的数独或迷宫。你有两种方法可以去处理它：

“一锤子买卖”法： 你看一眼谜题，凭直觉做一个最好的猜测，然后写下答案。
“深思熟虑”法： 你观察谜题，做出一个猜测，检查你的工作，意识到错误，修正它，再次检查，并不断完善你的答案，直到你百分之百确定它是正确的。

目前大多数 AI 模型都擅长第一种方法。但对于困难的谜题，它们需要采用第二种方法：“循环”它们的思考过程。它们需要一遍又一遍地运行其内部的大脑电路，直到答案趋于稳定。

这篇论文介绍了一种新型 AI，称为 FPRM（不动点推理模型）。它是专门为更好地实现这种“深思熟虑”法而设计的。以下是它的工作原理，使用简单的类比来解释：

1. 问题所在：“信号衰减”与“爆炸”

想象一下你正试图将一条信息传递给一条很长的队伍中的人们（一个深度神经网络）。

旧方法（Post-Norm）： 队伍里的人被要求保持正常的说话音量，以免大声喧哗。这有利于稳定性，但当信息到达队伍末端时，声音已经变得非常微弱，以至于没人能听清。信息丢失了。
新方法（Pre-Norm）： 队伍里的人被要求清晰且响亮地向下一个人说话。这让信息保持强劲！但问题在于：如果他们不小心，可能会由于说话太大声而导致下一个人的耳朵出血，使信息变成混乱的尖叫（即“激活爆炸”）。

以前的 AI 模型在进行循环思考时使用的是“旧方法”。它们通过压低音量来保持安全，但这导致它们无法进行足够深入的思考来解决复杂的谜题。

2. 解决方案：“音量旋钮”（残差缩放）

论文作者通过添加一个特殊的音量旋钮（称为残差缩放）修复了“新方法”的问题。

他们让人们大声说话（这样信息就能保持强劲和清晰）。
但他们增加了一个智能音量旋钮，能够自动调低音量，程度恰好足以防止说话声变成尖叫。

这使得 AI 可以运行数百甚至数千次“思考循环”，而不会导致信息丢失或系统崩溃。它可以进行深度思考。

3. 停止机制：“何时停止？”

过去，当 AI 循环思考时，它必须猜测何时停止。

旧方法： 它要么在固定的循环次数后停止（比如设定一个计时器），要么使用一个单独的“管理者”来决定何时停止。这个管理者通常并不称职，会在难题面前过早停止，或者在简单问题上浪费时间。
FPRM 方法： 该模型使用了不动点收敛的概念。想象你在搅拌一杯咖啡。你会一直搅拌，直到糖不再移动，液体变得完全静止。
- FPRM 会持续“思考”（搅拌），直到其内部答案不再发生变化。
- 一旦答案稳定下来（达到“不动点”），模型就知道：“好了，我完成了。答案不再变化了。”
- 益处： 它会自动在难题上投入更多时间（这些题目需要更长时间来稳定），而在简单问题上减少时间。它能根据任务的难度调整自己的投入。

4. 结果：更聪明、更快速

作者在几个“谜题”基准测试中测试了这种新模型：

数独： 解决极其困难的数字网格。
迷宫： 在复杂的迷宫中找到最短路径。
ARC-AGI： 需要识别模式的抽象推理任务。
状态追踪： 追踪不断变化的信息（例如游戏得分）。

他们的发现是：

FPRM 解决这些谜题的效果优于之前的模型（如 TRM 和 HRM），尽管它的规模更小，且没有使用复杂的“层级结构”（这是一种高级说法，指它不需要复杂的上下级管理系统来工作）。
它更加高效。在简单的谜题上，它会迅速停止；在困难的谜题上，它会持续循环直到得到正确答案，而其他模型要么过早放弃，要么浪费能量。
它证明了你不需要复杂的层级结构也能成为优秀的推理者；你只需要一种稳定的深度思考方式和一个聪明的停止机制。

总结

可以将 FPRM 视为一个智能、自我调节的思考者。

它在长时间思考时不会感到疲劳或困惑（得益于音量旋钮）。
它不需要老板来告诉它何时停止；它知道在答案稳定下来的那一刻停止（得益于不动点收敛）。
因此，它比其前身更有效地解决了复杂的逻辑谜题。

该论文声称，这是在教导 AI 进行逐步推理方面迈出的重要一步，且无需大量的额外参数或复杂的训练技巧。

技术摘要：定点推理器：稳定且自适应的深度循环 Transformer

1. 问题陈述

神经推理模型面临着灵活性与自适应性之间的根本权衡。虽然思维链（Chain-of-Thought, CoT）机制可以通过将中间步骤显式化来允许模型扩展计算量，但它们通常需要专门的训练方案和人工设计的轨迹，从而削弱了端到端训练的效果。其他的循环架构（如 Universal Transformers, HRM, TRM）通过将有效深度与参数量解耦，提供了更高的灵活性，允许模型对潜在表示进行迭代（ $z_{i+1} = f_\theta(z_i; x)$ ）。然而，这些模型遇到了两个关键挑战：

深层循环中的信号传播问题： 随着增加循环次数以解决更难的任务，展开后的架构会变成一个极深的神经网络。标准的深度 Transformer 架构受到信号传播问题（“深度诅咒”）的影响，即梯度和表示无法在许多层之间有效传播。
停机困境（The Halting Dilemma）： 现有的循环模型难以自适应地确定何时停止迭代。大多数方法要么固定循环次数（消除了自适应性），要么依赖于外部模块，如自适应计算时间（Adaptive Computation Time, ACT）网络。ACT 由于停机决策的离散性质带来了优化困难，并且在实践中往往无法根据任务难度按比例扩展计算量。
稳定性与可训练性的矛盾： 当前的循环模型主要使用 后归一化（post-norm） 来保持激活值的幅度有界，以防止迭代过程中的发散。然而，后归一化已知会在深层网络中引起信号传播问题。相反，前归一化（pre-norm） 虽然改善了信号传播，但在循环设置中会导致激活值呈指数级增长，从而导致不稳定和发散。

2. 方法论：FPRM 框架

作者提出了 FPRM（定点推理模型，Fixed-Point Reasoning Model），这是一种基于 Transformer 的架构，通过三种核心架构修改和一个新型停机机制解决了上述问题。

2.1 架构修改

为了实现大规模有效深度下的稳定训练，FPRM 修改了标准 Transformer 层：

切换至前归一化（Pre-Norm）： 作者使用前归一化取代了标准的后归一化，以恢复可训练性并改善深层有效层中的信号传播。
残差缩放（Residual Scaling）： 为了抵消前归一化循环模型中固有的激活值指数级增长问题，FPRM 引入了在两个尺度上应用的学习缩放参数：
- 层级缩放（Layer-wise scaling）： 在单次应用网络块时，残差流和子层输出由绑定的标量 $(\alpha_1, \beta_1)$ 进行加权。
- 迭代间混合（Iteration-wise mixing）： 在连续应用网络块之间，输入 $x$ 通过绑定的标量 $(\alpha_2, \beta_2)$ 进行重新注入。
- 理论保证： 作者证明（定理 1），通过适当耦合这些标量（ $0 \le \alpha_1, \alpha_2 < 1$ ），定点迭代将保持有界，确保即使在使用前归一化的情况下也能保持稳定性。

2.2 定点停机机制

FPRM 不使用外部停机模块（如 ACT），而是利用潜在动力学本身的收敛性作为停止准则。

收敛准则： 模型迭代直至隐藏状态收敛至定点 $z^*$ ，定义为 $\|z_{i+1} - z_i\| \le \epsilon$ 。
阻尼处理以实现稳定性： 为了防止在定点附近出现振荡行为（即雅可比矩阵的特征值实部 $<1$ 但模长 $\ge 1$ ），作者引入了阻尼迭代映射（定理 3）。他们采用了一种自适应步长衰减机制（算法 1），如果残差误差没有改善，则减小步长 $\eta$ ，从而确保局部收敛。
自适应性： 该机制允许模型根据任务难度（需要更多次迭代才能收敛）分配更多计算资源，或者针对简单任务分配较少计算资源，而无需额外的学习决策过程。

2.3 优化

FPRM 使用**截断随时间反向传播（Truncated BPTT）**进行训练。通过利用定点映射的收缩特性，梯度可以通过截断的诺依曼级数（Neumann series，公式 5）进行近似，从而将内存复杂度与循环次数解耦。模型采用深度监督，在中间步骤计算损失以促进训练。

3. 核心贡献

稳定的前归一化循环 Transformer： 作者通过引入残差缩放，成功训练了一个使用前归一化的循环 Transformer，解决了信号传播与激活有界性之间的冲突。
定点停机： 他们提出了一种基于定点收敛的、具有理论依据且端到端的停机机制，消除了对外部 ACT 模块的需求，并实现了真正的计算自适应。
FPRM 框架： 他们证明了一个非层次化模型（不同于 HRM 和 TRM）可以通过改善信号传播并有效地利用深度，在推理基准测试中超越层次化基准模型。

4. 实验结果

作者在 Sudoku-Extreme、Maze-Hard、ARC-AGI (1 & 2) 以及状态追踪（state-tracking）基准测试（A5, S5）上对 FPRM 进行了评估。

性能： FPRM（7M 参数）在 Sudoku-Extreme (94.2%)、Maze-Hard (87.0%) 和 ARC-1 (47.5%) 上达到了同类规模模型中的最先进水平（SOTA），超越了若干较大的层次化模型，如 HRM (27M) 和 TRM (7M)。
自适应性：
- 状态追踪： FPRM 随序列长度平滑扩展计算量，在长度为 128 时，在 A5 上达到 98.1% 的准确率，在 S5 上达到 98.8%。相比之下，TRM（即使使用了 ACT）也无法进行外推，或者使用了过多的计算资源却效率低下。
- Sudoku-Extreme： FPRM 根据任务难度（空单元格数量）调整其推理计算量（有效层数），在简单的谜题上较早停机，在困难的谜题上进行更深层的迭代。而 TRM 默认情况下无论难度如何都会耗尽最大计算预算。
信号传播分析：
- 实验表明，不带残差缩放的前归一化会导致发散，而后归一化则限制了深度的利用。FPRM（前归一化 + 缩放）在有效深度增加时仍能保持性能，而后归一化变体则会较早饱和。
- 消融实验确认，架构修改（前归一化 + 缩放）是至关重要的；若直接将这些修改应用于 TRM 架构而不重新设计循环结构，性能将会下降，这凸显了特定 FPRM 设计的必要性。

5. 意义与主张

本文声称 FPRM 代表了迈向高效、自适应神经推理的重要一步。通过用统一的定点方法取代层次化结构和外部停机模块，作者证明了：

简单带来性能： 一个非层次化架构可以通过解决性能限制的根源——信号传播，来超越复杂的层次化模型（HRM, TRM）。
端到端自适应： 定点停机提供了一种自然且可微的方式来根据任务难度扩展计算量，避免了离散停机决策带来的优化陷阱。
深度利用： 前归一化与残差缩放的结合使得循环模型能够有效地利用深层有效层，从而在不受到“深度诅咒”影响的情况下，释放出学习逐步执行程序的归纳偏置。

作者指出了一些局限性，承认目前的评估主要限于算法任务（谜题、状态追踪）而非自然语言，且无法保证所学推理算法的最优性。然而，他们认为 FPRM 为未来的潜在推理模型提供了坚实的基石。