技术摘要：语言与推理的吸引子模型

问题陈述

现代语言建模时代由前馈 Transformer 主导，它们通过单次计算过程生成 token。尽管取得了成功，但这种架构引发了一个根本性问题：每个 token 是否应当是单次计算的产物，还是模型应当能够在承诺输出之前优化其潜在预测？

现有的“潜在思维”或迭代优化方法，如循环 Transformer 和循环架构，面临重大障碍：

1. 训练不稳定性：循环网络通常遭受不稳定的训练动态，需要精细的稳定化技术。
2. 内存与计算成本：标准循环模型将循环展开为固定步数（$T$）。这导致训练内存随 $T$ 线性增长，并将推理深度与训练深度绑定。如果推理所需的循环次数多于训练，性能往往会下降。
3. 扩展性问题：专用的微型递归推理器表现出“少即是多”的现象，即增加模型规模会导致性能崩溃。相反，大规模循环模型可能昂贵得令人望而却步，其计算消耗相当于规模为其十倍的前馈模型。

核心挑战在于设计一种架构，既能支持迭代优化（循环），又能保持稳定、内存高效，并适用于大规模语言建模和小数据推理任务。

方法论：吸引子模型

作者引入了吸引子模型（Attractor Models），这是一种通用架构，将潜在优化视为输出嵌入空间中的不动点问题，而非有限步数的循环展开。该架构由两个主要模块组成：

1. 骨干模块（Backbone Module）：一个非循环网络（通常是 Transformer），将输入嵌入映射为初始输出嵌入提议，$\tilde{y}_0 = T_{\theta_b}(E(x))$。与通常从零或噪声初始化循环的标准循环模型不同，吸引子模型通过一个连贯的、依赖于输入的预测来“预热”优化过程。
2. 吸引子模块（Attractor Module）：一个独立的、权重共享的循环网络 $T_{\theta_a}$，用于优化初始提议。该模块并非运行固定步数，而是求解不动点 $\tilde{y}^*$，使得：
   $$\tilde{y}^* = T_{\theta_a}(\tilde{y}^*, \tilde{y}_0)$$
   这被表述为寻找残差函数 $A_{\theta_a}(\tilde{y}, \tilde{y}_0) = T_{\theta_a}(\tilde{y}, \tilde{y}_0) - \tilde{y} = 0$ 的根。

关键技术机制：

• 隐式微分：训练利用隐函数定理对不动点求解器进行微分。梯度计算为 $\frac{\partial L}{\partial \theta} = u^\top \frac{\partial T_{\theta_a}}{\partial \theta}$，其中 $u = (I - J_{\tilde{y}}^\top)^{-1} v$。
• 单步近似：为了保持训练效率，作者在反向传播中采用单步近似（$u \approx v$），避免了完全隐式微分所需的昂贵线性求解。这使得训练内存保持恒定，与求解器迭代次数无关。
• 自适应收敛：优化步数不是固定的，而是由收敛容差 $\epsilon$（例如 $\| \Delta \tilde{y} \| < \epsilon$）或最大迭代预算自适应决定。这使得模型能够在解稳定后停止优化。
• 持久注入：初始提议 $\tilde{y}_0$ 在每一步优化中（通过加法或拼接）被持久注入到吸引子模块中，以确保不动点保持对输入的依赖，而不会坍缩为与提议无关的状态。

主要贡献

1. 稳定且恒定内存的训练：通过求解平衡态而非展开循环，吸引子模型在训练期间实现了相对于优化步数的恒定内存使用。这将有效深度与内存成本解耦。
2. 平衡态内化：训练过程中观察到的一种新颖现象，即骨干模块学会生成一个已经接近最终平衡态 $\tilde{y}^*$ 的初始提议 $\tilde{y}_0$。因此，迭代求解器在推理时变得越来越不必要；模型有效地将优化过程“自蒸馏”到其初始预测中。
3. 双模态性能：该架构在两个截然不同的领域表现出强劲性能：
   • 大规模语言建模：在困惑度和下游准确率方面优于标准 Transformer 和稳定的循环基线（如 Parcae），同时所需的训练计算量更少。
   • 小模型的硬推理：在极小的参数量（27M）和有限数据下，在困难算法任务（Sudoku-Extreme, Maze-Hard）上取得最先进结果，而在此类任务中，前沿大语言模型和专用递归模型均会失败或崩溃。

实验结果

大规模语言建模

在 FineWeb-Edu 数据集上，针对 1.4 亿、3.7 亿和 7.7 亿参数规模进行评估：

• 帕累托改进：吸引子模型在困惑度和下游准确率上优于参数匹配的 Transformer 和循环模型 Parcae，同时所需的训练 FLOPs 减少了 25–31%。
• 扩展效率：一个 7.7 亿参数的吸引子模型优于在两倍 token 数量上训练的 13 亿参数标准 Transformer。
• 内存效率：随着循环次数增加，峰值训练内存保持恒定，而 Parcae 的内存则线性增长。

硬推理任务

在 Sudoku-Extreme 和 Maze-Hard 任务上评估，训练样本约 1,000 个：

• 微型模型优势：一个 27M 参数的吸引子模型在 Sudoku-Extreme 上达到 91.4% 的准确率，在 Maze-Hard 上达到 93.1%。
• 基线失效：在此模式下，标准 Transformer、前沿模型（DeepSeek R1, Claude 3.7, o3-mini）和专用递归模型（TRM）完全失败（0% 准确率）或在规模扩大时崩溃。
• 扩展行为：与随规模增大而性能下降的递归推理器不同，吸引子模型在参数量从 7M 增加到 27M 时性能提升。

平衡态内化

• 推理效率：在推理时，模型通常只需要零次或一次求解器迭代（$T=0$ 或 $T=1$）即可达到峰值性能，因为骨干网络的初始提议已经接近不动点。
• 收敛性：训练期间所需的求解器迭代次数迅速降至最低，这与深度平衡模型（DEQs）形成对比，后者在训练过程中通常需要增加迭代次数。

意义与主张

该论文声称，吸引子模型通过将循环转化为模型可以学习内化的计算，使迭代优化具有可扩展性。通过将优化表述为输出嵌入空间中的不动点问题，并以有意义的提议进行初始化，该架构克服了传统循环模型的稳定性和内存瓶颈。

作者强调，这种方法允许：

• 自适应深度：计算分配基于收敛需求，而非固定的超参数。
• 训练效率：与显式展开相比，具有恒定内存和减少的 FLOPs。
• 鲁棒性：“平衡态内化”现象确保了迭代推理的优势在训练期间被捕获，而无需在推理期间承担顺序计算成本。

这项工作表明，循环不必成为负担；当表述为吸引子问题时，它可以作为一种稳定、高效的机制，适用于语言建模和复杂推理，即使在参数受限的模式下也是如此。