📊 statistics

Energy-guided Recursive Model

本文介绍了能量引导的递归模型（ERM），该模型利用显式的霍普菲尔德能量（Hopfield energies）为递归推理中的测试时扩展提供了一种原则性的选择机制，并在数独和迷宫等结构化问题解决基准测试中实现了最先进的性能。

原作者： Yifei Zhao, Ying Tang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifei Zhao, Ying Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个巨大的、棘手的谜题，就像数独或迷宫一样。你有一个超级聪明的机器人朋友，它非常擅长思考。但问题在于，它并不会只给你一个答案，而是会同时进入一种“思考入定”状态，一次性生成 128 个不同的可能解。

核心问题是：你应该信任这 128 个答案中的哪一个？

长期以来，科学家们试图通过询问机器人：“你有多确定？”或者通过在答案中进行投票来挑选胜出者。但 Yifei Zhao 和 Ying Tang 的论文指出，这些旧方法有点像仅仅因为选手笑得最灿烂就选出才艺表演的冠军。有时候，机器人虽然非常有信心，但却完全错了；或者，可能有一个完美的答案正躲在人群中，却无人察觉。

新思路：“能量”磁铁

作者引入了一个名为**能量引导递归模型（Energy-guided Recursive Model, ERM）**的新系统。你可以这样理解：

想象机器人生成的每一个可能的答案都是一个小金属球。现在，想象谜题的规则（比如“行内数字不能重复”或“路径必须连通”）就像放在桌上的巨大磁铁。

错误的答案就像木头做的球；磁铁不会吸引它们，甚至会将它们推开。
正确的答案则像是铁做的球；它们会被磁铁强烈地吸引。

在这个新系统中，“能量”只是衡量一个解被谜题规则吸引程度的一个度量。能量越低，意味着球离磁铁越近，也就越有可能是正确答案。

与其询问机器人“你确定吗？”，这个系统实际上是在问：“这个答案与谜题隐藏的磁铁契合得如何？”

在现实世界中如何运作

研究人员在三种不同类型的谜题上测试了它：

数独： 他们使用了代表行、列和宫格规则的磁铁。
铅笔谜题 (PPBench)： 一系列不同的逻辑游戏，磁铁代表特定的局部线索和全局模式。
迷宫： 他们使用了一个特殊的“全局磁铁”，代表从起点到终点的最短路径。

他们让机器人生成 128 个候选解（K = 128），并让它进行 64 步思考（D = 64）。然后，他们使用这个新的“能量”系统来挑选赢家。

结果：它奏效了吗？

结果表明，当机器人已经完成了生成选项的艰苦工作后，这种“能量”方法在挑选正确答案方面是一个游戏规则的改变者。

在数独上： 旧方法（如投票或检查置信度）大约能答对 98.54% 到 98.58% 的谜题。而新的能量系统达到了 98.83%。在几乎所有存在完美答案的情况下，它都能找到那个完美的答案。
在铅笔谜题上： 这是最大的胜利。旧方法表现挣扎，仅能答对约 83.39%。能量系统则跃升至 88.04%，达到了如果你拥有魔法棒能从组内选出完美答案时的绝对最高分。
在迷宫上： 旧方法约为 97.30%。能量系统达到了 99.30%，这是该设置下可能达到的最高分。

作者还尝试了一种高级技巧，叫做平行回火（Parallel Tempering）。想象你有一组机器人，有些在寒冷中工作（非常严格），有些在炎热中工作（非常有探索性）。它们之间会交换想法。这有助于系统找到更多正确的答案，将数独的分数提升到了 98.97%，并将迷宫的分数提升到了 99.30%。

这意味着什么（以及不意味着什么）

该论文指出，让 AI 变得更聪明推理的关键不在于生成更多的想法，而在于拥有更好的筛选方法。通过使用“能量”（本质上是一种衡量答案与规则契合程度的数学方式），该系统可以找到那些置信度评分所忽略的隐藏正确答案。

然而，作者也谨慎地指出了一些情况：

它还不是魔法： 这些谜题的“磁铁”（记忆）是由人类手工设计的。对于数独，他们编写了行/列规则。对于迷宫，他们编写了最短路径规则。系统并没有从头开始学习这些规则，而是利用它们来检查答案。
这是一个特定的修复方案： 这在有明确规则的谜题中效果极佳。论文并未声称这解决了所有类型的思考问题，仅限于这些具有结构性的问题。
这是一个对未来的建议： 作者建议，下一步应该是教 AI 自己学习其“磁铁”，而不是由人类来构建，但这在目前尚未完全解决。

简而言之，论文表明，如果你给 AI 一堆猜测，通过检查它们与规则的契合程度（能量），你会比仅仅询问 AI 的感觉要更好地找到最佳答案。这是从“信任机器人的感觉”到“信任谜题的物理特性”的一次微小但强大的转变。

技术摘要：能量引导递归模型 (ERM)

1. 问题陈述

递归推理模型，如分层推理模型 (HRM)、微型递归模型 (TRM) 和平衡推理器 (EqR)，通过不断更新小型神经网络的隐状态来解决结构化问题。虽然这些模型可以通过增加递归深度 ( $D$ ) 或随机宽度 ( $K$ ) 来生成多个候选轨迹，但它们缺乏在测试时选择正确答案的原则性机制。

现有的选择方法依赖于：

学习型停止头 (q-heads)： 基于内部模型信号预测可靠性。
置信度分数： 使用 Token 级别的概率。
启发式投票： 对采样输出进行多数投票。

识别出的核心局限性在于，这些方法衡量的是“模型内部确定性”而非“任务兼容性”。在隐式迭代推理中，额外的深度或宽度会生成没有显式推导过程的隐藏轨迹。因此，一个正确的候选结果可能存在于展开池（rollout pool）中，但由于选择器缺乏验证其是否符合全局任务约束（例如数独规则或迷宫连通性）的标准，而被丢弃。论文指出，选择缺口之所以存在，是因为当前的执行器并未显式测量与有效任务结构的兼容性。

2. 方法论：能量引导递归模型 (ERM)

作者提出了能量引导递归模型 (ERM)，它使用基于显式 Hopfield 能量 的内在选择原则取代了启发式选择器。

2.1 核心框架

ERM 将测试时推理视为在有限候选池 $Y(x) = \{y_1, \dots, y_K\}$ 上的能量选择问题。目标是选择使能量函数 $E(y_k; x)$ 最小化的候选者 $\hat{y}$ ：
$\hat{y} = \arg \min_{k \in \{1, \dots, K\}} E(y_k; x)$
较低的能量表示与任务具有更高的兼容性。与依赖负对数概率或学习到的 Logits 的标准选择器不同，ERM 通过任务结构化记忆构建能量。

2.2 能量公式

能量函数源自现代 Hopfield 网络检索动力学。任务被分解为 $J$ 个因子（例如行、列、局部谜题规则）。对于每个因子 $j$ ，存在一个以输入为条件的记忆集 $M_j(x)$ ，其中包含有效的局部或全局结构。

总能量 $E_{ERM}$ 定义为：
$E_{ERM}(y_k; x) = \mu G(y_k, x) - \sum_{j=1}^{J} \tau \log \sum_{m \in M_j(x)} \exp\left( \frac{-\beta d_j(y_k, m)}{\tau} \right)$

其中：

$d_j(y_k, m)$ ：候选者 $y_k$ 与因子 $j$ 下的记忆 $m$ 之间的距离（匹配时为零）。
$\beta$ ：记忆距离的惩罚强度。
$\tau$ ：检索温度（控制检索的软度）。
$G(y_k, x)$ ：难以在局部枚举的约束（如连通性）的全局违反惩罚。
$\mu$ ：全局项的权重。

该公式允许选择器“软性检索”每个因子中最接近的有效记忆。在低温度极限下，它充当最近记忆验证器。

2.3 任务实例化

论文在三个特定领域实现了 ERM：

数独 (Sudoku)： 使用针对行、列和 $3\times3$ 宫格的置换记忆。能量通过对有效数字置换的对数永久值（动态规划）进行计算。
铅笔谜题基准 (PPBench)： 结合了局部规则记忆（例如 Lightup 的精确计数、Tapa 的循环模式）与用于处理无法局部枚举的连通性和覆盖规则的全局距离势能。
迷宫 (Maze)： 使用通过广度优先搜索 (BFS) 得到的全局、以输入为条件的短路径记忆。能量是候选路径与唯一的起点到终点最短路径之间的负相似度。

2.4 平行回火 (Parallel Tempering, PT)

相同的能量函数不仅用于重排序，还用于采样。作者采用了平行回火技术，运行不同温度下的副本（ $T_1 < \dots < T_R$ ）。热副本探索能量景观，而冷副本利用低能量状态。副本之间的交换基于 Metropolis 准则进行接受。这使得系统能够逃离局部最小值，并有可能发现简单的贪婪选择可能会错过的正确候选者。

3. 主要贡献

原则性的选择机制： 引入了一个基于显式 Hopfield 能量（源自任务记忆）的选择层，取代了对学习到的置信度或投票启发式的依赖。
统一接口： 证明了能量函数可以作为吸引子动力学、验证器和测试时计算之间的共享接口，从而实现候选生成与选择之间的清晰分离。
诊断框架： 提出了一种评估推理性能的方法，通过区分以下情况进行评估：
- 候选生成失败： 当“先知 (Oracle)”（池中最佳可能准确率）较低时。
- 选择失败： 当选定准确率显著低于先知准确率时。
- 采样失败： 当平行回火优于静态选择时。

4. 实验结果

实验在递归深度 $D=64$ 且候选数量 $K=128$ 的条件下，在数独、PPBench 和迷宫上进行。

数独： ERM 达到了 98.97% 的准确率，与共享候选先知 (Oracle) 持平 (98.97%)。这优于 q-head (98.54%) 和置信度 (98.58%) 基准，有效地缩小了选择缺口。
PPBench： ERM 达到了 88.04% 的准确率，与先知持平，并显著优于 q-head (83.39%) 和多数投票 (79.07%)。这突显了该方法处理异构规则的能力，而在这些规则下置信度分数会失效。
迷宫： ERM 达到了 99.30% 的准确率，与先知持平。这表明当使用全局最短路径记忆时，只要正确候选者出现在展开池中，即可被选中。
平行回火 (PT)： PT-ERM 始终匹配或优于静态选择。值得注意的是，在数独上，PT-ERM 达到了 98.97%（匹配先知），表明能量景观成功引导了探索以找到最优解。

5. 重要性与主张

论文声称，将显式能量函数纳入递归推理，为更有效的推理提供了一条原则性的路径。

缩小选择缺口： 隐式推理中的主要瓶颈通常不是候选生成，而是缺乏一个标量原则来决定信任哪一个候选者。ERM 通过使用任务记忆来验证兼容性，从而缩小了这个缺口。
对泛化性的谦逊态度： 作者明确指出，目前的能量是任务结构化的（例如，使用手工设计的置换矩阵或 BFS 路径），而非通用的学习型能量。该方法被呈现为一种诊断工具和结构化验证器，而非尚未完全学习的通用能量函数。
方法论转变： 这项工作表明，测试时计算应该通过将候选生成与基于能量的选择分离来进行评估。它提供了一个框架，研究人员可以借此识别改进方向是在生成阶段（先知准确率低）还是在选择阶段（ERM 与先知之间存在较大差距）。

总之，ERM 证明了基于 Hopfield 记忆的显式能量函数可以作为隐式迭代推理中极其有效且具有解释性的选择器，通常能够达到给定一组生成的候选者后的理论性能极限。