💻 computer science

Recursive Inference Machines

本文介绍了递归推理机（Recursive Inference Machines, RIMs），这是一种将神经骨干网络与经典递归推理方案相统一的神经推理框架，旨在增强在复杂推理基准测试上的性能，并提高在表格数据设置中的鲁棒性与效率。

原作者： Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

发布于 2026-09-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一种明显的划分：一类系统擅长识别模式，而另一类系统则擅长通过模式进行推理。模式识别是现代计算机所擅长的：通过观察成千上万张猫的图像来学习如何识别一只新的猫。然而，推理则是获取一组事实、应用逻辑步骤并得出并非直接存在于初始数据中的结论的能力。几十年来，科学家们一直致力于构建能够可靠执行此类任务的机器，尤其是在问题需要长链条思维或数据混乱且不完美的情况下。传统方法通常依赖于僵化的、手工编写的规则，这些规则非常脆弱，在面对复杂世界时会失效。较新的方法使用深度神经网络，虽然功能强大，但往往表现为“黑盒”，即基于统计可能性而非真正的理解来猜测答案。一个主要的挑战仍然存在：如何让这些灵活的、基于学习的系统在不丧失从数据中学习能力的同时，能够执行人类逻辑学家那种细致、多步骤的工作。

达姆施塔特工业大学和德克萨斯大学达拉斯分校的研究人员提出了一种名为“递归推理机”（Recursive Inference Machines）的新框架，旨在弥合这一差距。他们并没有将推理视为一次性的巨大飞跃，而是设计了一个将复杂问题分解为循环、可重复小步骤的系统。想象一下一个处理难题的专家团队：一位名为“求解者”（Solver）的专家观察拼图的当前状态并提出微小的改进建议；另一位“生成者”（Generator）利用这些建议来更新整体解决方案；第三位“重权者”（Reweighter）则充当严厉的编辑，根据建议与尝试过程历史记录的契合程度，决定哪些建议值得保留，哪些应该被丢弃。通过让这三个角色在问题中不断循环，机器会不断完善其答案，并在过程中纠正自己的错误。这种方法允许系统处理那些对于单次计算而言过于复杂的任务，实际上是给了人工智能一种在“开口说话”之前进行“思考”的方式。

研究人员在当今最严苛的推理挑战上测试了这一框架。他们将其应用于需要全局模式视觉化的几何谜题、要求深度逻辑演绎的极端版本数独，以及复杂的迷宫导航。在这些测试中，新系统始终优于之前的先进模型。例如，在一个困难的数独基准测试中，该机器的改进版本解决了近 90% 的谜题，这比之前的最佳水平有了显著提升。成功的关键在于引入了“重权者”组件。团队发现，仅仅让机器对其自身想法进行迭代是不够的；它需要一种机制来衡量自身的进展，从而抑制早期错误并放大正确的见解。当他们移除这个加权步骤时，系统的性能下降了，这表明评估和调整自身推理路径的能力对于解决难题至终关重要。

该框架在另一个完全不同的场景中也证明了其有效性：使用表格数据的医疗诊断。在现实世界的医疗保健领域，数据通常是嘈 {杂的；患者的记录可能包含拼写错误、缺失值或错误的条目。标准模型在面对不完美输入时往往难以应对，会导致结果不可靠。研究人员将他们的机器改编为一个去噪代理。它会获取一份带有噪声的医疗记录，生成多个可能的“干净”版本的数据，然后利用其加权机制来决定哪个版本最可能是真实的。在针对四个不同医疗数据集（其中 25% 的信息被随机破坏）进行的测试中，这种方法比现有方法显著提高了诊断的准确性。这表明，用于解决数独谜题的相同逻辑也可以帮助计算机理解混乱的患者档案。

除了准确性之外，研究人员还发现这种模块化设计可以使人工智能系统更快、更高效。他们采用了一个以擅长从小型数据集学习而闻名的预训练大模型，并使用他们的框架对其进行了重构。通过插入一个能更高效处理状态更新的专门组件，他们创建了一个混合系统，该系统在保持同样高水平预测准确度的同时，产生答案所需的时间减少了 35%。这一发现表明，我们构建人工智能内部逻辑的方式与模型本身的大小同样重要。通过将推理过程组织成清晰、可重用的步骤，该团队证明了构建不仅更聪明、而且更精简的系统是可能的。

这篇论文所呈现的工作并不声称已经解决了所有的推理问题，但它提供了一种统一且清晰的方式，来理解如何引导神经网络进行更深层次的思考。它超越了训练单个大规模网络去记忆模式的想法，转而提议一种结构化的架构，其中系统的不同部分专门负责提出方案、生成方案和评估方案。研究结果表明，通过显式地构建自我纠正和迭代优化的机制，我们可以创造出对噪声更具鲁棒性、更能处理长逻辑链、且在计算能力使用上更高效的人工智能。随着该领域的不断演进，这一框架为设计下一代能够应对复杂、不确定且往往混乱的现实世界的机器提供了蓝图。

技术摘要：递归推理机 (Recursive Inference Machines, RIMs)

问题陈述

神经推理器通过利用训练数据中的模式，在推理基准测试中展现了令人印象深刻的表现。然而，标准的前馈和 Transformer 架构受限于固定的计算深度，难以泛化到需要更长推理时界或复杂算法逻辑的问题。虽然最近的测试时扩展方法（如思维链、自我验证）允许进行多步推理，但它们往往缺乏一个统一的形式化框架，导致难以解释、组合或系统性地扩展。此外，现有的递归模型（如 Tiny Recursive Models (TRMs) 和 Hierarchical Reasoning Models (HRMs)）实现了顺序细化，但缺乏对其潜在状态更新的系统性解释，往往忽略了经典随机推理中存在的关键组件，例如重要性权重（importance weighting）。

方法论：递归推理机 (RIMs)

作者引入了 递归推理机 (RIMs)，这是一个统一的框架，它将神经推理视为一个受经典推理引擎和概率推理方法（如序列蒙特卡洛法 (SMC) 和 Gibbs 采样）启发、显式的迭代过程。

核心架构

一个 RIM 被定义为一个由三个可互换组件组成的元组 $\langle S, G, R \rangle$ ：

求解器 (Solver, $S$ ): 一个映射函数，根据问题描述 ( $x$ )、当前解 ( $y$ ) 和前一状态 ( $z'$ ) 提出候选状态更新 ( $\tilde{z}$ )。在 SMC 背景下，它充当“提议”（proposal）机制。
生成器 (Generator, $G$ ): 一个映射函数，基于求解器生成的经过细化的状态序列，产生候选解更新 ( $\tilde{y}$ )。
重权器 (Reweighter, $R$ ): 一个映射函数，通过将提议的更新与历史状态及解进行加权，来产生被接受的更新 ( $z, y$ )。该组件用于纠正提议偏差，防止推理轨迹偏离目标分布。

执行过程包含一个内循环（求解器），通过 $T$ 次迭代细化潜在的“草稿本”状态，随后是一个外循环（生成器）来更新全局解。此过程重复 $N$ 次。该框架通过将现有模型视为这些组件的具体实例化来统一它们。

实例化形式

论文探讨了 RIM 设计空间中的几种特定架构：

SimRIM: 一种直接编码的 HRM 和 TRM，其中求解器和生成器是神经网络（通常是共享的），且重权器为恒等函数。这对应于缺乏显式权重机制的 TRM。
RIMA: 通过将恒等重权器替换为指数移动平均 (EMA) 来增强 SimRIM。这使得模型能够平衡过去和现在的信息，并通过可学习或固定的衰减参数 ( $\alpha$ ) 控制状态更新的惯性。
RIMformer: 使用 Transformer 作为重权器。通过采用 $k$ -回溯（lookback）机制和自注意力机制，它显式地捕捉整个推理历史中的依赖关系，从而促进复杂的回溯。
TabRIM: 将 RIM 框架应用于表格数据，使用 TabPFN（一种先验拟合的 Transformer）。在此，求解器通过类似 Gibbs 采样的步骤迭代去噪特征，而重权器则根据观测到的噪声证据的似然度分配重要性权重。
HybRIM: 一种混合架构，将 TabPFN 视为一个不完整的 RIM（缺乏求解器和重权器）。它插入 Hydra（一种选择性状态空间模型）层作为求解器以实现线性时间的有效状态传播，并与 TabPFN Transformer 层（生成器）交替进行。

核心贡献

统一框架： 引入了将 RIMs 作为神经推理通用模块化框架的概念，明确分离了状态提议（求解器）、解生成（生成器）和偏差修正（重权器）的角色。
TRMs 的理论扩展： 证明了 TRMs 是具有恒等重权器的特定 RIM 实例。作者表明，添加非平凡的重权器（如 EMA 或 Transformer）可以将 TRMs 扩展到更有效地处理复杂推理。
对噪声的鲁棒性： 展示了通过将问题建模为 Gibbs 采样任务，RIMs 可以提高在表格数据观测噪声下的推理能力，在嘈杂的医疗数据集上优于标准的 TabPFN。
效率提升： 证明了将基础模型 (TabPFN) 作为不完整的 RIM 并通过专门的求解器 (Hydra) 进行补全，可以在保持预测性能的同时减少 35% 的推理时间。

实验结果

作者在符号推理、噪声下的表格推理以及架构效率方面评估了 RIMs：

符号推理 (ARC-AGI-1/2, Sudoku Extreme, Maze-Hard):
- RIMA 和 RIMformer（带有非平凡重权器）通常优于基准 SimRIM（恒等重权器）。
- RIMA 取得了最强的整体结果，特别是在 Sudoku Extreme 上（准确率 89.39% 对比 SimRIM 的 87.16%）。
- 消融研究表明，动态重权（可学习参数）优于静态权重。
- 回溯大小 (Lookback size) 的影响具有任务依赖性：较大的回溯（RIMformer）有助于 Maze-Hard，但在 Sudoku Extreme 上会损害性能，这表明较简单的任务受益于较小的回溯作为正则化归纳偏置。
表格推理 (带有 25% 噪声的医疗数据集):
- 在所有四个医疗数据集（Cleveland, Ljubljana, Thyroid, Hepatitis）上，TabRIM 在 AUC-ROC 和 AUC-PR 方面均一致优于直接的 TabPFN 推理。
- 在特征损坏最严重的数据集（Ljubljana, Thyroid）上，改进最为显著。
效率 (OpenML CC-18):
- HybRIM 在匹配 TabPFN 预测性能的同时，实现了 35% 的推理时间缩减（4.71s 对比 7.22s），且参数量更少（16M 对比 25M）。

重要性与主张

论文声称 RIMs 通过将“思考步骤”解释为近似后验分布的样本，为神经推理提供了原则性的基础。通过使推理动力学显式化，RIMs 揭示了隐含的设计选择（例如 TRMs 中缺乏权重机制），并实现了系统性的改进。

作者认为，该框架弥合了原始模式匹配与高级符号操作之间的鸿沟。它允许：

模块化： 组件（求解器、生成器、重权器）可以独立交换和改进。
可组合性： 现有的方法（如 TRMs）可以被视为不完整的 RIM，并通过新的组件（如添加重权器）来“补全”。
可解释性： 该框架为神经推理器如何运作提供了更清晰的语义理解，超越了启发式程序，转向正式的推理机。

论文总结道，尽管 RIMs 目前优于现有架构，但其设计空间仍有待进一步探索，例如在重权器中使用先进的记忆机制（如 xLSTM）或将框架扩展到 Tree-of-Thoughts 设置中。