Recursive Inference Machines for Neural Reasoning

本文提出了递归推理机（RIMs）框架，将神经骨干与受经典推理引擎启发的递归机制相结合，不仅将 Tiny Recursive Models 纳入其中并通过重加权组件提升了其在 ARC-AGI 和 Sudoku Extreme 等复杂推理基准上的表现，还证明了该框架在表格数据分类等任务上优于 TabPFN。

要点

这篇文章介绍了一种名为**“递归推理机”（Recursive Inference Machines，简称 RIMs）的新框架。为了让你轻松理解，我们可以把解决复杂问题（比如做数学题、下棋或分析医疗数据）想象成“在一个充满迷雾的房间里找宝藏”**。

1. 以前的做法：死板的“单程列车”

以前的 AI 模型（比如普通的神经网络）像是一列单程列车。它从起点（输入问题）出发，沿着固定的轨道跑一段，然后直接到达终点（给出答案）。

• 问题：如果问题太复杂，轨道不够长，列车还没到终点就停了，或者跑偏了。它很难在跑的过程中“回头看看”或者“重新思考”。
• 现有的改进：最近有些方法（比如“思维链”）让列车在跑的时候停下来写写日记（Chain-of-Thought），但这更像是一种临时的技巧，缺乏一个统一的、系统的“思考引擎”。

2. 新框架 RIMs：聪明的“探险家团队”

这篇论文提出的 RIMs，就像是一个由三位专家组成的探险团队，他们在一个房间里反复协作，直到找到宝藏。这个团队由三个角色组成：

🧠 角色一：Solver（探索者/草稿纸）

• 任务：它负责在“草稿纸”上疯狂地尝试各种可能性。
• 比喻：就像你在解数学题时，在纸上写写画画，尝试不同的公式，或者在迷宫里先往左走一步，发现不对再退回来。它负责生成新的想法。

⚖️ 角色二：Reweighter（老练的裁判/过滤器）

• 任务：这是这篇论文最核心的创新。它负责判断刚才的尝试好不好，并决定保留多少。
• 比喻：
  • 以前的模型（如 Tiny Recursive Models）就像是一个只会点头的助手，不管探索者写了什么，它都全盘接受，直接记下来。这容易导致“钻牛角尖”或者被错误的思路带偏。
  • RIMs 的 Reweighter 则像是一个经验丰富的老教练。当探索者提出一个新想法时，老教练会说：“等等，这个想法虽然有点新意，但结合我们之前的经验，它可能不太靠谱，我们要给它打个折（降低权重）”；或者“这个想法很好，我们要把它记下来，并稍微修正一下”。
  • 关键点：它引入了**“重新加权”**机制。就像在概率统计中，如果一个新的猜测偏离了事实，我们就降低它的可信度，防止整个思考过程跑偏。

🎯 角色三：Generator（最终决策者）

• 任务：根据探索者整理好的信息和裁判的修正，给出一个更清晰、更完整的答案。
• 比喻：就像探险队根据所有线索，最终画出藏宝图，确定宝藏的确切位置。

3. 他们是怎么工作的？（递归循环）

这个团队不是只工作一次，而是反复循环：

1. 探索：探索者在草稿纸上写下一个新想法。
2. 裁判：老教练审视这个想法，结合之前的经验，决定是“采纳”、“修改”还是“忽略”。
3. 决策：决策者根据修正后的信息，更新当前的“最佳答案”。
4. 重复：把更新后的答案作为新的起点，再次进入循环。

这个过程就像**“滚雪球”**，但每次滚动时，都有一个聪明的裁判在剔除杂质，确保雪球越滚越结实，而不是滚成一团乱泥。

4. 为什么这个很重要？（实际效果）

论文通过实验证明，加上这个“老练的裁判”（Reweighter）后，AI 的表现有了质的飞跃：

• 在极度困难的逻辑题上（如数独 Extreme、ARC-AGI 谜题）：
  • 以前的模型（SimRIM/TRM）就像是一个只有直觉的解题者，容易在复杂步骤中迷路。
  • RIMs 就像是一个会反思的解题者。它在每一步都会停下来检查：“我刚才那步走对了吗？”如果不对，就调整方向。结果，它在数独和逻辑谜题上的正确率显著提高。
• 在嘈杂的数据上（如医疗诊断）：
  • 现实世界的数据往往有很多“噪音”（比如体检报告填错了、传感器失灵了）。
  • 普通的模型看到错误数据就会给出错误诊断。
  • RIMs 中的 TabRIM 变体，利用“裁判”机制，能够像去噪耳机一样，过滤掉那些错误的“噪音”数据，还原出真实的病情，从而在充满干扰的医疗数据中做出更准确的判断。

5. 总结：从“死记硬背”到“学会反思”

这篇论文的核心思想是：让 AI 学会“反思”和“自我修正”。

• 以前的 AI：像是一个勤奋但有点死板的实习生，你让它做什么它就做什么，哪怕方向错了也硬着头皮做下去。
• RIMs 的 AI：像是一个有经验的专家，它知道什么时候该坚持，什么时候该回头，并且懂得如何权衡不同的线索。

通过引入这个**“重新加权”**的机制，RIMs 不仅让 AI 在解决复杂逻辑题时更强，也让它在面对混乱、充满噪音的现实世界数据时，变得更加稳健和可靠。这为未来设计更聪明、更透明的 AI 系统打开了一扇新的大门。

技术摘要

递归推理机（RIMs）：神经推理的统一框架

论文技术总结

1. 研究背景与问题 (Problem)

现有的神经推理模型（如 Tiny Recursive Models, TRMs）虽然在处理复杂推理任务（如 ARC-AGI、Sudoku）上表现出色，但存在以下局限性：

• 泛化能力受限：难以处理比训练数据更复杂或需要更长推理视野（Long-horizon）的问题。
• 缺乏统一理论框架：现有的测试时扩展（Test-time scaling）方法（如思维链、自我验证）多为启发式过程，缺乏形式化的统一框架来解释其工作原理或指导系统性的改进。
• 推理策略不透明：现有递归模型（如 HRM, TRM）的潜在状态更新缺乏系统性解释，导致难以优化其推理策略。
• 噪声鲁棒性差：在表格数据推理中，预训练模型（如 TabPFN）在面对部署时的严重观测噪声时表现不佳，因为它们缺乏显式的去噪或概率推理机制。

2. 方法论 (Methodology)

作者提出了递归推理机（Recursive Inference Machines, RIMs），这是一个将神经推理显式化为基于经典推理引擎（如概率推断中的序列蒙特卡洛 SMC 和吉布斯采样）的递归过程的统一框架。

2.1 RIM 的核心定义

RIM 被定义为一个元组 $\langle x, y^{(0)}, z^{(0)}, G, S, R \rangle$，包含三个核心组件：

1. 求解器 (Solver, $S$)：基于当前解、历史状态和问题描述，递归地提出潜在状态（Latent State）的更新建议（$\tilde{z}$）。这对应于推理过程中的“思考”或局部细化。
2. 生成器 (Generator, $G$)：利用更新后的状态序列，生成候选解的更新（$\tilde{y}$）。
3. 重加权器 (Reweighter, $R$)：这是 RIM 的关键创新。它不直接接受 Solver 或 Generator 的更新，而是将候选更新与当前值进行加权比较，从而产生最终的状态更新（$z$）和解更新（$y$）。
   • 在概率推断视角下，$S$ 和 $G$ 类似于提议分布（Proposal），而 $R$ 类似于重要性加权（Importance Weighting），用于纠正偏差并防止推理漂移。

2.2 推理流程

RIM 通过 $N$ 次外层循环（生成解）和 $T$ 次内层循环（细化状态）交替运行：

1. 内层循环：Solver 提出状态更新 $\tilde{z}$，Reweighter 将其与历史状态加权融合得到 $z$。
2. 外层循环：Generator 基于状态序列提出解更新 $\tilde{y}$，Reweighter 将其与当前解加权融合得到 $y$。
3. 该过程重复 $N$ 次，输出最终解 $y^{(N)}$。

2.3 RIM 家族实例化

作者基于此框架提出了多种具体架构：

• SimRIM：将 Reweighter 设为恒等函数（Identity）。这涵盖了现有的 HRM 和 TRM 模型，证明了它们是 RIM 的特例（即缺乏重加权机制的近似推理机）。
• RIMA：引入**指数移动平均（EMA）**作为 Reweighter。它动态地平衡历史信息与当前更新，通过可学习的系数 $\alpha$ 控制更新惯性，使模型能自然地对旧信息进行降权。
• RIMformer：引入$k$-lookback Reweighter，使用 Transformer 块作为 Reweighter。它利用自注意力机制显式地捕捉整个推理历史中的依赖关系，适合需要频繁回溯的长视野任务。
• TabRIM：针对表格数据推理，将 TabPFN 嵌入 RIM 框架。
  • Solver：利用 TabPFN 的上下文学习能力，通过吉布斯采样迭代去噪（从条件分布中采样潜在干净特征）。
  • Reweighter：根据观测到的噪声特征计算重要性权重，确保采样样本与观测证据一致。
  • Generator：基于加权后的去噪样本推断目标分布。

3. 主要贡献 (Key Contributions)

1. 统一框架：提出了 RIM 作为神经推理架构的通用框架，将神经推理步骤形式化为随机规划语言中的程序，统一了现有的递归模型（如 TRM）和概率推断方法（如 SMC, Gibbs Sampling）。
2. 理论扩展：指出 TRM 等模型本质上是缺少“重要性重加权”步骤的近似推理机。通过引入 Reweighter 组件，填补了这一理论空白。
3. 新架构设计：
   • 设计了 RIMA（基于 EMA 的动态重加权）和 RIMformer（基于 Transformer 的历史依赖重加权）。
   • 设计了 TabRIM，成功将预训练的表格 Transformer（TabPFN）转化为具有鲁棒性的概率推理机，能够处理高噪声数据。
4. 实证验证：在多个具有挑战性的基准测试中证明了 RIM 的有效性，包括符号推理（ARC-AGI, Sudoku）和表格数据推理（医疗诊断）。

4. 实验结果 (Results)

实验在四个符号推理基准（ARC-AGI-1/2, Sudoku Extreme, Maze-Hard）和两个医疗表格数据集（Cleveland Heart Disease, Ljubljana Breast Cancer）上进行。

• 符号推理性能：

  • RIMs 优于 TRM：带有非平凡 Reweighter 的模型（RIMA, RIMformer）在 ARC-AGI-1/2 和 Sudoku Extreme 上均显著优于基础版 SimRIM (TRM)。
  • ARC-AGI-1：RIMformer 的 pass@2 达到 47.13%，比 SimRIM (44.38%) 提升 2.75%。
  • Sudoku Extreme：RIMA 达到 89.34% 准确率，比 SimRIM (87.16%) 提升 2.18%。
  • 消融实验：证明了动态重加权（Learnable/Neural-driven）优于静态重加权（如固定 EMA 系数）。完全动态的 RIMA 表现最佳。
  • Lookback 影响：增加 Lookback 窗口（RIMformer）在 Maze-Hard（需要回溯）上有效，但在 Sudoku-Extreme 上可能因过参数化导致性能略降，表明不同任务对历史依赖的需求不同。

• 表格数据推理（抗噪性）：

  • 在引入 25% 随机噪声的医疗数据集上，TabRIM 显著优于直接使用 TabPFN。
  • Cleveland Heart Disease：AUC-ROC 从 0.85 提升至 0.87。
  • Ljubljana Breast Cancer：AUC-ROC 从 0.63 大幅提升至 0.74。
  • 这表明通过吉布斯采样和重加权机制，模型能有效过滤噪声并推断真实特征分布。

5. 意义与展望 (Significance)

• 理论意义：RIM 为神经推理提供了一个 principled（有原则的）基础，将“思考”过程解释为对后验分布的采样和逼近。它揭示了现有递归模型的性能瓶颈在于缺乏显式的重加权机制。
• 实践价值：
  • 通过引入 Reweighter，可以在不大幅增加参数量的情况下显著提升现有模型（如 TRM）的推理能力。
  • 为预训练模型（如 TabPFN）在噪声环境下的部署提供了有效的适配方案，无需重新训练即可提升鲁棒性。
• 未来方向：
  • 探索更强大的 Reweighter（如 xLSTM）以捕捉长程依赖。
  • 将 RIM 扩展为“思维树”（Tree-of-Thoughts）结构，支持并行推理轨迹的探索与重加权。
  • 结合通用 Transformer 作为 Backbone，进一步提升推理上限。

总结：本文通过引入递归推理机（RIMs），成功将神经推理与经典概率推断理论相结合。通过显式化“重加权”步骤，RIM 不仅统一了现有的递归模型，还通过 RIMA 和 TabRIM 等变体在复杂推理和抗噪任务上取得了超越现有最先进模型（SOTA）的性能，为设计下一代高效、可解释的推理引擎指明了方向。