🤖 AI

Generative Recursive Reasoning

本文介绍了生成式递归推理模型（GRAM），这是一种通过实现随机、多轨迹潜在状态细化来增强递归推理的概率框架，从而支持推理时扩展、多样化假设生成以及条件推理和无条件生成。

原作者： Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比对论文《生成式递归推理模型（GRAM）》的解释。

核心问题：AI 应该如何思考？

想象你正在尝试解决一个非常棘手的谜题，比如复杂的数独或逻辑推理题。

旧式 AI（自回归模型）： 它们就像一个逐字逐句写下想法的人，从头写到尾。如果在第一句话中犯了错，他们要么带着这个错误继续写完剩下的故事，要么必须从头开始。他们是“线性”思考者。
递归式 AI（上一代模型）： 这些模型就像一个可以在脑海中“思考”而无需动笔的人。他们在大脑中持有单一想法，不断 refine（优化）、再次优化、再优化，直到感觉正确为止。这很高效，但就像沿着山间的一条单径行走。如果那条路通向死胡同，AI 就会陷入困境。它没有备选方案。

问题所在： 论文指出，现有的“递归”AI 过于僵化。它们只遵循单一路径来寻找解决方案。如果那条路径是错误的，AI 就会失败。它们是确定性的，这意味着如果你给它们同一个谜题两次，它们会以完全相同的方式思考，并得到完全相同的结果（即使那个结果是错的）。

解决方案：GRAM（“多路径”思考者）

作者提出了 GRAM（生成式递归推理模型，Generative Recursive reAsoning Models）。

类比：徒步探险队
想象你需要找到一座巨大、迷雾笼罩的迷宫的出口。

旧方法（确定性递归）： 你派出一名徒步者。他选择一条路一直走到撞墙为止。如果撞墙了，他就被困住了。他无法回头尝试另一条路，因为他的程序设定就是遵循那一条特定的小径。
GRAM 方法： 你派出一整支徒步队（多条“轨迹”）。
1. 随机性（“摇摆”）： 徒步者不再走直线，而是被允许进行小的、随机的绕行。有时向左，有时向右。这种随机性帮助他们探索迷宫的不同区域。
2. 并行探索： 因为你有一支队伍，如果一名徒步者走进死胡同，另一名徒步者可能正走在一条完全不同的、通向出口的道路上。
3. 优化： 所有徒步者都在不断互相交流（更新内部状态），从而变得更聪明。

工作原理（机制）

论文描述了一个双层系统，就像拥有一个经理和一个员工：

员工（底层）： 这部分负责繁重的体力劳动。它接收当前的想法并快速、精确地进行优化。它非常专注且具有确定性（这里没有随机性）。
经理（高层）： 这部分决定方向。关键在于，经理会给计划添加一点“随机噪声”或“创造性混乱”。
- 为什么？ 为了防止团队陷入局部陷阱（一个看起来像解决方案的死胡同）。
- 结果： AI 不再仅仅遵循一条路径；它生成可能路径的分布。它本质上是在说：“我有 20 种不同的方法可以解决这个问题。让我们看看哪一种效果最好。”

GRAM 的两大超能力

论文强调了这种新系统在扩展规模方面的两种主要方式：

1. 深度（思考更久）
像旧的递归模型一样，GRAM 可以思考很长时间。它可以一遍又一遍地优化答案。

类比： 你可以不断打磨一颗钻石，直到它闪闪发光。

2. 广度（思考更宽）
这是新技巧。GRAM 不仅可以思考更久，还可以并行思考。它可以同时运行 20 个不同的“如果……会怎样”的情景。

类比： 与其花 10 个小时一次只拧魔方的一面来试图解开它，不如想象 20 个人同时拧不同的面，然后选出那个最快解开的人。
论文主张： 这种“广度”扩展比仅仅让 AI 思考更久（深度）更快、更有效。

他们在什么上测试了它？

研究人员不仅仅谈论理论；他们在具体的、困难的谜题上测试了 GRAM，这些谜题通常有多个正确答案，或者很容易让人陷入死胡同。

数独（约束谜题）：
- 结果： GRAM 解决极难数独谜题的表现远优于之前的递归模型。它不仅得到了正确答案，而且通过探索不同的可能性，更快地找到了正确答案。
N 皇后问题与图着色（“多解”谜题）：
- 挑战： 在这些谜题中，有几十甚至上百个有效解。旧 AI 会卡在一个解上而错过其他解（或者如果那个解被阻塞就会失败）。
- 结果： 由于 GRAM 探索多条路径，它能够找到同一个谜题的多个有效解。它不会遭受“模式崩溃”（即只找到一个答案）。
图像生成（“无条件”测试）：
- 挑战： 这种逻辑能否在没有具体谜题解决的情况下工作？它能凭空“梦”出一张图像吗？
- 结果： 可以。当被要求从头开始生成图像（例如来自 MNIST 数据集的数字）时，GRAM 生成的图像比之前的递归模型更清晰、更准确。这表明“思考”过程也可以用于“创造”。

结论

论文声称，GRAM 是一个重大进步，因为它将“递归推理”（循环思考）从一个僵化的单轨过程转变为一个灵活的、概率性的、多路径的过程。

旧 AI： “我会走这一条路，直到找到答案。”
GRAM： “我会派一支探险队走多条路，让他们稍微 wander（漫游）一下，然后选出最好的结果。”

作者总结道，这种方法使 AI 能够处理不确定性，找到多个解决方案，并通过让模型同时探索更多可能性，而不仅仅是增大模型规模，从而实现智能的扩展。

技术摘要：生成式递归推理模型（GRAM）

问题陈述

未来的神经推理系统面临一个核心挑战：如何高效地实现扩展计算。虽然大型自回归模型通过扩展序列生成（例如思维链）来扩展推理能力，但**递归推理模型（RRM）**提供了一种替代方案，即通过重复应用共享的转换函数来优化持久的潜在状态。这种方法将推理深度与参数规模和输出长度解耦。

然而，现有的 RRM（例如 HRM、TRM）本质上是确定性的。给定相同的输入和初始化，它们遵循单一的潜在轨迹并收敛到单一预测。这种确定性将合理的推理路径空间坍缩为单一吸引子，无法保持不确定性、考虑替代假设或探索多种解决方案策略。这对于具有内在歧义性、存在多个有效解的问题，或者单一优化路径可能陷入次优推理轨迹的情况尤为受限。本文探讨的核心问题是：递归潜在计算能否在保持紧凑循环模型效率的同时，支持概率性、生成式、多假设推理？

方法论：生成式递归推理模型（GRAM）

GRAM 引入了一种框架，将递归潜在推理转化为概率多轨迹计算。它将推理过程视为随机潜在轨迹，使模型能够维持多个假设并探索替代的解决方案策略。

1. 架构

GRAM 通过对随机潜在推理轨迹进行边缘化来建模条件分布 $p_\theta(y | x)$ 。该架构由编码器、递归核心和解码器组成，组织为两个嵌套循环：

内循环（低级优化）： 在单次转换中，低级潜在组件 $l$ 在给定高级状态 $h$ 和输入嵌入 $e_x$ 的条件下，使用确定性函数 $f_L$ 被优化 $K$ 次。
外循环（高级转换）： 高级组件 $h$ 在每次转换中更新一次。与确定性 RRM 不同，GRAM 将此更新定义为随机转换：
1. 计算确定性更新 $u_t$ ： $u_t = f_H(h_{t-1}, l_t; \theta)$ 。
2. 从状态相关的分布中采样可学习的随机引导 $\epsilon_t$ ： $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$ 。
3. 新状态为 $h_t = u_t + \epsilon_t$ 。
这种设计使模型能够通过均值 $\mu_\theta$ 捕捉不确定性并引导轨迹，同时通过方差 $\sigma^2_\theta$ 控制探索。低级优化保持确定性，而随机性仅注入到高级抽象状态中。
递归结构： 计算通过 $N_{sup}$ 个监督步骤进行。前一步的终端状态作为下一步的初始状态，形成完整的递归链。

2. 训练

GRAM 使用摊销变分推断进行训练，以最大化证据下界（ELBO）。

潜在变量公式： 模型对潜在轨迹 $\tau$ 进行边缘化。ELBO 针对生成参数 $\theta$ 和变分参数 $\phi$ 进行优化。
深度监督： 为了提供密集的学习信号，模型在 $N_{sup}$ 个连续步骤上应用深度监督。梯度仅通过每个监督步骤的最后一次转换传播（截断反向传播），以确保内存效率，作为完整 ELBO 的代理目标。
无条件生成： 通过将输入替换为空条件嵌入，相同的递归过程定义了无条件生成模型 $p_\theta(x)$ 。

3. 推理时扩展

GRAM 支持两个维度的扩展：

深度： 使用自适应计算时间（ACT），轨迹可以在学习到的停止深度处终止。
宽度： 模型从学习到的先验中并行采样多条潜在轨迹。候选者通过多数投票或**潜在过程奖励模型（LPRM）**进行选择，LPRM 根据轨迹的潜在状态预测其最终质量。这使得在不增加顺序递归长度的情况下扩展推理成为可能。

主要贡献

概率公式： 作者将递归推理公式化为潜在变量生成过程，其中解决方案是通过对随机推理轨迹进行边缘化获得的，而不是遵循单一的确定性路径。
基于宽度的扩展： 本文引入了“基于宽度”的推理时扩展，通过并行采样多条潜在轨迹来提升性能，补充了传统的基于深度的扩展。
实证验证： 作者提供了证据，证明该公式在结构化推理、多解约束满足和无条件生成方面，相比确定性的循环和递归基线具有架构优势。

实验结果

GRAM 在受控推理和生成任务上进行了评估，与确定性基线（Looped Transformers、HRM、TRM）以及作为外部参考的大型推理模型（LRMs）进行了比较。

结构化推理（Sudoku-Extreme, ARC-AGI）： GRAM 始终优于确定性递归基线。在 Sudoku-Extreme 上，GRAM 实现了**97.0%**的准确率，而 TRM 为 87.4%，HRM 为 55.0%。在 ARC-AGI-1 上，GRAM 达到 52.0%，超过了 TRM（44.6%）和 HRM（40.3%）。作者将此归因于其探索多样化推理轨迹的能力。
多解任务（N-Queens, Graph Coloring）： 随着有效解数量的增加，确定性模型会出现模式崩溃。GRAM 无论解的数量如何，都保持了一致的准确率。在 8x8 N-Queens 问题上，GRAM 实现了**99.7%的准确率和90.3%**的覆盖率（找到的唯一有效解），显著优于确定性模型（最大覆盖率 36.1%）和生成式基线如 AR（84.8% 覆盖率）。
无条件生成：
- 二值化 MNIST： GRAM 生成的可识别数字，其 Inception Scores (IS) 和 FID 与 D3PM 相当，而确定性 TRM 基线表现出严重的模式崩溃（FID 303.29）。
- 数独生成： 从空棋盘开始，GRAM 仅使用 16 个推理步骤和 1090 万参数，即可生成有效率为**99.05%**的有效数独棋盘，优于使用多达 1000 步和 5510 万参数的 D3PM 基线。
消融研究： 移除随机引导会导致性能下降，特别是在多解任务中。完全移除随机性会导致完全失败（0% 准确率），证实了收益源于变分框架而不仅仅是随机性。

意义与主张

本文主张，GRAM 确立了概率多轨迹递归作为未来循环和递归推理架构的设计原则。通过将确定性递归转变为生成过程，GRAM 实现了：

鲁棒探索： 通过维持多个假设，能够导航复杂的问题空间并逃离局部极小值。
高效扩展： 提供了一种新的推理时扩展维度（宽度），绕过了仅依赖深度扩展的延迟瓶颈。
统一建模： 能够使用相同的递归机制同时作为条件推理模型（ $p(y|x)$ ）和无条件生成模型（ $p(x)$ ）。

作者指出，虽然 GRAM 在结构化推理和生成方面展示了潜力，但深度监督的顺序性质限制了其训练效率，使其不如 Transformer 高效，这构成了向更大基础模型扩展的障碍。他们还警告说，在高风险环境中，看似合理但无效的生成可能会被误认为是已验证的解决方案，因此需要严格的验证和不确定性校准。