💬 NLP

Latent Reasoning in TRMs is Secretly a Policy Improvement Operator

本文证明了小模型中的潜在递归推理起到了策略改进算子的作用，使得能够应用强化学习和扩散训练方案来消除无效计算步骤，并在保持性能的同时显著减少前向传播次数。

原作者： Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：为什么“思考”有时只是在浪费时间

想象你正在尝试解决一个难题。你有一个聪明的小助手（AI 模型）试图解决它。

近年来，研究人员试图通过告诉它要**“循环思考”**来让这个助手变得更聪明。与其直接给出一个答案，不如让助手观察自己之前的猜测，思考片刻，然后做出一个新的、稍微好一点的猜测。它会不断重复这个过程，希望在第 10 次或第 20 次猜测时，它就能得到完美的解决方案。

这被称为潜层推理（Latent Reasoning）。其理论是：“如果我们让模型进行自我循环，就像是在不增加大脑容量的情况下，赋予了它更深邃的大脑。”

问题所在： 本文的作者发现这种逻辑中存在一个缺陷。虽然模型确实在进行循环，但其中许多循环并没有产生任何有用的结果。这就像一个学生盯着一道数学题，写下一个错误的答案，擦掉，然后再写一遍，如此循环往复，希望它能奇迹般地变正确。论文将这种现象称为**“无效计算”（dead compute）**——即在那些无法真正改善答案的步骤上浪费能量。

发现：它本质上是一个“策略改进”机器

作者提出了一个大问题：在这些循环过程中，模型的脑子里到底发生了什么？

他们发现，模型不仅仅是在“深入思考”。它实际上在秘密地扮演一个强化学习智能体（一种通过试错来学习的 AI 类型）的角色。

以下是类比：

旧方法： 模型进行猜测，然后再次猜测，希望第二次的猜测会更好。这就像蒙着眼睛投掷飞镖，并希望第二次投掷能更接近红心。
新见解： 作者意识到模型实际上正在执行**“策略改进”（Policy Improvement）**。这是一个专业术语，意思是：“拿你当前的猜测，观察你的猜测与真相之间的差异，并利用这个差异来推动你的下一次猜测，使其更接近目标。”

论文证明，每当模型进行循环时，它理应计算一个特定的“优势值”（即新猜测比旧猜测好多少的分数）。如果它没有做到这一点，它就只是在原地打转。

解决方案：深度改进监督（DIS）

由于模型容易陷入“无效计算”的困境，作者发明了一种新的训练方法，称为深度改进监督（Deep Improvement Supervision, DIS）。

类比：“面包屑”路径
想象你正试图从家走到一个隐藏的宝藏处。

旧方法 (TRM)： 老师告诉你：“一直绕圈走，直到找到宝藏为止。”你可能会走 100 个圈，但其中只有 5 个圈让你离宝藏更近了。其余的都是浪费的步骤。
新方法 (DIS)： 老师给了你一张带有面包屑的地图。
1. 第一步：走到第一个面包屑处（一个稍好一点的猜测）。
2. 第二步：走到第二个面包屑处（一个更优的猜测）。
  ……以此类推，直到你到达宝藏。

作者通过获取正确答案并逐渐“破坏”它（使其变得略微错误）来创造这些“面包屑”，从而建立一条中间目标的路径。然后，他们训练模型去完美地命中每一个面包屑。

为什么有效：
与其寄希望于模型能自己摸索出如何改进，不如由老师强制要求模型明白：每一步都必须是一次改进。 这将“无效计算”转化为了“主动改进”。

结果：更快、更小、更强

作者在 Tiny Recursive Model (TRM)（一个非常小的 AI 模型）上测试了这种新方法 (DIS)。

事半功倍： 他们发现，通过使用 DIS，模型不再需要进行那么多循环。他们将“思考步骤”减少了 18 倍（从 336 步减少到仅 18 步），同时获得了相同甚至更好的结果。
击败巨头： 他们在 ARC-AGI 基准测试（一项非常困难的通用智能测试，类似于 AI 的现代智商测试）上进行了测试。
- 他们的微型模型（仅有 0.8 百万参数）得分达到了 24%。
- 这非常了不起，因为大多数其他开源模型需要数十亿个参数才能达到接近这个分数。
- 他们显著超越了原始的 TRM 模型，证明了“秘诀”不在于模型的大小，而在于训练方法。

一句话总结

本文揭示了递归 AI 模型原本在秘密地像强化学习者一样尝试改进自己的猜测，但由于没有被教会如何改进而失败了；通过提供一种循序渐进的“面包屑”式训练路径，作者使这些模型在效率提升 18 倍的同时变得更加聪明，且仅使用了极小部分的计算资源。

技术摘要：潜在推理（Latent Reasoning）在 TRM 中本质上是一个策略改进算子

1. 问题陈述

近期，利用潜在递归（Latent Recursion）的小型模型，如微型递归模型（Tiny Recursive Models, TRMs）和分层推理模型（Hierarchical Reasoning Models, HRMs），在 ARC-AGI 等复杂推理任务上展现出了极具前景的结果。主流理论认为，这些模型通过增加有效网络深度来提升性能，从而以更少的参数模拟更大的模型。然而，经验观察揭示了一个差异：与具有同等前馈深度的单次通过（one-pass）模型相比，递归增加的层往往表现不佳。这表明，在循环架构中，并非每一个递归步骤都能对解题做出实质性贡献，从而导致了“无效计算”（dead compute）。

本研究旨在解决的核心问题包括：

潜在推理何时以及为何能提升性能？
何时会导致冗余计算？
如何改进这些模型的训练，以确保每一步都是有效的？

目前 TRM 的训练方法主要对最终输出进行监督。这使得早期的细化步骤（refinement steps）缺乏有效的信用分配（credit assignment），导致优化过程非常脆弱，尤其是在小数据量的情况下。

2. 方法论

作者提出了一个关于潜在推理的理论重构及其相应的训练方法。

理论形式化：潜在推理即策略改进
本文将潜在递归推理形式化为一个策略改进算子（policy improvement operator）。

参考策略 ( $\hat{\pi}_t$ )： 在进行潜在推理步骤之前的模型输出分布（即“初步猜测”）。
改进后的策略 ( $\pi^+_t$ )： 在经过一次潜在推理更新后的输出分布。
优势信号（Advantage Signal）： 改进后策略与参考策略之间的对数概率之差充当了隐式优势信号（ $A_t(s, a) = \log \pi^+_t(a|s) - \log \hat{\pi}_t(a|s)$ ）。
机制： 作者证明了单个 TRM 步骤实现了一种策略更新，该更新根据最优性条件对参考策略进行重新加权。具体而言，潜在推理步骤的行为类似于一个以“答案得到改进”这一事件为条件的策略。这建立了潜在空间算法与强化学习（RL）中成熟的策略改进框架以及扩散模型中无分类器指导（CFG）之间的联系。

提出的训练方案：深度改进监督（Deep Improvement Supervision, DIS）
基于策略改进的洞察，作者引入了**深度改进监督（DIS）**以消除无效计算步骤。

步进式目标（Step-wise Targets）： DIS 不仅仅监督最终输出，而是为每个递归步骤 $s$ 提供中间目标 $\{y^\dagger_s\}$ 。这些目标是通过对真实输出 $y^*$ 进行**单调离散破坏调度（monotonic discrete corruption schedule）**生成的。
训练目标： 模型被训练用于将前一个目标 $y^\dagger_{s-1}$ （通过参考策略）映射到下一个较少破坏的目标 $y^\dagger_s$ （通过改进后的策略）。
损失函数： 训练过程最小化后推理 Logits 与特定步骤目标 $y^\dagger_s$ 之间的交叉熵损失。这强制要求在每一个步骤中，正确 Token 的对数比例优势（log-ratio advantage）必须为正，从而确保每个递归步骤执行的是有方向的改进，而非冗余计算。

架构简化
所提方法通过以下方式简化了 TRM 架构：

移除了对学习型停止机制（自适应计算时间，Adaptive Computation Time）的需求。
减少了监督步骤和潜在推理步骤的数量。
使用由破坏调度确定的固定递归步数（ $N_{sup}$ ）。

3. 核心贡献

理论洞察： 本文确立了潜在推理在数学上等价于策略改进算子。它将潜在空间推理算法与强化学习框架联系起来，通过优势最大化的视角解释了模型行为。
深度改进监督（DIS）： 一种新颖的训练方案，它提供了步进式的中间目标。这把困难的长程信用分配问题转化为一个易于处理的有监督学习任务，其中每一步都被明确训练为对前一状态进行改进。
效率提升： 该方法在获得竞争性性能的同时，显著降低了计算开销。它避免了训练停止模块，并且与标准 TRM 设置相比，减少了 18 倍 的总前馈次数，同时保持或提高了准确率。

4. 实验结果

作者在 N-Queens 问题和 ARC-AGI 基准测试（ARC-AGI-1 和 ARC-AGI-2）上评估了其方法。

N-Queens： 使用紧凑型模型（0.8M 参数），DIS 方法达到了 0.69 的准确率，这与带有停止头（halting head）且有 16 个监督步骤的标准 TRM 性能相当，但使用的推理步数显著更少（ $T=1, n=2$ 对比 $T=3, n=6$ ）。
ARC-AGI：
- 紧凑型模型（0.8M 参数）： DIS 在 ARC-AGI-1 上达到了 24.0% 的准确率，超越了原始的 TRM-compact（12.0%）以及大多数没有外部知识的现有开源大语言模型。
- 中型模型（7M 参数）： DIS 在 ARC-AGI-1 上达到了 41.3%，在 ARC-AGI-2 上达到了 6.0%，优于标准 TRM-medium（40.4% / 3.3%），并达到了原始 TRM（40.4% / 3.3%）的水平，同时使用了更少的潜在推理步骤。
计算量缩减： 与基准 TRM 配置相比，该方法将总前馈次数减少了 18 倍，证明了对中间步骤进行显式监督可以消除对过度潜在推理循环的需求。

5. 重要性与主张

论文声称，通过将潜在推理视为一个策略改进过程，人们可以解释为什么标准的递归模型有时会失败（由于“无效计算”，即步骤未能提升优势边际），以及如何修复它。

其主要意义在于 深度改进监督（DIS） 框架，该框架：

提供了一种建设性的训练规则，以确保每一个递归步骤都执行非平凡的改进。
通过移除复杂的停止机制和脆弱的信用分配，简化了递归模型的训练。
证明了当训练目标与潜在递归的内在算法性质相一致时，小型、参数高效的模型可以在复杂推理任务（如 ARC-AGI）上取得最先进的结果。

作者总结道，通过将训练信号与潜在递归的内在算法本质相对齐，其方法为构建更高效、更有效的推理模型提供了一条路径。