🤖 AI

Closing the Loop on Latent Reasoning via Test-Time Reconstruction

该论文介绍了 ReLAT，一种自监督测试时训练方法，它通过从中间潜状态重构原始查询来确保任务相关信息的保留，从而提升潜在推理能力，进而显著提高了在数学、知识和代码生成基准测试上的性能。

原作者： Xiaopeng Yuan, Haibo Jin, Ye Yu, Peng Kuang, Lijun Yu, Yushun Dong, Haohan Wang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaopeng Yuan, Haibo Jin, Ye Yu, Peng Kuang, Lijun Yu, Yushun Dong, Haohan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常困难的谜题，比如一个复杂的数学问题或一个编程挑战。

问题：“黑盒”捷径

传统上，当人工智能（AI）尝试解决这些问题时，它会大声地对自己进行思考。它会将思考的每一步都用纯英文写下来（就像人类在笔记本上写笔记一样）。这很好，因为你可以阅读这些笔记，并观察 AI 是否分心了或者是否忘记了某个规则。然而，写下所有这些文字需要大量的时间和计算能力（就像是在为一次很长的电话通话付费）。

为了节省时间，研究人员开始让 AI 使用一种“秘密代码”（称为潜空间推理/latent reasoning）进行思考。AI 不再编写完整的句子，而是将它的想法作为不可见的、压缩后的数字保存在大脑内部。这非常快速且高效。

但问题在于： 由于这些想法是不可见的，AI 无法检查自己是否仍处于正确的轨道上。这就像闭着眼睛开车，完全信任自己没有不小心驶入沟渠。如果 AI 在使用“秘密代码”思考时忘记了一个关键的谜题规则，它直到给出错误答案时才会意识到这一点。论文称之为**“开环”（open loop）**——AI 先进行思考，然后给出答案，中间没有任何安全检查。

解决方案：ReLAT（“记忆测试”）

作者提出了一种名为 ReLAT（测试时重建引导的潜空间推理）的新方法。

你可以将 ReLAT 理解为 AI 在回答问题之前给自己进行的一次记忆测试。

它是这样运作的，使用一个简单的类比：

设定： 你给 AI 一个很难的数学题（“问题”）。
秘密想法： AI 迅速将它的思考压缩成那种不可见的“秘密代码”（“潜空间想法”）。
记忆测试（循环）： 在 AI 被允许给出最终答案之前，它必须尝试仅使用那个秘密代码来重建原始问题。
- 如果 AI 能从其秘密代码中完美地重建问题， 这证明它记住了所有的规则和约束条件。它通过了测试。
- 如果 AI 未能重建问题（也许它忘了一个数字或一个条件），它就知道自己的“秘密想法”是有缺陷的。
修复： 如果 AI 未能通过记忆测试，它会利用这次失败来快速调整其内部设置（一个被称为“测试时训练”的过程）以修复其记忆中的漏洞。
答案： 只有在通过记忆测试后，它才会生成最终答案。

为什么这很重要

论文声称，这种方法将“开环”（盲目驾驶）转变为了**“闭环”**（配备了一个不断检查你位置的 GPS 导航）。

它是自我修正的： AI 不需要人类来检查它的工作。它使用原始问题本身作为“标准答案”来验证自己的思考。
它是高效的： 与旧方法不同（旧方法中 AI 需要写出长篇大论的文本来检查自己，这既慢又贵），ReLAT 使用不可见的、压缩后的数字来进行这种检查。
它行之有效： 作者在困难的数学竞赛（如 AIME）、编程任务和医学问题上测试了该方法。他们发现，与标准的 AI、基于文本的检查以及其他“秘密代码”方法相比，ReLAT 显著提高了准确率。例如，在一场高难度的数学测试中，它将 AI 的得分从 56.7% 提升到了 73.3%。

核心要点

ReLAT 是让快速、不可见的 AI 思考变得更可靠的一种方法。它通过要求 AI 在给出最终解法之前，先从隐藏的想法中“回放”原始问题，从而强迫 AI 证明自己没有跑题。这就像是在出门之前，确保自己没有忘记购物清单，但这一切都是在瞬间完成的，无需写下任何东西。

技术摘要：通过测试时重构实现潜性推理的闭环

1. 问题陈述

大型语言模型的最新进展已将中间推理过程从显式的自然语言轨迹转向潜性（Latent）或缓存级（Cache-level）表示。这种转变旨在减少 Token 开销，并避免文本推理（如思维链 CoT、多智能体文本交换）中固有的离散通信瓶颈。然而，这种转型引入了一个关键缺陷：中间保真度的丧失。

在传统的基于文本的推理中，中间状态是可检查的；如果模型丢失了原始查询中的某个约束，该错误是可见的。相比之下，潜性推理是在**开环（Open Loop）**状态下运行的。一旦生成了潜性状态，它就会被下游计算直接消费，而无需经过验证。由于这些状态是晦涩不透明的，语义漂移或任务相关约束的丢失可能会在不被察觉的情况下发生，导致推理结果虽然在内部逻辑上自洽，但从根本上偏离了原始问题的规范。现有方法缺乏一种机制来验证一个不透明的潜性状态是否仍然保留了生成它的查询所包含的约束。

2. 方法论：ReLAT

为了解决这一问题，作者提出了 ReLAT（Reconstruction-Guided Latent Reasoning At Test Time，即重构引导的测试时潜性推理），这是一种自监督测试时训练框架，通过使用查询本身作为保真度参考，从而实现了推理闭环。

核心原理

其核心观察是：如果一个潜性状态能够忠实地代表一个查询，那么该查询应当可以从该状态中恢复。如果无法从该状态中重构出查询，则说明潜性状态丢失了任务相关的有效信息。ReLAT 通过构建一个可微的 “问题 $\rightarrow$ 潜性思维 $\rightarrow$ 问题” 循环，使这一过程具备可操作性。

技术实现

可微潜性表示：为了在测试期间实现基于梯度的优化，ReLAT 使用连续松弛（Continuous Relaxation）取代了离散的 Token 选择。潜性思维被表示为源自模型词表分布的期望 Token 嵌入（使用带有温度系数 $\tau$ 的软化 Softmax）。这使得潜性向量既与嵌入空间保持联系，又保留了用于反向传播的可微路径。
重构循环：
- 生成：给定一个测试查询 $Q$ ，模型使用临时 LoRA 参数 $\phi$ 生成连续的潜性思维序列 $E_\phi(Q)$ 。
- 重构：同一模型尝试从潜性序列 $E_\phi(Q)$ 中重构原始问题 $Q$ 。
- 优化：计算重构损失（ $L_{ReLAT}$ ），该损失定义为重构问题与原始问题之间的掩码交叉熵（Masked Cross-Entropy）。
- 更新：通过梯度下降更新 LoRA 参数以最小化该重构损失。主干模型保持冻结状态。
推理：在 $N$ 步优化之后，使用调整后的参数生成最终答案。随后重置 LoRA 参数以应对下一个实例，从而确保实例级的适配且不会产生跨样本污染。

至关重要的是，重构被用作一种适配信号，用于在生成最终答案之前将潜性状态锚定到问题规范上，而不是将其作为直接解决任务的替代方案。

3. 主要贡献

本文概述了三个主要贡献：

将潜性推理视为一个闭环问题：作者指出，将推理移入潜性空间的核心代价是中间保真度的丧失。他们将其形式化为一个输入保真度问题，即标准的流水线在消费潜性状态时，并未验证其是否仍代表原始查询。
重构作为天然的保真度信号：论文认为原始查询是测试潜性状态保真度的自然参考。Re LAT 将其实例化为一个在测试时优化的可微自监督循环，为潜性思维是否保留原始约束提供了结构性检查。
系统性评估：该方法在数学推理、知识密集型问答和代码生成方面进行了基准测试，并与单模型推理、基于文本的协作、开环潜性协作以及其他测试时训练目标进行了对比。

4. 实验结果

作者在 Qwen 系列模型（4B, 8B, 14B）和 DeepSeek-R1-Distill-Qwen-7B 上针对三个基准测试进行了评估：AIME 2024/2025（数学）、MBPP+（代码）以及 GPQA-Diamond/MedQA（知识）。

性能提升：ReLAT 一致优于单模型推理、基于文本的多智能体系统（TextMAS）以及开环潜性协作（LatentMAS）。
- 在 AIME 2024 测试中，使用 Qwen3-8B 时，ReLAT 将准确率从 56.7%（LatentMAS）提升至 73.3%，较最强的开环基线提高了 16.6 个百分点。
- 在 MBPP+（代码）上，ReLAT 在 Qwen3-4B 上达到了 79.9%，在 Qwen3-14B 上达到了 83.3%，均超越了各自的 LatentMAS 基线。
- 在 GPQA-Diamond 上，ReLAT 在所有 Qwen3 规模下均取得了最佳结果。
与 TTT 基线的比较：ReLAT 优于其他的测试时训练目标，如 COME（熵最小化）和 QTTT（查询级更新）。这表明其增益并非仅仅来自通用的适配，而是专门来自于重构引导的保真度信号。
效率：与基于文本的迭代优化（Self-Refine）相比，ReLAT 实现了更高的准确率（AIME 2025 上为 63.33% vs 53.33%），同时 减少了 84.0% 的 Token 使用量（10,280 个 Token vs 64,381 个 Token），证明了通过避免中间步骤的显式文本生成，可以显著提高效率。
消融实验：研究发现，学习率为 $2 \times 10^{-5}$ 且潜性思维长度为 $K=16$ 时，能在适配能力与稳定性之间达到最佳平衡。

5. 重要性与主张

论文声称 ReLAT 为潜性推理提供了一个必要的结构性锚点。通过将开环的潜性流水线转变为针对原始输入进行验证的闭环过程，ReLAT 使不透明的推理状态变得更加可靠和落地。

作者也谦虚地指出，重构不足以保证推理的正确性；理论上，一个潜性状态可能能够重构出问题，但仍无法解决问题。然而，他们认为这是一种必要的结构性检查，用于过滤和纠正那些已经偏离问题约束的无效潜性状态。其重要性在于提供了一种自监督、可微的机制，在不需要标准答案或外部反馈的情况下，闭合了潜性推理的环路，从而在保持潜性计算效率优势的同时，提升了处理多样化任务时的表现。