💬 NLP

Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate

该论文提出了 Tyler，一个类型化且具备预算意识的框架，它通过在自回归解码过程中动态学习在生成文本标记与调用专门的潜计算模块之间进行切换，从而显著提升了相对于现有思维链（Chain-of-Thought）和潜推理方法的推理准确性与效率。

原作者： Hanyu Lin, Min Cai, Jiawei Wen, Haodi Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanyu Lin, Min Cai, Jiawei Wen, Haodi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常棘手的数学难题。你有两种方法可以解决它：

“说出来”法（思维链/Chain-of-Thought）： 你把思考过程中的每一步都写在纸上。“首先，我需要把这些数字相加。然后，我需要除以二……”这能帮你得到正确答案，但写下所有步骤既费时又费力，你可能会在那些显而易见的步骤上浪费大量的纸张（或计算资源）。
“静默思考”法（潜意识推理/Latent Reasoning）： 你把一些思考留在脑海中，而不写下来。这种方法更快，也更节省空间，但现有的方法有点笨拙。它们要么在随机的时间决定“静默思考”，要么使用一种通用的“静默想法”，却不知道自己正在进行什么样的思考。

TYLER 是一个试图兼顾两者之长的新系统。把它想象成给 AI 提供了一个智能的多功能工具背包，而不是仅仅一个笔记本。

当前“静默”思考的问题

目前的静默思考方法就像一个手里拿着锤子却不知道何时该使用的工人。他们可能会在应该拧螺丝的时候去敲钉子。他们也不知道在任务上该花多少时间。他们只是不停地敲击，直到耗尽能量或时间。

TYLER 的解决方案：专业的工具箱

TYLER 改变了游戏规则，它为 AI 提供了三种特定的“静默工具”（称为算子/operators），让 AI 可以在需要时随时从背包中取出，而无需写出来：

“大局观”工具（全局定向/Global Orientation）： 当 AI 感到卡壳或困惑时，它会拿出这个工具，退后一步来规划整个策略。这就像是在开车前停下来看一眼地图。
“记笔记”工具（状态更新/State Update）： 当 AI 需要记住刚刚计算出的某个特定数字或事实时，它会使用这个工具来更新其内部记忆。这就像是在脑海里快速写一张便签。
“模式匹配”工具（程序抽象/Procedural Abstraction）： 当 AI 看到一个以前解决过的类似问题时，它会使用这个工具来回想起上次使用的确切步骤。这就像是记起：“噢，这跟我昨天做的那个谜题一样；我知道窍门在哪。”

它是如何运作的：智能管理者

TYLER 的神奇之处不仅在于拥有这些工具，还在于 AI 内部有一个智能管理者。

何时思考： 管理者不断检查 AI 的信心水平。如果 AI 很确定，它就继续写出答案（可见文本）。如果 AI 感到困惑或需要进行复杂的数学运算，管理者就会说：“停！拿出工具！”
用哪个工具？ 管理者不会随机抓取工具。它会询问：“我们需要地图（全局）、便签（状态）还是模式（程序）？”并选择正确的工具。
花多少时间？ 管理者还有一个预算。它知道不要在简单的问题上花费 10 分钟进行静默思考。它会分配足够的“静默时间”来高效地完成任务。

测试结果如何？

研究人员在三种不同规模的 AI 大脑（从小型到中型）上测试了 TYLER，并给了它们高难度的数学、科学和逻辑谜题。

更高的分数： TYLER 的得分显著高于标准的“说出来”法和其他“静默思考”法。在某些情况下，它的准确率提高了多达 14 个点。
更少遗忘： 当研究人员让 AI 连续学习不同类型的题目时（比如先学编程，再学科学，最后学数学），TYLER 在学习新知识的同时，能更好地记住旧知识。它不会因为学习新任务而感到困惑或“忘记”之前任务的处理方式。
更快且更聪明： 尽管它在进行额外的“静默”思考，但由于它不会在不必要的步骤上浪费时间，所以整体速度往往更快。

核心总结

TYLER 通过让 AI 在大声说话（写出答案）和静默思考（使用专门的思维工具）之间进行切换，教会了 AI 如何成为更好的思考者。它决定了何时切换、使用哪种工具以及思考多久，这使得它在学习新事物时变得更聪明、更快，且不会遗忘旧知识。

技术摘要：TYLER (类型化潜性推理)

1. 问题陈述

大型语言模型 (LLMs) 目前依赖思维链 (Chain-of-Thought, CoT) 提示来解决复杂的推理任务。虽然 CoT 非常有效，但它将中间计算过程外显化为离散的文本 Token，这引入了冗余，增加了推理成本，并设定了一个僵化的接口，即推理必须在最终答案生成之前进行充分的阐述。

潜性推理 (Latent reasoning) 提供了一种替代方案，通过将中间计算保留在连续表示中来实现。然而，现有的潜性推理方法存在两个主要局限性：

缺乏功能差异化： 当前的方法通常将潜性 Token 视为统一、无差异的计算载体。它们无法区分推理步骤中不同的功能角色，例如全局定向、局部状态更新或程序化抽象。
刚性或外部控制： 现有方法要么预定义了潜性计算的位置（固定位置），要么依赖于外部触发器或不确定性信号来决定何时调用潜性计算。它们无法使 LLM 本身动态地决定何时思考、执行哪种类型的计算，以及在自回归解码过程中分配多少计算预算。

2. 方法论：TYLER 框架

作者提出了 TYLER (Typed Latent Reasoning，类型化潜性推理)，该框架将潜性推理重新定义为一个在线、类型化且受预算控制的计算问题。其核心创新在于一种策略，该策略将可见的 Token 解码与专门的潜性算子调用交织在一起。

2.1 类型化潜性算子

TYLER 引入了三种不同的潜性算子，每种算子都为特定的计算角色而设计：

$O_g$ (全局定向 - Global Orientation)： 支持全局规划和问题定向。
$O_s$ (局部状态更新 - Local State Update)： 支持对演进中的推理状态进行更新。
$O_p$ (程序化抽象 - Procedural Abstraction)： 捕捉可重用的程序化模式。

这些算子并非使用单一的潜性空间，而是将当前的推理上下文映射为一系列由算子调节的潜性 Token 序列。

2.2 架构与解码

该框架扩展了标准的自回归解码接口：

算子调用： 模型的词表通过与这三种算子相对应的特殊 Token ( $u_g, u_s, u_p$ ) 进行了扩展。在每个解码步骤，模型会在生成可见文本 Token 或调用其中一种类型化算子之间做出选择。
潜性合成 (Latent Synthesis)： 当调用算子时，潜性合成模块会生成一系列潜性 Token。该模块通过在骨干网络中添加 LoRA (低秩自适应) 层（保持原始参数冻结），并利用特定于算子的查询 Token 和投影头，来合成与 LLM 输入嵌入空间兼容的 Token。
上下文整合： 合成的潜性 Token 会作为“静默”计算附加到上下文中，引导随后的可见解码，而不会暴露给用户。

2.3 两阶段训练流程

TYLER 通过两个截然不同的阶段进行训练：

第一阶段 (潜性合成优化)： 冻结骨干 LLM。对潜性合成模型及特定于算子的组件（查询 Token、投影头）进行优化。模型学习合成能够有效支持下一个可见 Token 预测的潜性 Token。基于 CoT 数据结构（例如答案起始点、步骤边界、代码块）的启发式规则被用于为训练轨迹中的特定位置分配算子类型。
第二阶段 (算子调用优化)： 冻结潜性合成参数。通过 LoRA 对骨干 LLM 进行微调，以学习一种具备预算意识的算子调用策略。此阶段使用群体相对策略优化 (GRPO)。奖励函数结合了任务性能以及针对超过预设潜性调用预算 ( $B_O$ ) 的惩罚。此外，引入了算子锚定辅助目标 (operator-anchored auxiliary objective) 以稳定在稀疏调用位置的学习，确保策略能够学习选择正确的算子类型和时机。

3. 核心贡献

本文概述了三个主要贡献：

形式化定义： 它将潜性推理形式化为一个在线、类型化且受预算控制的计算问题，使 LLM 能够学习何时调用潜性计算、执行哪种操作以及分配多少预算。
框架 (TYLER)： 它引入了一个框架，将可见解码与三种类型化的潜性算子（全局定向、状态更新、程序化抽象）交织在一起，从而在潜性空间中实现差异化的功能角色。
实证验证： 广泛的实验表明，TYLER 在性能上优于强大的基准模型，在多种推理领域（数学、科学、定理）具有泛化能力，并且与现有方法相比，表现出更优越的持续适应能力和更低的遗忘率。

4. 实验结果

实验在三个骨干模型（Qwen2.5-1.5B, SmolLM3-3B, Qwen3-4B）上针对四个基准测试（GSM8K, MATH-500, GPQA-Diamond, TheoremQA）进行。

性能提升： TYLER 实现了持续的改进。在 SmolLM3-3B 上，其平均准确率比 CoT 高出 14.49 个百分点，比最强的基准模型 (MemGen) 高出 4.30 个百分点。在 Qwen3-4B 上，其比 CoT 高出 9.22 个百分点，比之前的最强基准 (GRPO) 高出 3.13 个百分点。
跨领域泛化： 尽管主要在数学轨迹 (OpenR1-Math) 上进行训练，但 TYLER 在科学 (GPQA) 和面向定理 (TheoremQA) 的推理中也表现出了有效的泛化能力，这表明学习到的潜性算子可以跨领域迁移。
持续学习： 在顺序适应设置中 (代码 $\to$ 科学 $\to$ 数学 $\to$ 定理)，TYLER 实现了最高的最终性能以及最低的遗忘分数 ( $F=2.3$ )，优于 SFT、GRPO 和 MemGen。这表明其具有更好的稳定性-塑性权衡。
消融实验：
- 移除“类型化”特性（共享算子）或交换算子角色会导致性能显著下降，证实了功能差异化的必要性。
- 随机或固定的调用计划表现不如学习到的策略，证明了自适应路由的价值。
- “算子锚定”损失对于在稀疏调用场景下稳定性能至关重要。
效率： 与 CoT 和其他潜性基准相比，TYLER 以更低的延迟和更少的总 Token 数实现了更高的准确率。当潜性预算增加到 5 次调用以上时，收益递减。

5. 意义与主张

论文声称，TYLER 代表了一种范式转变：不再仅仅将潜性推理视为 CoT 的压缩形式，而是将其视为一种计算机制，允许模型在可见解码与静默、专门化计算之间进行选择。

功能专业化： 结果表明，潜性算子可以获得截然不同的功能角色（规划、状态跟踪、抽象），而不是坍缩为同质化的表示。
自适应资源分配： 该框架成功证明了 LLM 可以根据任务难度和推理阶段，动态地分配其内部计算预算，而不是依赖于僵化的调度或外部触发器。
鲁棒性： 该方法展示了其鲁棒性，即使在训练数据为特定领域（数学）而评估为多领域的情况下，仍能保持性能增益。

作者指出了局限性，包括第一阶段对启发式边界监督的依赖、目前主要在带有验证器风格评估的推理基准上进行评估，以及与显式 CoT 相比，“静默”推理的可审计性降低。他们将 TYLER 定位为一项朝着可控潜性计算迈进的研究贡献，而非一个已部署的系统。