💬 NLP

CoLT: Reasoning with Chain of Latent Tool Calls

该论文提出了 CoLT，一种通过生成种子标记（seed tokens）来触发外部模型将其解压为完整推理步骤的新型框架，从而在无需模型结构增强或穷举训练的情况下，提升大语言模型的推理效率，并实现更高的准确率和更短的推理长度。

原作者： Fangwei Zhu, Zhifang Sui

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Fangwei Zhu, Zhifang Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但非常忙碌的大厨（即大语言模型），他正试图解决一个复杂的数学问题。通常情况下，为了解决这个问题，大厨必须把思考的每一个步骤都逐字逐句地写在长长的纸上。这被称为“思维链”（Chain-of-Thought）。这种方法效果很好，但写下并阅读所有这些文字需要很长时间，使得过程变得缓慢且昂贵。

一些研究人员尝试通过告诉大厨只需在脑海中“静默思考”而不写下任何东西来加速这一过程。但这就像是要求大厨在没有任何笔记的情况下记住一整份食谱；这很难做到，通常需要重构大厨的大脑（改变模型的结构），而且大厨有时会忘记步骤或感到困惑。

CoLT（潜变量工具链）登场了。

Co-LT 是一种聪明的新方法，能帮助大厨在不丢失解释工作能力的前提下快速思考。以下是它的工作原理，使用了一个简单的类比：

“秘密笔记”系统

大厨不再写下一整段推理，而是写下一个微小的、秘密的笔记（称为“种子标记/seed token”）。

笔记： 这个笔记仅由几个特殊的符号组成。它看起来不像是一个句子，但它将一整步推理的全部“风味”和信息压缩成了一个微小的包裹。
解码器（翻译官）： 当大厨写下这个秘密笔记时，他会按响一个铃铛。一个敏捷的小助手（“解码器”）听到铃声，抓取这个秘密笔记，并瞬间将其翻译回完整、可读的句子。
循环： 大厨阅读翻译后的句子，将它们添加到自己的工作中，然后为下一步编写下一个秘密笔记。

为什么这种方法更好？

速度： 写下一个秘密笔记比写一段完整的段落要快得多。大厨花在“打字”上的时间更少，用于解决问题的效率更高。
清晰度： 与那些让推理永远隐藏起来的“静默思考”方法不同，CoLT 会将笔记重新翻译成平实的文本。因此，在一天结束时，你仍然拥有一段清晰、可读的故事，讲述了问题是如何被解决的。大厨并没有失去说话的能力，他只是学会了一种速记法。
无需重构： 你不需要重构大厨的大脑。你只需要添加一个小助手（解码器），他知道如何翻译这些笔记。主厨保持原样，完全不变。

“工具调用”的魔力

论文称之为“工具调用”（Tool Call）。这就像是大厨说：“这一步我需要一位翻译！”

大厨生成一个特殊的触发标记（类似于按下按钮）。
系统根据那个按钮选择合适的翻译器（解码器）。
翻译器将按钮内隐藏的“思想”拆解并展开成文字。

他们发现了什么？

研究人员在数学问题（如小学应用题）上测试了该方法。

更快： “秘密笔记”方法产生的推理链比写出所有内容更短，也比其他“静默思考”方法更快。
更聪明： 它实际上比其他快捷方法获得了更高的分数（更高的准确率）。
更灵活： 他们尝试了不同类型的“翻译器”（有些简单，有些复杂）。表现最好的翻译器是主厨大脑的小型、快速版本（Transformer），但即使是更简单的翻译器效果也不错。
学习： 他们甚至教授系统使用一种名为“强化学习”的技术来从错误中学习。系统可以尝试不同的路径，获得反馈，并变得在解决难题时更加出色。

总结

CoLT 就像是给一位超级聪明的 AI 一种速记语言。它允许 AI 将其思考压缩成微小、高效的数据包，让一个助手立即将其拆解，然后继续工作。它保留了“静默思考”的速度，同时保留了“写下所有内容”的清晰度，而且无需从头开始重构 AI 的大脑。

技术摘要：CoLT —— 基于潜层工具调用的推理

问题陈述

思维链（Chain-of-Thought, CoT）提示词已被证明对于增强大语言模型（LLM）的推理能力至关重要，它通过将复杂问题分解为连续的步骤来实现。然而，显式的 CoT 需要逐个 token 地生成推理链，这导致了推理过程中的高计算成本。虽然目前已有一些隐式 CoT 方法（如 COCONUT、CODI、COLAR）被提出，旨在在连续的潜空间（latent space）中进行推理以减少 token 长度，但它们通常面临两个关键局限性：

结构僵化： 它们通常需要对模型架构进行重大修改和详尽的训练。
适用性： 这些约束限制了它们在不同任务和模型结构中的广泛采用。

此外，现有的潜层推理方法通常完全在“黑盒”潜空间中运行，这可能会牺牲基础模型的解释性和预训练的推理能力。

方法论：CoLT 框架

作者提出了 CoLT (Chain-of-Latent-Tools)，这是一个将潜层推理实现为“参数化工具调用”的新颖框架。CoLT 并不让模型完全在潜空间内进行推理，而是允许主 LLM 在显式的 token 空间中运行，同时将推理步骤的展开任务卸载给外部的可微解码器（differentiable decoders）。

核心机制

种子 Token 与潜层工具调用：
在推理过程中，主 LLM 会生成特殊的“种子 Token”来代表压缩后的推理步骤。这些由以下部分组成：
- 主体 Token (<BDY>)： 携带包含该推理步骤压缩信息的潜层嵌入（embeddings）的载体。
- 触发 Token (<TRG>)： 用于指示潜层工具调用的结束，并指定要调用的外部解码器。
一个典型的潜层工具调用序列如下：[问题] [前序步骤] <BDY> ... <TRG>。
可微解码：
当触发 Token 被唤起时，种子 Token 的隐藏状态会被提取并传递给外部的可微解码器（例如轻量级 Transformer、RNN 或 Multi-hot 解码器）。
- 解码器将隐藏状态重新解包为完整的、显式的文本 token（例如数学等式）。
- 这些解码后的 token 会被拼接至上下文，随后主 LLM 使用更新后的、可读的上下文继续进行自回归生成。
训练目标：
该框架使用两个监督损失组件进行端到端训练：
- 主损失 ( $L_{main}$ )： 确保主模型能够正确生成种子 token 和触发信号。
- 潜层损失 ( $L_{lat}$ )： 确保解码器能够从种子嵌入中正确重建文本 token。
- 总损失： $L_{sup} = L_{main} + L_{lat}$ 。
强化学习 (RL) 兼容性：
由于解码器是可微的且支持采样，整个推理过程可以被建模为多轮对话。这使得应用群体相对策略优化（GRPO）成为可能，从而探索多样化的推理路径，并在无需手动注入噪声的情况下强化正确的推理链。

核心贡献

新颖框架： CoLT 引入了一种将潜层推理实现为工具调用的方法，使主模型能够在预训练的文本空间中进行推理，同时将中间步骤压缩进种子 token 中。
解码器灵活性： 作者设计并评估了多种解码器结构（Transformer、RNN、Multi-hot），证明了虽然 Transformer 表现最佳，但该框架能够适配不同的形式。
效率与性能： 与基准潜层模型相比，CoLT 实现了更高的准确率和更短的推理长度，且所需的训练轮数更少，结构修改也更小。
RL 集成： 研究表明该框架与强化学习算法兼容，能够通过探索在困难数据集上获得性能提升。

实验结果

作者在四个数学推理基准测试上评估了 CoLT：GSM8k、GSM8k-hard、SVAMP 和 MultiArith。

准确率 vs. 长度： CoLT 在准确率和推理链长度方面均优于现有的潜层推理基准模型（包括 COCONUT、CODI、COLAR 和 SIM-CoT）。例如，在 GSM8k-Aug 上，CoLT 的准确率比 COLAR (2x) 高出 5%，同时将推理 token 长度从 12.7 缩减至 7.73。
泛化能力： 模型展示了强大的领域外泛化能力，特别是在 MultiArith 数据集上，其表现超过了监督 CoT 基准。
消融实验：
- 解码器层数： 增加解码器层数和种子 token 长度可以提高准确率，但相对于计算成本而言收益递减。
- 解码器结构： Transformer 解码器的表现最好，其次是 RNN。Multi-hot 解码器表现较差，这表明循环结构更适合解包打包的种子信息。
强化学习： 将 GRPO 应用于 GSM8k-Aug 和 MATH 数据集上的 CoLT 模型（使用 DeepSeek-R1-Distill-Qwen-1.5B），进一步提升了性能，证明了该框架通过探索学习多样化推理路径的能力。

重要性与主张

论文声称 Co-LT 提供了一种平衡推理效率与模型能力的实用解决方案。通过将主模型锚定在预训练的文本空间，并利用外部解码器处理“潜层”展开，CoLT 在显著降低推理成本的同时，保留了推理链的可解释性（最终输出是完全文本化的）。

作者强调，CoLT 对原始模型结构的修改极小，这使其比那些需要重度架构修改的以往潜层推理方法具有更广泛的适用性。此外，该框架与强化学习的兼容性为将潜层推理扩展到更复杂任务提供了路径，前提是需要针对特定领域对工具调用的粒度和解码器结构进行适当调整。论文最后指出，虽然目前侧重于数学推理，但“潜层工具调用”的概念在包括实体检索和多模态推理在内的更广泛领域中具有潜在的应用价值。