💻 computer science

CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

CoLT 是一个通过将冗长的基于文本的思维链推理替换为高效的步级隐式思维表示，来增强多模态大语言模型的创新框架，该框架通过一种利用轻量级外部解码器进行双向监督、但在推理阶段将其移除的训练策略，实现了显著的推理加速和卓越的性能。

原作者： Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：CoLT——教导多模态模型进行“潜意识链式思考”

以下是使用简单语言和创意类比对论文《CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts》进行的解读。

问题所在：那个“话痨”机器人

想象你有一个聪明的机器人助手，它能看图并解决数学问题。为了得到正确答案，机器人需要先进行“思考”。

目前，大多数先进的机器人使用一种叫做**思维链（Chain-of-Thought, CoT）**的方法。这就像机器人在大声对自己说话。在给出最终答案之前，它会写下一段长长的、逐步叙述的故事：“首先，我看到一个三角形。然后，我注意到这条线长5英寸。接下来，我应用勾股定理……”

虽然这种方法很有效，但有两个明显的缺点：

速度慢： 机器人必须打出思考过程中的每一个字。如果思考过程很长，就会消耗大量的时间和计算资源。
过于僵化： 一旦机器人写下一个词，它就被困在了特定的句子中。它无法轻易改变主意或探索不同的路径，除非重新改写整个故事。

解决方案：CoLT（潜意识链式思考）

论文作者提出了一种教导这些机器人思考的新方法，称为 CoLT。

CoLT 不再让机器人写出一个长篇故事，而是教机器人进行无声的、隐形的低语（称为“潜意识想法/Latent Thoughts”）。想象一下，机器人正在用一种只有它自己能理解的秘密代码进行复杂的内部对话。它不需要写下步骤，只需将想法保持在它的“大脑”（其内部计算机内存）中，然后直接跳到答案。

类比：

旧方法（文本 CoT）： 像一名学生在解数学题时，把每一个步骤都写在纸上。虽然清晰，但写起来很慢。
CoLT： 像一位国际象棋大师观察棋盘。他们不会把走法说出来，而是瞬间在脑海中构思出整个策略，然后直接落子。

挑战：“沉默”带来的难题

研究人员发现，如果你只是简单地告诉机器人“进行无声思考”，它往往会变得混乱。由于失去了文字结构的支撑，机器人的内部想法可能会变成乱码或毫无意义的噪音。这就像要求一个人在脑海中解谜题，却从不检查自己的逻辑是否合理。

解决方法：“秘密翻译官”

为了解决这个问题，作者构建了一个特殊的训练系统，配备了三位“教练”（监督信号），来教导机器人如何在沉默中正确思考：

正向教练（翻译官）： 这位教练观察机器人的无声想法，并尝试将其翻译回英语。如果机器人的想法是优秀的，教练就能轻松写出故事的下一步。如果教练无法翻译，机器人就知道它需要思考得更清晰。
反向教练（锚点）： 这位教练观察英文故事，并尝试将其转回机器人的无声想法。这确保了机器人的无声想法实际上是与真实的、逻辑性的想法相连的，而不仅仅是随机的数字。
内部教练（流向）： 这位教练检查机器人的想法是否在步骤之间逻辑连贯。它确保机器人不会在没有桥梁的情况下，从想法 A 随机跳到想法 Z。

最棒的部分在于： 这些教练只在机器人学习阶段使用。一旦机器人训练完成，教练就会被撤走。当机器人真正为你解决问题时，它直接使用其无声的想法。无需额外的翻译，也无需额外的步骤。

结果：又快又聪明

论文在八个不同的挑战性任务上测试了这种新方法，例如阅读图表、解决科学问题和理解图解。

速度： 因为机器人跳过了编写数千个单词的过程，仅使用 3 个“无声步骤”，因此整体速度提升了 10 倍，在思考阶段的速度提升了 22 倍，相比于旧的基于文本的方法。
准确度： 令之惊讶的是，机器人不仅变快了，还变得更聪明了。它超越了其他尝试使用“无声思考”的方法，甚至击败了那些需要额外昂贵图像辅助学习的方法。
鲁棒性（稳定性）： 当输入信息比较混乱时（例如模糊的图像或带有拼写错误的提问），这种无声思考方法比基于文本的方法要稳定得多。这就像耳语受背景噪音的影响，要比大声喊叫小得多。

总结

CoLT 是一种教导 AI 思考的新方式。它不再强迫 AI 写出一个冗长、缓慢的故事来解决问题，而是教导 AI 在自己的“大脑”中进行结构化、逻辑化的对话。通过使用特殊的训练工具来确保这些无声的想法具有逻辑性，AI 在解决复杂的视觉谜题时变得更快且更准确。

技术摘要：CoLT – 潜意识链 (Chain of Latent Thoughts)

1. 问题陈述

虽然思维链（CoT）推理显著增强了多模态大语言模型（MLLMs）在复杂视觉任务中的能力，但现有的基于文本的范式面临三个关键局限性：

推理延迟： 生成冗长的自然语言推理链是自回归且高度依赖 Token 的，通常会消耗数百甚至上千个 Token，这构成了推理过程中主要的计算瓶颈。
表达能力受限： 基于文本的推理本质上是确定性的。一旦推理步骤被提交给特定的自然语言形式，它就会将潜在解题轨迹的丰富分布坍缩为单一的表面实现，从而消除了其他的推理路径。
错误传播： 在早期推理步骤中产生的错误会通过后续步骤进行传播并累积，这种现象在长推理链中尤为严重。

现有的“潜意识推理”（在连续表示空间中进行推理）尝试在训练稳定性以及生成具有语义意义的向量方面遇到了困难。此外，近期依赖辅助图像进行监督的潜意识视觉推理方法引入了高昂的标注成本和可扩展性问题。

2. 方法论：CoLT 框架

作者提出了 CoLT (Chain of Latent Thoughts)，这是一个使 MLLM 能够通过潜意识思维表示（ $h_1, \dots, h_K$ ）而非冗长的文本 Token 进行推理的框架。该框架将标准的文本生成过程替换为 $K$ 个离散的潜意识步骤（其中 $K \ll L$ ，即文本 Token 的数量），在绕过文本生成瓶颈的同时，保留了在潜意识空间中的多路径探索能力。

为了解决训练稳定且有意义的潜意识推理的挑战，CoLT 引入了一个由三种互补机制组成的综合监督策略：

A. 潜意识思维表示

模型不再生成文本 Token，而是产生位于指定推理位置的隐藏状态向量。这些向量被反馈到语言模型中，作为后续步骤的输入嵌入，在不扩展词表的情况下保持了模型的自回归特性。

B. 外部解码器监督

一个轻量级的外部解码器（ $D_\phi$ ）与骨干模型共享相同的分词器和词表，提供两个方向的步级监督：

前向解码： 解码器接收前一个潜意识思维 $h_k$ 作为输入，并被训练用于解码下一个步骤的文本推理内容 ( $r_{k+1}$ )。这确保了潜意识思维编码了足以重建显式推理的信息。
后向解码： 解码器接收之前的文本推理步骤 ( $r_{k-1}$ ) 并生成与模型潜意识思维 $h_k$ 对齐的隐藏状态 ( $\tilde{h}_k$ )。这使潜意识空间锚定在显式推理链的语义结构之上。

C. 内部步级监督

一个轻量级的投影头 ( $f_\theta$ ) 鼓励连续潜意识步骤之间的连贯转换。它从当前步骤 ( $h_k$ ) 预测下一步的表示 ( $\hat{h}_{k+1}$ )，通过步对步的一致性来正则化潜意识链。

D. 训练目标

总损失函数结合了标准任务损失（生成最终答案）与三种监督信号：
$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$
训练分为两个阶段：

有监督微调 (SFT)： 使用结合了上述损失的 CoT 标注（来自 OneThinker 数据集）对骨干模型和解码器进行训练，以学习结构化的潜意识思维。
强化学习 (RL)： 在 CoT 样本上应用群体相对策略优化 (GRPO)。在此阶段，移除辅助解码器和内部监督，允许模型根据基于结果的奖励自由更新潜意识思维。

在推理期间，外部解码器和投影头会被丢弃，不会产生额外的计算开销。

3. 核心贡献

新颖框架： 引入了 CoLT，它教会 MLLM 通过潜意识向量而非文本 Token 进行推理，仅需 3 个步骤即可实现有效的推理。
稳定机制： 使用轻量级外部解码器（前向和后向模式）和内部预测构建了一个原则性的监督框架，以防止潜意识表示坍缩为无意义的语义。
标注效率： 与潜意识视觉推理方法不同，CoLT 完全在语言模型的潜意识空间内运行，不需要辅助图像标注或专门的编码器。
高效性： 该方法消除了在推理阶段生成冗长文本的需求，显著降低了推理时间。

4. 实验结果

实验使用 Qwen3-VL-8B 作为骨干模型，在八个不同的多模态基准测试（SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D, 和 MMT-Bench）上进行了评估。

性能： CoLT 优于现有的潜意识推理方法（如 CODI, SIM-CoT）和潜意识视觉推理方法（如 LVR）。具体而言，其平均准确率超过最强的潜意识基线 (SIM-CoT) +5.1%，超过最强的潜意识视觉基线 (LVR) +5.5%。
与文本 CoT 的比较： 与基于文本的 CoT 相比，CoLT 的平均准确率高出 +3.4%，在 ChartQA (+9.6%) 和 TextVQA (+6.1%) 上有显著提升。
效率： 与文本 CoT 方法相比，CoLT 将推理时间缩短了 10.1 倍，并将文本解码时间缩短了 22.6 倍，同时保持了更高的准确率。
鲁棒性： 在视觉噪声（高斯模糊、遮挡）和文本噪声（拼写错误、关键字符缺失）下，CoLT 展示了卓越的鲁棒性，其准确率下降程度明显低于直接回答 (Direct Answer) 和文本 CoT 基线。
消融研究：
- 所有三种监督信号（前向、后向、内部）都不是冗余的；全组合方案效果最佳。
- 一个轻量级的 0.6B 解码器足以进行有效的监督，更大的解码器带来的收益微乎其微。
- 最优的潜意识步骤数为 $K=3$ ；步骤过多会导致性能下降。

5. 重要性与主张

本文声称 CoLT 代表了多模态模型执行推理方式的一次根本性转变。通过从显式文本生成转向潜意识思维向量，CoLT 解决了文本 CoT 固有的低效和表达能力限制。作者强调，该方法在不牺牲（甚至提高）推理质量的前提下，实现了卓越的效率（高达 22.6 倍的加速）。

其重要性在于能够在一个既具有可解释性（通过前向解码可视化验证）又对输入噪声具有鲁棒性的连续空间中进行“思考”。该框架证明了复杂的视觉推理可以被内化为紧凑的潜意识表示，从而消除了对昂贵辅助标注的依赖以及逐 Token 生成带来的延迟。作者总结道，这种方法为开发能够高效进行推理的高智能智能体提供了一条可扩展的路径。