💬 NLP

Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space

本文提出了交错式视觉-文本潜空间推理（Interleaved Vision-Text Latent Reasoning, IVT-LR），这是一种通过将隐式视觉和文本信息注入潜空间，以实现高效、轻标注的多模态推理的新型框架，与现有的显式方法相比，在准确率和推理速度方面均取得了显著提升。

原作者： Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个复杂的谜题，比如一个既包含图片又包含句子的棘手谜题。

旧方法：“说出来”法
目前，大多数智能 AI 模型通过“大声思考”来解决这些谜题。它们观察图片，然后写下一长串句子来解释它们看到了什么，接着再次观察图片，再写更多的句子，最后才给出答案。

问题所在： 这就像是在写下最终数字之前，必须把每一个数学步骤都写进日记里一样。这非常耗时（慢），需要人工编写成千上万个这样的“日记”来教导 AI（昂贵的人力成本），而且 AI 为了达到目的，必须阅读并写下所有的文字。

新方法：“在黑暗中推理”（IVT-LR）
这篇论文介绍了一种名为 IVT-LR（交织视觉-文本潜空间推理）的新方法。你可以把它想象成 AI 正在学习如何在脑海中默默思考。

与其写下它的想法，不如让 AI 将其推理过程完全保留在自己的“大脑”中（潜空间内）。它在思考时不会生成文字或图像。它只是在内部处理信息。

以下是这种新方法的工作原理，使用了一个简单的类比：

1. “幽灵”与“聚光灯”

在旧方法中，AI 必须用文字描述图片。而在这种新方法中，AI 使用两种无形的工具来进行思考：

幽灵（潜空间文本）： AI 不再写下“我看到一个红色的球”，而是保留着它上一个想法的“幽灵”。这是一个隐藏的信号，承载着它刚刚思考的逻辑，而无需将其大声说出来。
聚光灯（潜空间视觉）： AI 不会描述整张图片，而是使用一个心理聚光灯。它快速扫描图像，并只挑选出对当前思考步骤最重要的微小部分（比如图表中的特定部分）进行聚焦。

2. “无声的对话”

AI 将这两种无形工具混合在一起。它获取上一个想法的“幽灵”，并将其与图像中最重要部分的“聚光灯”结合起来。它分步骤地进行这一切，完全在黑暗中进行（不生成任何可见的文本或图像），直到准备好喊出最终答案。

3. 训练：学习如何低声细语

你如何教导一个 AI 进行无声的思考？你不能只是告诉它停止说话；它需要学会如何做到这一点。
作者使用了一种渐进式训练策略，这就像教孩子游泳一样：

阶段 1： AI 学习通过“大声说话”（写出所有步骤）来解决谜题。
阶段 2： 老师说：“好了，对于第一步，不要写下来。直接在心里想。”
阶段 3 & 4： 老师逐渐要求 AI 停止写下越来越多的步骤，用无声的思考来代替，直到 AI 能够在脑海中解决整个谜题，并且只说出最终答案。

为什么这意义重大？
该论文声称这种方法在三个方面实现了巨大的升级：

速度： 因为 AI 不再浪费时间写出长篇大论的解释，它的解题速度提升了 5 倍。
更聪明的思考： 它可以更自然地在“大脑”中混合图片和文字，而不是被迫将图片转化为笨拙的文字。
更少的工作量： 你不需要人类去编写成千上万个详细的“思考过程”来教导 AI。AI 会自发学习如何进行无声思考。

测试结果
当他们在困难的科学和逻辑谜题（使用 M3CoT 和 ScienceQA 数据集）上测试该方法时，这种新方法得到了更多正确的答案（提高了约 5%），并且比旧的“说出来”方法快得多。

简而言之： 这篇论文教导 AI 停止“叙述”它的想法，开始在脑海中“思考”，通过结合隐藏的逻辑和专注的视觉注意力，使其变得更快、更聪明且训练成本更低。

技术摘要：暗处推理：潜空间中的视觉-文本交织推理 (IVT-LR)

问题陈述

当前的多模态大语言模型（MLLMs）推理方法在标注成本和推理效率方面面临显著局限。现有方法通常分为两类：

仅文本推理： MLLMs 在生成答案之前，仅使用纯文本逻辑进行推理。虽然这种方法有效，但在中间思维过程中往往无法充分利用视觉信息。
视觉-文本参与的推理： 这些方法将视觉信息与文本逻辑交织在一起（例如，生成图像块、放大特定区域或绘制草图）。虽然这提升了处理复杂任务的性能，但高度依赖于劳动密集型的视觉-文本标注，并且由于需要生成长链式的显式标记（tokens），引入了显著的推理延迟。

作者指出，需要一种既能保留多模态推理优势（整合视觉和文本线索），又能消除显式中间生成开销的新范式。

方法论：交织视觉-文本潜空间推理 (IVT-LR)

本文提出了 IVT-LR，该框架使 MLLMs 能够在完全处于潜空间（latent space）中进行推理，在不生成显式中间标记的情况下，实现视觉与文本模态的交织。

核心机制

在 IVT-LR 中，每个推理步骤由一个由两个隐式部分组成的多元化潜向量表示：

潜文本 (Latent Text)： 模型不再为前一步生成显式的文本标记，而是使用前一层中的隐藏状态 ( $h_{t-1}$ ) 作为当前步的输入。这在连续空间中保留了丰富的中间推理逻辑。
潜视觉 (Latent Vision)： 为了动态结合视觉上下文，模型根据注意力分数选择固定数量 ( $k$ ) 的图像嵌入（embeddings）。具体而言，通过计算所有层中注意力权重的总和，来识别出最相关的 $k$ 个图像嵌入。这些被选中的嵌入与潜文本隐藏状态进行拼接。

模型融合这些组件（ $[h_{t-1}, z_{selected}]$ ）以计算下一个标记的分布，从而有效地进行逐步推理，而无需输出中间文本或图像。

训练策略

为了使 MLLMs 能够适应这种潜空间推理范式，作者引入了一种渐进式多阶段训练策略：

阶段 0： 模型使用标准的思维链（CoT）监督进行训练，其中所有的推理步骤都是显式生成的。
渐进式替换： 在随后的 $N$ 个阶段中，模型逐渐用潜推理步骤（用特殊的 <latent> 标记表示）替换显式推理步骤。在每个阶段，都会增加一个显式步骤被替换为潜步骤。
损失函数： 训练使用负对数似然（NLL）损失。至关重要的是，监督仅应用于剩余的显式推理步骤和最终答案。潜推理步骤和问题标记会被掩码（mask out）处理。这防止了模型被迫遵循与显式逻辑严格对齐的线性路径，使其能够在潜空间内内化推理轨迹，同时仍被驱动向正确的最终预测。

推理过程

在推理期间，模型在问题和图像输入之后附加固定数量的 <latent> 标记。推理过程完全在潜空间内发生，在产生最终答案之前不会生成任何中间显式标记。

核心贡献

首个统一的多模态潜空间推理框架： IVT-LR 是第一个将文本和视觉表示完全统一在潜空间中的方法，消除了对中间显式文本或图像生成的依赖。
数据与计算效率： 该方法引入了一种不需要为中间视觉推理步骤进行显式标注的训练范式。通过在潜空间中进行推理，它大幅减少了推理所需的自回归步骤。
达到最先进水平的性能 (SOTA)： 该方法在挑战性基准测试中实现了新的准确率领先地位，同时显著提高了推理效率（以更少的自回归步骤和更低的延迟衡量）。

实验结果

作者在两个基准测试上评估了 IVT-LR：M3CoT（多模态思维链）和 ScienceQA。实验使用了 Qwen2-VL-7B 和 Chameleon-7B 作为骨干网络。

准确率： IVT-LR 的平均准确率相比现有方法提升了 5.45%。
- 在 M3CoT (Qwen2-VL) 上，IVT-LR 达到了 71.8% 的准确率，超过了之前的最优方法（Chain-of-Focus 的 64.3%）。
- 在 ScienceQA (Qwen2-VL) 上，它达到了 94.6% 的准确率，超越了 Chain-of-Focus (91.2%)。
效率： 该方法展示了比现有方法快 5 倍以上 的速度提升。
- 自回归步骤： IVT-LR 将平均自回归步骤减少到了 10.0 (M3CoT) 和 11.0 (ScienceQA)，而其他方法则为 73.9–185.7 步。
- 延迟： 平均生成时间显著下降（例如，在 M3CoT 使用 Qwen2-VL 时，从 2.63s 降至 0.65s）。

意义

论文声称 IVT-LR 代表了向“暗处推理 (Reasoning in the Dark)”的转变，即复杂的视觉与文本信息交互发生在模型的隐藏状态内部。通过将推理过程与显式、可观察的中间输出解耦，该方法解决了当前多模态推理系统中固有的标注强度高和推理延迟大的瓶颈。作者认为，这种方法释放了潜空间推理的潜力，使其能够比传统的基于标记生成的模式更高效地处理丰富的多模态信息。