💬 NLP

UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs

UniVLR 为多模态大语言模型引入了一种统一的视觉潜在推理框架，该框架将文本推理轨迹与视觉证据压缩为紧凑的视觉令牌，从而实现高效且无需文本的推理，其性能优于现有的交错式方法。

原作者： Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于UniVLR论文的解释，使用通俗易懂的类比语言进行翻译。

核心难题：AI 思维的“杂乱书桌”

想象你正在尝试解决一个复杂的谜题，比如涉及图表或高分辨率地图的棘手数学问题。

当前的 AI 模型（多模态大语言模型）试图通过“自言自语”来解决这个问题。它们查看图片，写下一句思考的话，再次查看图片，再写下另一句话，如此循环往复。

类比：这就像试图在笔记本（文本）和白板（图像）之间不断切换来解谜。你写下一条笔记，看一眼白板，再写下一条笔记，再看一眼。
问题所在：这既缓慢又混乱。AI 花费大量时间写下长长的“思考”句子，而这些句子它实际上并不需要读给自己听。这就像你只需要几张快速草图，却背着一大堆沉重的笔记背包。

解决方案：UniVLR（“统一画板”）

UniVLR背后的研究人员提出了一个简单的问题：我们为什么非要把思考过程写成文字呢？难道不能直接用图像来思考吗？

他们创建了一个新系统，AI 不再通过写句子来思考。相反，它绘制单一、统一的草图，其中包含了问题和解决步骤。

工作原理（创意类比）

想象 AI 拥有一个数字画板。

旧方法（交错式）：AI 查看图表，写下“步骤 1：查看红色柱状图”，然后画出该柱状图。接着它写下“步骤 2：与蓝色柱状图比较”，然后画出蓝色柱状图。它不断在写文字和画图之间切换。
UniVLR 方法（统一式）：AI 将图表、文本指令以及关于“要看什么”的“思考”，全部融合成一张单一图像。
- 它将文本思考转化为视觉图表（如流程图或高亮图像）。
- 将其与原始图片结合。
- 现在，AI 拥有了一张包含所有信息的主图像。

“魔法”步骤：压缩草图

一旦 AI 拥有了这张“主图像”（包含原始照片 + 文本思考 + 注释），它就不需要保留整张图像。

压缩：AI 学会将整个“主图像”缩小为一个微小的、不可见的思维快照。
比喻：想象你读了一本 100 页的漫画书，然后将其折叠，直到它能装进一个火柴盒里。
结果：AI 在脑海中持有这个“火柴盒”（称为视觉潜在令牌）。它不需要写出那 100 页的文字。它只需持有整个思考过程的压缩版“火柴盒”。

为什么这更好？

该论文声称，这种新方法在三个方面是巨大的升级：

速度更快（效率）：
- 旧方法：AI 必须生成数百个单词的文字来解释其思考过程。
- UniVLR 方法：AI 生成一个微小的、不可见的“火柴盒”（约 12 个令牌），而不是数百个单词。这就像为了表达同一个观点，发送一条短信与写一本小说的区别。
- 结果：在思考所需的“步骤”数量上，AI 解决问题的速度快了 15 倍。
注意力更集中（专注度）：
- 旧方法：由于 AI 在文本和图像之间切换，当它忙于写文字时，有时会忘记查看图片中的重要部分。
- UniVLR 方法：由于所有内容都在同一张“画布”上，AI 的注意力就像一束聚光灯，始终固定在整张图片上。它不会因切换频道而分心。
更聪明（准确性）：
- 尽管使用的“步骤”（令牌）更少，但论文显示，UniVLR 在困难的视觉推理测试（如阅读复杂图表或在高分辨率照片中查找细节）中，实际上比那些生成长文本链的旧方法获得了更高的分数。

训练过程（他们如何教导 AI）

研究人员并没有只是告诉 AI 停止写作；他们首先教导它如何用图像思考。

第一阶段：他们向 AI 展示图片，并教导它生成与图片相匹配的“思维快照”（潜在令牌）。
第二阶段：他们将 AI 写下的思考转化为图像（如文本的截图），并将其与原始图片结合。然后，他们教导 AI 将这种结合后的图像压缩成思维快照。
回报：现在，当 AI 遇到新问题时，它会完全跳过写作部分。它只需创建思维快照，思考片刻，然后输出最终答案。

总结

UniVLR就像教导 AI 停止在日记中记笔记，转而开始用思维快照进行思考。

之前：“看那条红线。写下‘红线很高’。看那条蓝线。写下‘蓝线很低’……"（缓慢、冗长）。
UniVLR：“在我的脑海中看到整张图表，红线和蓝线已被高亮显示。我明白了。”（快速、高效且准确）。

该论文证明，通过将文本和视觉统一到一个单一的视觉“工作空间”中，AI 可以在不需要为自己写出长篇解释的情况下，思考得更快、更有效。

技术摘要：UniVLR

问题陈述

多模态大语言模型（MLLMs）日益被期望能够“借助图像进行思考”，特别是在几何问题求解和高分辨率视觉理解等重度感知场景中。当前的视觉推理方法通常分为两类，但两者均存在局限性：

基于工具的视觉推理：这些方法将显式的文本思维链（CoT）与外部生成的辅助图像（如裁剪图、草图）交错使用。虽然有效，但此类范式受限于预定义工具的僵化性、外部调用带来的延迟以及生成图像的不稳定性。
现有的视觉潜在推理：为避免使用外部工具，近期方法通过自回归方式生成潜在视觉令牌。然而，大多数现有方法仍采用交错设计，在显式文本 CoT 与潜在视觉令牌之间交替。作者指出了该设计的两个关键缺陷：
- 低效性：交错范式在视觉潜在步骤之间仍需完整的显式文本片段，与标准的基于文本的 CoT 相比，未能显著降低生成成本。
- 注意力碎片化：由于文本和潜在令牌以异构形式出现，模型往往依赖邻近的文本令牌，而无法持续关注早期的辅助图像。分析表明，后续的 CoT 令牌对辅助图像表现出稀疏且弥散的注意力，意味着视觉证据未完全融入推理过程。

核心问题在于：显式文本 CoT 是否必须保持为独立的推理通道，或者它能否与辅助图像一起，在一个共享的感知工作空间中被可视化和组织。

方法论：UniVLR

作者提出了UniVLR（统一视觉潜在推理），这是一个将文本推理和辅助视觉证据视为共享视觉工作空间的框架。UniVLR 不再将文本 CoT 保留为独立的推理时路径，而是将推理轨迹和辅助图像渲染到统一的视觉画布上，将该表示压缩为紧凑的视觉潜在令牌，并在推理时仅通过这些潜在令牌进行推理。

1. 统一视觉画布渲染

UniVLR 使用渲染函数 $\Phi(\cdot)$ 将异构的推理轨迹转换为单一的视觉表示：

构建：对于包含文本推理 $R$ 和辅助图像 $U$ 的训练实例，该函数将它们组合成统一的画布 $c = \Phi(R, U)$ 。
自适应渲染：系统应用轻量级策略以确保紧凑性和可读性。文本采用自适应字体大小和换行进行渲染，而辅助图像则经过调整大小并辅以视觉提示（如方框、箭头）进行高亮。
目标提取：统一画布由基础 MLLM 的视觉编码器处理以提取 2D 特征图。该特征图随后通过自适应池化（使用感知长宽比的 2D 池化）被池化为固定长度的潜在目标序列 $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$ 。

2. 两阶段潜在对齐

模型通过两阶段课程训练，使其内部状态与这些统一视觉表示对齐：

阶段 I：视觉潜在 grounding：模型仅使用辅助视觉图像作为对齐目标，训练其自回归生成连续潜在令牌。这建立了 MLLM 与视觉嵌入空间之间的基本连续推理接口。
阶段 II：文本 - 视觉统一对齐：模型使用统一画布目标（包含渲染后的文本和辅助图像）进行微调。此阶段教导模型通过相同的潜在视觉通道来表示显式推理轨迹和视觉证据。
目标：训练目标结合了标准语言建模（用于最终答案和控制令牌）与归一化回归损失（ $L_{align}$ ），后者将预测的潜在令牌与目标视觉嵌入对齐。该损失包含均方误差（MSE）和余弦相似度分量。

3. 连续自回归推理

在推理时，渲染函数、视觉编码器和教师目标被丢弃。模型按以下方式运行：

接收原始多模态提示 $(Q, I)$ 。
生成 <|univlr_start|> 令牌后，切换至潜在推理模式。
自回归生成 $K$ 个连续视觉潜在令牌，将每个预测的令牌反馈作为下一步的输入。
生成 <|univlr_end|> 后，切换回离散词表以解码最终的自然语言答案。
关键在于，推理阶段不生成任何显式的中间文本 CoT。

主要贡献

统一范式：UniVLR 引入了一种范式，将文本推理和辅助视觉证据统一到一个单一的视觉潜在通道中，消除了对交错文本和潜在令牌的需求。
高效性：通过移除推理过程中的显式文本生成，UniVLR 在保持或提高推理准确性的同时，显著减少了生成的令牌数量。
改进的注意力：与交错设计相比，统一设计诱导了对辅助图像更密集、更集中的注意力，因为模型通过相同的视觉路径处理所有推理证据。
两阶段训练：所提出的课程（先 grounding 后统一）稳定了连续潜在推理的学习，防止了表示崩溃。

实验结果

实验在现实世界的感知和推理基准（V*、HRBench4K/8K、MME-RealWorld-Lite）上进行，使用 Qwen2.5-VL-7B 作为基础模型。

性能：UniVLR 优于先前的视觉潜在推理方法（Monet、LVR、SkiLa、CoVT）和文本推理基线。平均而言，与最佳基线相比，其推理准确率提高了 5.4%。
效率：UniVLR 在大幅减少生成令牌数量的同时实现了这些提升。与交错方法相比，它将生成的推理令牌数量减少了 15.2 倍（仅使用 12 个潜在令牌，而交错方法使用 190–270 个文本令牌）。
潜在表示分析：
- 视觉 Grounding：UniVLR 潜在令牌的隐藏状态分布与图像令牌表示的吻合度高于文本令牌表示，证实模型使用了视觉 grounded 的通道。
- 信息含量：扰动分析（将潜在状态置零或添加噪声）导致准确率显著下降，证明潜在令牌携带了任务相关的推理信息，而非仅仅是占位符。
消融研究：
- 渲染策略：垂直布局渲染和自适应换行被发现对于处理复杂逻辑至关重要。
- 数据过滤：严格过滤训练数据（移除无需视觉推理即可解决的样本或目标噪声较大的样本）对于稳定的阶段 II 训练至关重要。
- 教师强制：在训练期间进行全潜在教师强制比课程采样产生了更好的结果，表明在此连续设置中，稳定潜在流形比减少暴露偏差更为重要。
泛化性：UniVLR 在通用多模态任务（TextVQA、POPE、MME-translation）上未表现出灾难性遗忘，实际上还提升了物体幻觉（POPE）和富文本图像理解（TextVQA）的性能。

意义与主张

该论文声称，UniVLR 将视觉潜在推理推向了一种更统一、更高效的多模态思维范式。通过证明显式文本 CoT 可以被吸收进统一的视觉潜在通道，该工作表明 MLLM 可以在没有冗长文本生成或外部工具调用开销的情况下执行复杂的多步推理。

作者强调，虽然该方法提高了效率和性能，但也存在权衡：潜在推理过程不如显式文本 CoT 那样易于直接检查，这可能使调试和审计更具挑战性。此外，该方法依赖于视觉编码器的 OCR 和布局理解能力。该工作将 UniVLR 定位为并非替代需要精确测量或 exhaustive search 的任务中的基于工具的推理，而是朝着在紧凑、统一的潜在空间内内化视觉审议迈出的重要一步。