💻 computer science

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

该论文介绍了 LaViT，这是一个通过对齐潜在视觉思维（latent visual thoughts）和注意力轨迹（attention trajectories）而非静态嵌入来弥合多模态蒸馏中感知差距的框架，从而使紧凑型模型能够实现足以媲美大型专有系统的卓越视觉推理性能。

原作者： Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何破解谜题。在人工智能的世界里，有一种特殊的机器人叫做多模态大语言模型（MLLM）。把它们想象成超级聪明的侦探，它们可以同时阅读线索（文本）并观察犯罪现场的照片（图像）。长期以来，这些机器人非常擅长描述它们所看到的事物，但当涉及到“推理”——即弄清楚某事为什么会发生或解决棘手的谜题时——它们往往会陷入困境。它们会看着图片，然后停止观察，仅仅根据它们从书中读到的知识来猜测答案。这就像一个侦探看到了一个泥泞的脚印，却忽略了它，而是根据直觉猜测凶手是谁。

最近，科学家们发现了一个被称为“潜意识推理”（latent reasoning）的新技巧。这些机器人不再需要用文字写出思考的每一个步骤（就像写长篇日记一样），而是开始将它们的思想压缩成大脑内部看不见的、连续的“低语”。这更加快速且高效。但问题在于，当科学家尝试让较小、更便宜的机器人向更大、更聪明的机器人学习（这个过程被称为“蒸馏”）时，发生了一些奇怪的事情。这些小机器人学会了说出正确的词汇，但它们并没有真正看向图片的正确部分。它们只是在模仿老师的声音，而没有理解视觉线索。这篇名为 LaViT 的论文正是为了修复这种“言之有物，却视而不见”的断裂连接。

“看而不见”的巨大缺陷

开发 LaViT 的研究人员注意到了一种他们称之为**感知差距（Perception Gap）**的奇怪现象。想象一下，你有一位大师级厨师（“老师”模型）和一名年轻学徒（“学生”模型）。学徒看着厨师烹饪一道复杂的菜肴。如果你只是要求学徒写下食谱，他们可能会把文字写得完美无缺：“加入两杯面粉，搅拌三分钟。”但如果你要求他们实际动手操作，他们可能会把面粉倒在地上，因为他们从未真正观察过厨师的手部动作；他们只是背下了文字。

在 AI 世界中，研究人员发现，当他们训练小型模型去模仿大型模型的答案时，小型模型变得非常擅长“文本模仿”。它们可以产生正确的答案，比如“点 A 更近”，但它们的内部“眼睛”（视觉注意力）却在看向图像中完全无关的部分。它们依赖于语言技巧——基于常用短语进行猜测——而不是真正观察视觉证据。这就像一个学生通过背诵答案解析来通过考试，却根本没有理解课程内容。

解决方案：LaViT（潜意识视觉思维）

为了解决这个问题，团队创建了 LaViT，这是一个全新的训练框架，它强制要求学生机器人先进行“视觉思考”然后再开口说话。LaViT 不仅仅是复制最终答案，它会让学生首先生成一系列不可见的“思维标记”（thought tokens）。把这些标记想象成一种心理草图或一段无声的内心独白，机器人在心里对自己说：“好吧，在决定哪个点更近之前，我需要观察这里的阴影和那里的角度。”

LaViT 的魔力在于两个主要技巧：

对齐“内眼”： 该系统不仅检查学生的最终答案是否与老师匹配，它还会检查学生的“注视点”。它强制要求学生重建老师的视觉注意力图——即老师在图像上移动视线的特定路径。如果老师通过观察阴影来判断深度，那么学生也必须看向阴影，即使学生此时还没有说出一个字。
“感官门控”课程： 这是最有趣的部分。想象你在教别人骑自行车。如果你让他们立刻看到路面，他们可能只会顺着惯性滑行而永远学不会平衡。如果你完全蒙住他们的眼睛，他们会摔倒。LaViT 使用了一种“课程感官门控”（Curriculum Sensory Gating）机制。在训练开始时，它会部分遮挡学生直接观察图像的视野。它迫使学生完全依赖那些不可见的“思维标记”来解决问题。随着学生变得越来越好，“眼罩”会被慢慢揭开，允许他们重新看到图像，但此时他们已经学会了如何在内部处理视觉线索。这防止了机器人通过基于文本的猜测来走“捷径”。

他们的发现

结果令人惊讶地强大。研究人员测试了他们这个新的 30 亿参数模型（相对较小且紧凑），将其与更大的模型甚至一些最先进的商业模型进行了对比。

“小巨人”： 他们这个经过 LaViT 训练的 3B 微型模型，表现优于更大的 7B 模型，甚至在几项复杂的视觉推理任务上击败了著名的 GPT-4o。例如，在一项名为“相对深度”（判断哪个物体更近）的任务中，LaViT 得分为 78.23%，而 GPT-4o 得分为 64.52%。
修复幻觉： 研究表明，如果没有这种方法，模型在观察不够仔细时经常会产生“幻觉”（编造事实）。LaViT 显著减少了这种情况，将细粒度感知测试的表现提升了高达 +16.94%。
稳定性： 研究人员还发现，LaViT 不仅仅是在模仿老师，它实际上变得更加稳定。虽然庞大的老师模型有时会有“摇摆”的注视（对于相似的图像会看向略微不同的位置），但 LaViT 学生学会了以激光般的精准度进行聚焦，忽略背景噪音，并锁定关键细节。

为什么这很重要

这篇论文表明，让 AI 变得更聪明的秘诀不仅仅是让模型变得更大或喂给它们更多的数据。关键在于教它们如何观察。通过迫使 AI 将其内部的“视觉思维”与其最终的语言对齐，LaViT 创建了一个真正理解所见之物的模型，而不是仅仅猜测它应该说什么。这是“背诵地图的机器人”与“真正学会导航地形的机器人”之间的区别。作者提出，这种方法可能是构建强大 AI 的更高效途径，证明了一个经过良好训练的小型大脑往往能胜过一个庞大但分心的脑。

技术摘要：LaViT —— 对齐多模态推理中的潜在视觉思维

1. 问题陈述：感知差距 (The Perception Gap)

当前的视觉语言大模型（MLLMs）在推理能力方面取得了长足进步，通常利用显式的思维链（CoT）或潜在推理范式。然而，作者指出，将大型教师模型的视觉推理能力蒸馏到紧凑型学生模型的过程存在一个关键限制，即感知差距。

实证分析表明，传统的知识蒸馏方法（主要对齐最终文本输出或静态隐藏状态）无法迁移教师模型的内在视觉注意力动态。作者观察到：

缺乏视觉定位的文本模仿： 学生模型可以成功地复现教师的文本答案（学习“说什么”），但在关注的视觉区域上却与教师截然不同，甚至完全无关（未能学习“看哪里”）。
依赖语言先验： 当视觉注意力失配时，模型会依赖语言先验进行“盲猜”，从而在复杂的视觉任务中导致幻觉或不可靠的响应。
静态对齐的无效性： 对齐静态视觉嵌入或最终分布是不够的，因为这忽略了细粒度推理所需的动态视觉注意力轨迹。

核心问题在于，现有的蒸馏框架无法强制要求学生模型在生成响应之前，先重建教师的内部“视觉思维”（语义和注视轨迹）。

2. 方法论：LaViT 框架

为了弥合感知差距，作者提出了 LaViT（潜在视觉思维），这是一个旨在对齐潜在视觉思维而非静态嵌入的蒸馏框架。该方法由三个主要部分组成：

A. 数据构建：LaViT-SFT-15K

作者构建了一个包含 14,567 个样本的高质量数据集（LaViT-SFT-15K），该数据源自 Visual-CoT 数据集。数据经过严格的三阶段过滤流程：

正确性 (Correctness)： 验证样本以确保教师的推理能够导向正确答案。
难度 (Difficulty)： 剔除仅靠纯文本模型即可解决的样本，以确保需要真正的多模态推理。
对齐性 (Alignment)： 拒绝那些教师聚合注意力质量落在真实边界框内比例低于 20% 的样本，以排除非视觉定位的幻觉。

该数据集包含从教师模型（Qwen2.5-VL-32B）中提取的两种白盒信号：

动态视觉注视 ( $A_{traj}$ )： 跨层和跨头的聚合注意力轨迹，代表模型“看哪里”。
视觉语义 ( $V_{sem}$ )： 源自教师模型最后一层 Transformer 层的上下文视觉思维，代表模型针对查询对视觉内容“理解了什么”。

B. 白盒轨迹蒸馏

LaViT 引入了潜在教师强制 (Latent Teacher Forcing) 机制。学生模型不再是直接将输入映射到文本，而是被训练在生成文本响应之前，自回归地生成一系列 $K$ 个连续的潜在 Token ( $V$ )。这些潜在 Token 作为“视觉信息容器”，必须压缩教师的高维视觉语义和注视模式。

优化过程涉及双流蒸馏方案：

语义重建 ( $L_{concept}$ )： 使用余弦相似度，将学生的潜在隐藏状态与教师的整体视觉概念 ( $V_{sem}$ ) 进行对齐。
轨迹对齐 ( $L_{traj}$ )： 使用 KL 散度，将学生的注意力图与教师的注意力轨迹 ( $A_{traj}$ ) 进行对齐。至关重要的是，这种监督仅应用于最后一个潜在 Token，从而迫使前面的 Token 发挥压缩瓶颈的作用。

C. 课程感官门控 (Curriculum Sensory Gating)

为了防止模型通过直接关注图像块来绕过潜在瓶颈的“捷径学习”，作者引入了课程感官门控机制。该机制通过随时间变化的标量 $\gamma(t)$ 来调节直接视觉感知路径：

阶段 1（感官预热）： 直接视觉路径受到严格限制（近乎零的注意力偏差），创造了一个严格的潜在瓶颈。模型在数学上被迫将必要的视觉信息压缩进潜在 Token $V$ 中。
阶段 2（全观测）： 门控逐渐打开，允许模型通过残差连接关注细粒度的像素细节，这与推理时的拓扑结构相匹配，并防止训练与推理之间的分布偏移。

3. 核心贡献

识别感知差距： 本文提供了实证证据，证明蒸馏中的文本对齐并不保证视觉理解，强调了教师与学生之间注意力轨迹的差异。
潜在视觉思维对齐： LaViT 提出了一种全新的框架，用于对齐代表视觉语义和注意力轨迹的连续潜在 Token，而非静态嵌入。
课程感官门控： 一种新型训练策略，通过在训练早期强制执行潜在瓶颈来防止捷径学习，确保模型依赖于内化的视觉推理。
数据效率与质量： 构建了 LaViT-SFT-15K，这是一个经过严格过滤、确保高保真视觉定位的数据集，证明了潜在推理能随数据多样性高效扩展。

4. 实验结果

在包括细粒度感知（MMVP, V*）、复杂推理（BLINK）和鲁棒性（MMStar）在内的多种基准测试上进行了广泛实验。

性能提升： LaViT-3B 模型相比 Qwen2.5-VL-3B 基座实现了显著提升，在 MMVP 上提升了 +5.0%，在相对深度（BLINK）上提升了 +16.9%。
跨规模竞争力： 尽管是一个紧凑的 3B 模型，LaViT 在七个基准中的五个上优于更大的开源变体（如 Qwen2.5-VL-7B），并在特定任务（如相对深度：78.23% vs. 64.52%）上媲美甚至超越了 GPT-4o 等专有模型。
注意力动态： 分析显示，LaViT 显著降低了注意力熵，使模型从“弥散”的观察模式转变为“聚焦”的推理模式。通过 Top-N 稀疏化过滤掉低置信度的注意力噪声，它也实现了比教师模型更高的稳定性（更低的变异系数）。
消融实验： 移除任何核心组件（轨迹对齐、语义重建或课程门控）都会导致性能大幅下降，证实了完整框架的必要性。

5. 重要性与主张

本文声称，优化潜在思维是一种比单纯扩大模型规模更具参数效率的策略。 通过将学生的“视觉思维”（语义和注视）与教师进行显式对齐，LaViT 使紧凑型模型能够获得与规模大得多的模型及专有系统相媲美的推理能力。

作者强调，其方法解决了多模态推理中的“盲猜”根本问题。通过强制模型在生成文本之前重建视觉证据，LaViT 确保了性能的提升源于真实的视觉理解，而非仅仅依赖语言先验。这项工作表明，未来 MLLM 的进步应侧重于内部认知状态和注意力动态的对齐，而非仅仅是对输出分布的匹配。