🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

本文提出了解耦视觉处理（Decoupled Visual Processing, DVP），这是一种参数高效的训练框架，它通过将多模态大语言模型的上层解码器层替换为一个专门用于视觉标记的轻量级 Transformer 块，在仅更新极小部分总参数的情况下，实现了在基准测试中具有竞争力的性能。

原作者： Mingkuan Feng, Zhengqi Wen, Jianhua Tao

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mingkuan Feng, Zhengqi Wen, Jianhua Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机可以同时“看”和“读”的世界，就像一个超级聪明的朋友，看着一张猫的照片就能给你讲一个有趣的故事。这就是多模态大语言模型（MLLMs）的领域。为了让这些模型发挥作用，科学家通常会将两个强大的工具组合在一起：“视觉编码器”（一个经过训练、能够理解图像的大脑）和一个“大语言模型”（一个经过训练、能够理解文字的大脑）。难点在于如何让它们进行交流。通常，当你向计算机展示一张图片并提问时，计算机会将图像部分和文字部分一起塞进同一个巨大的工厂流水线进行处理。流水线中的每一个步骤都会被调整和优化，以确保答案完美无缺。但问题在于，这条工厂流水线规模庞大，调整其中的每一台机器都需要耗费大量的时间、金钱和电力。这就像是为了让一辆送货卡车跑得更快，而去试图修理整个城市的交通系统一样。

科学家们一直在思考一个大问题：图像部分和文字部分真的需要经过完全相同且深层复杂的工厂流水线吗？也许图像部分只需要一个快速、专门的捷径，而文字部分则需要完整的、深层的处理。如果我们能找到一种方法，在不破坏整个系统的前提下给图像提供一条捷径，我们就能让这些智能计算机的训练变得更便宜、更快速。这正是来自清华大学的一个研究小组决定解决的难题。

这篇论文：为图片提供 VIP 捷径

研究人员 Mingkuan Feng、Zhengqi Wen 和 Jianhua Tao 提出了一种名为**解耦视觉处理（Decoupled Visual Processing, DVP）**的新训练方法。把标准模型想象成游乐场里一个又长又弯的滑梯。每个人——无论是拿着图片还是文字——都必须一起沿着这 32 级的滑梯滑到底。研究人员问道：“如果我们在滑梯的中途让拿图片的人跳下来，通过一个微型且超快速的隧道，然后在底部与拿文字的人汇合，会怎么样呢？”

以下是他们的“解耦视觉处理”如何一步步运作的：

共享起点： 首先，图像碎片（视觉 Token）和文字碎片（文本 Token）一起滑下滑梯的前半段（第 0 到 16 层）。这很重要，因为它让图像和文字能够互相了解并理解上下文。
分离： 在中点处，人群分开了。文字碎片继续沿着原本漫长且“冻结”的滑梯向下移动（第 17 到 31 层）。这条滑梯是“冻结”的，意味着它在处理句子方面已经很完美了，所以不需要再去触动它。
VIP 隧道： 然而，图像碎片并没有继续走那条漫长的滑梯。相反，它们被引导通过一个全新的、微型的、仅有一步的隧道（一个单层 Transformer 模块）。这个隧道是整个系统中唯一需要被训练和调整的部分。
重聚： 在最底部，经过处理后的图像碎片（由微型隧道处理）与经过处理后的文字碎片（由长滑梯处理）重新缝合在一起，从而生成最终答案。

他们的发现

团队使用了一个名为 LLaVA-1.5 的流行模型（其骨干网络为 Vicuna-7B）测试了这个想法。他们将他们的“VIP 隧道”方法与另外两种方法进行了对比：一种是标准方法（训练整个模型），另一种是“常规训练”方法（虽然使用了这种分离架构，但仍然训练所有部分）。

结果非常有效：

巨大的节省： 通过使用 DVP，他们只需要训练大约 3.1% 的总参数。这就像是通过只调整一个街角的红绿灯，就解决了整个城市的交通问题。
看得清晰： 在一项名为 MME（检查模型是否能实际“看到”物体，如计数或阅读标牌）的测试中，他们的方法得分 1440。这非常接近全量训练模型的得分（1496），并且实际上比“常规训练”的分离法（得分仅为 1225）要好得多。这表明，冻结主模型实际上有助于计算机更好地“看”，因为它防止了模型产生混乱。
减少幻觉： 在一项名为 POPE（检查模型是否会凭空捏造不存在的事物，比如在猫的照片里看到狗）的测试中，DVP 得分为 0.8619。这是所有方法中的最高分，超过了全量训练模型的 0.8577。这表明，为图像提供一条专门的路径可能可以阻止模型变得“爱做梦”并胡编乱造。
权衡之处： 该方法并非在所有方面都完美。在 ChartQA（一项关于阅读图表和曲线的测试）中，DVP 得分为 0.2356。虽然这比全量训练模型的 0.1776 要高，但低于“常规训练”分离法的 0.432。作者认为这是因为阅读图表需要图像细节与文本标签之间非常精细、往复的检查，而当两条路径过早分离时，这种任务会变得更加困难。

为什么这很重要

论文指出，这些 AI 模型顶层的深层复杂层实际上在为文字承担了大量的重任，但对于图像来说，这些层可能有些大材小用。研究人员发现，如果图像和文字已经在中途有了接触，那么一个微小的 Transformer 模块就足以处理图像处理。

这种方法挑战了“每条数据都必须经过整个深层网络”的旧观念。它表明，通过认识到图像和文字的不同特性以及它们可能需要不同类型的帮助，我们可以构建出更聪明、更高效的 AI。虽然该方法在处理需要极度精细推理的任务（如阅读复杂图表）时可能还需要改进，但总体而言，他们认为这种“解耦”路径是一种强大的、节能的方式，可以教会计算机如何观察，而无需每次都重建整个“大脑”。

技术摘要：解耦视觉处理 (Decoupled Visual Processing, DVP)

问题陈述

多模态大语言模型 (MLLMs)，如 LLaVA，通过在统一的 Transformer 架构中集成视觉与文本理解，取得了显著成功。主流范式是将视觉特征投影到 LLM 的嵌入空间中，并将所有标记（包括视觉和文本标记）通过整个解码器层堆栈进行处理。虽然这种方法很有效，但它要么需要对数十亿参数进行全量微调，要么需要在每一层应用参数高效的方法（如 LoRA），这两者在计算上都是非常昂贵的。

这项工作解决了一个关键且尚未得到充分探索的问题：视觉标记和文本标记是否真的需要相同的深度表示路径。先前的研究表明，Transformer 的较低层捕捉的是通用的、模态无关的特征，而较高层则变得越来越专业化。在 MLLMs 中，作者假设视觉标记在顶层可能受益于一种专门的视觉处理路径，该路径与原 LLM 以文本为导向的处理路径不同，从而使得对视觉标记进行全深度的处理变得既不必要也不高效。

方法论：解耦视觉处理 (DVP)

作者提出了 Decoupled Visual Processing (DVP)，这是一种高效的训练框架，它通过修改预训练 LLM 的解码器堆栈，在初始共享阶段之后分离视觉和文本的处理路径。

架构

给定一个具有 $L$ 个解码器层的预训练 LLM，DVP 实现了一种 “拆分-处理-拼接” (split-process-concatenate) 范式：

**共享处理 (第 $0 $到$ K-1 $层)：** 所有标记（视觉和文本）通过前$ K$ 个解码器层进行联合处理。这一阶段促进了跨模态注意力，使模型能够在模态之间建立对齐和上下文接地（contextual grounding）。
模态拆分： 在第 $K$ 层之后，隐藏状态按模态拆分为视觉标记 ( $X_v$ ) 和文本标记 ( $X_t$ )。
解耦处理：
- 视觉路径： 视觉标记被路由至一个新初始化的单个 Transformer 块。该块是微调阶段唯一的训练组件。
- 文本路径： 文本标记继续通过剩余的 $L-K$ 个解码器层，这些层保持冻结（以保留预训练的语言建模能力）。
拼接与预测： 处理后的视觉和文本表示被拼接在一起，并传递给语言模型头进行下一标记预测。

设计原理

拆分点 ( $K$ )： 在使用 Vicuna-7B (32 层) 的实验中，拆分发生在第 16 层之后 ( $K=17$ )。这一选择的动机在于观察到 Transformer 的前一半层捕捉的是低级和跨模态特征，而后一半层则专注于特定任务的推理。
极端压缩： 视觉路径用一个单一的 Transformer 块取代了 15 个解码器层。这迫使模型学习一种紧凑的变换映射，将共享层中的视觉表示直接映射到输出空间。
参数效率： 在指令微调期间，仅更新这一个 Transformer 块。在 Vicuna-7B 配置下，这仅占总参数量的约 3.1%，而其余的 96.9%（包括共享的底层层和上层的文本层）保持冻结。

核心贡献

架构创新： DVP 引入了一种结构性修改，将视觉处理从深层解码器堆栈中解耦出来，挑战了视觉标记必须遍历整个 LLM 深度的假设。
参数效率： 该方法在仅训练极小比例参数（约 3.1%）的情况下，实现了具有竞争力的性能，优于全量微调。
假设验证： 本工作验证了两个假设：(1) LLM 的较低层足以进行跨模态对齐；(2) 视觉标记在顶层需要比文本标记更紧凑、不同的变换。

实验结果

作者使用 LLaVA-1.5 框架，以 Vicuna-7B 为骨干网络，在三个基准测试上评估了 DVP：MME（感知与认知）、POPE（物体幻觉）和 ChartQA。

感知 (MME)： DVP 取得了 1440 的感知得分，达到了全量微调 LLaVA-1.5-7B 基线 (1496) 的 96.3%。值得注意的是，DVP 的表现优于“常规训练 (Normal Training)”基线（该基线使用了拆分架构但训练了所有参数）在感知方面的得分（1440 对比 1225），这表明冻结参数有助于保持视觉感知能力。
幻觉 (POPE)： DVP 取得了 0.8619 的得分，超过了 LLaVA-1.5-7B 基线 (0.8577) 和常规训练基线 (0.8381)。这表明解耦架构可能通过防止视觉处理受到具有文本偏向性的上层影响，从而减少物体幻觉。
认知与图表理解： DVP 在 MME 认知任务上的表现与基线相当（327 对比 324）。然而，在 ChartQA 上的得分 (0.2356) 低于常规训练基线 (0.432)。作者将其归因于在拆分架构中，视觉细节与文本标签之间所需的精细、迭代的跨模态交叉引用受到了限制。
效率： DVP 在保持竞争力的性能的同时，仅训练了约 3.1% 的参数，这意味着相比全量微调，其可训练参数减少了约 32 倍。

意义与主张

论文声称，视觉表示可以通过解耦的、参数高效的路径进行有效学习。 其主要启示包括：

视觉处理的冗余性： 单个 Transformer 块即可取代 15 个解码器层的成功，表明当前 MLLMs 在处理上层视觉信息时存在大量的冗余。
模态特定归纳偏置： 该架构在“理解”（视觉标记携带的内容）与“生成”（如何使用信息进行文本生成）之间引入了显式的分离，这可能带来更具解释性和可控性的系统。
部署与适配： 极高的参数效率使 DVP 非常适合资源受限的部署、新视觉领域的适配（只需更新视觉块）以及持续学习场景。
知识蒸馏视角： 单个模块有效地压缩了 15 层的“知识”，这表明应用于视觉标记的变换的有效秩（effective rank）远低于这些层的完整参数容量。

作者承认存在一些局限性，包括评估基准集有限、固定的拆分点启发式方法，以及拆分后缺乏跨模态注意力，这可能会阻碍需要迭代式视觉-文本推理的任务。他们建议未来的工作可以探索自适应拆分点、多个轻量级视觉块以及向更大规模模型的扩展。