🤖 AI

Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models

该论文提出了 SparseCut，这是一种通过引入稀疏捷径连接（sparse shortcut connections）和多粒度融合模块来增强多模态大语言模型的创新架构，旨在高效整合层级化视觉特征，且不会增加计算开销或输入长度。

原作者： Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“翻译官”难题

想象一下，你有一位才华横溢的翻译官（LLM，即大语言模型），他英语说得完美无缺，但从未见过图片。为了帮助他理解一张照片，你雇佣了一位摄影师（Vision Encoder，视觉编码器）来拍摄照片并向翻译官描述它。

在目前的 AI 模型中，摄影师拍摄照片、冲洗照片，最后只把最终的、精修后的成品照片交给翻译官。翻译官随后尝试仅根据这一张完成后的图像来编写故事。

问题在于：

细节丢失： 当照片被“完成”时，摄影师可能已经丢弃了中间过程中的草图、织物的纹理或特定的光影角度。翻译官因此错失了这些关键线索。
“信息过载”陷阱： 一些较新的模型试图通过一次性把所有的草图、所有草稿和最终照片全部交给翻译官来解决这个问题。但这会让翻译官不堪重负。这就像是在他只需要一份摘要时，却递给他一叠 1000 页的笔记。翻译官会变得迟钝、反应变慢，并且运行成本极其昂贵。

解决方案：“SparseCut”

作者提出了一个名为 SparseCut 的新系统。你可以把它想象成在摄影师和翻译官之间建造了一套专门的公路系统。

SparseCut 不再是等待最终照片的出现，也不再是向翻译官倾倒如山般的笔记，而是让摄影师在写作过程中的特定时刻，直接向翻译官发送小规模且具有战略意义的更新。

1. “捷径”高速公路（多层融合）

想象摄影师正在一个拥有多个开发层级的工作室里工作：

第 1 层（浅层）： 只有轮廓和颜色。
第 2 层（中间层）： 物体的形状以及它们如何相互关联。
第 3 层（深层）： 完整的场景含义与情感。

在旧模型中，翻译官只能听到第 3 层的信息。而在 SparseCut 中，我们建立了捷径。

当翻译官正在写句子的开头时，他们可以快速瞥一眼轮廓（第 1 层），以确定基本的形状。
当他们在写中间部分时，他们可以瞥一眼关系（第 2 层）。
当他们完成时，他们会看到完整的含义（第 3 层）。

“稀疏（Sparse）”的部分： 我们并没有将每一层都连接到每一个句子上。那样会太混乱。相反，我们挑选了最优秀的几个连接点（即“稀疏”部分），这些连接能为翻译官提供最有帮助的信息，同时避免噪音。这就像是一条 VIP 特快车道，让最重要的信息能够疾速穿梭，避开交通拥堵。

2. “智能合并”技巧（多粒度融合）

有时，你需要以高分辨率（看清叶子上的小虫子）和低分辨率（看清整片森林）两种方式来看待一张图片。

旧方法： 模型获取低分辨率照片和高分辨率照片，将它们堆叠在一起，然后把这一大叠厚厚的资料全部塞给翻译官。这使得“堆叠”（输入长度）变得巨大，让翻译官的工作量增加了 4 倍，速度也变慢了。
SparseCut 方法： 在将信息发送给翻译官之前，系统充当了一个聪明的编辑。它将高分辨率细节和低分辨率概览合并成一个完美的摘要，然后再进入翻译官的房间。

结果： 翻译官看到的仍然是“一叠”笔记（长度与之前相同），但这一叠笔记现在同时包含了宏观大图和微观细节。翻译官不需要为了处理额外的页面而进行额外的数学运算，因此计算机运行速度保持不变，但理解能力却大大提升了。

为什么这很重要（实验结果）

论文在许多不同的任务上测试了这个新的“高速公路”系统，例如回答关于图像的问题或描述照片中正在发生的事情。

更好的理解力： 因为翻译官能在正确的时间获得“草图”（中层细节）和“精细细节”（高分辨率信息），所以他们犯错更少了。当图片模糊或令人困惑时，他们不太容易产生“幻觉”（凭空捏造）。
没有速度损失： 尽管模型观察了更多的信息，但它并没有变慢。“智能合并”技巧让工作量保持不变。
随处适用： 他们在不同的“翻译官”（不同规模的 AI 模型）上进行了测试，结果证明该方法对所有模型都有效。

总结类比

想象你正在烹饪一道复杂的菜肴（AI 任务）。

旧模型： 你直到最后才拿到食谱。你必须猜测食材在生鲜状态下是什么样子的。
DeepStack 模型： 你收到了生料、切好的蔬菜、正在炖煮的锅，以及最后的成品，而且它们全都一股脑儿地堆在了你的柜台上。你把大量时间都花在了整理这一堆乱七八糟的东西上。
SparseCut： 你有一位副厨（捷径），他在每个步骤都会向你耳语，告诉你恰好需要的信息：“洋葱现在正在焦糖化”、“酱汁正在变浓稠”、“这是最后的装饰”。你能在正确的时间获得正确的信息，厨房保持整洁，而菜肴也能做得完美无瑕。

论文声称，通过使用这些稀疏捷径和智能合并，我们可以让 AI 模型更好地观察和理解图像，同时不会让它们变得更慢或更昂贵。

技术摘要：用于多模态大语言模型高效融合的 SparseCut

问题陈述

多模态大语言模型（MLLMs）通过整合视觉和语言模态取得了显著进展。然而，当前的架构在有效地将视觉语义转移到语言空间方面面临两个主要局限：

多层级语义信息的丢失： 大多数现有模型仅依赖于预训练视觉编码器（如 CLIP-ViT）的最后一层输出。这种方法丢弃了存在于中间层中的丰富语义信息，例如局部纹理（浅层）和结构关系（中层），而这些信息对于细粒度推理至关重要。
多粒度融合中的计算低效： 虽然引入多粒度特征（例如高分辨率和低分辨率图像）已显示出前景，但传统方法通常将多分辨率视觉 Token 追加到文本序列中。这增加了输入序列的长度，导致基于 Transformer 的 LLM 中的注意力计算复杂度呈二次方增长，从而显著提高了计算成本。

方法论：SparseCut

作者提出了 SparseCut，一种通用的跨模态融合架构，旨在促进高效的多层级和多粒度特征集成，且不增加计算开销。该框架由三个核心组件组成：

1. 稀疏捷径连接 (Sparse Shortcut Connections)

SparseCut 在视觉 Transformer (ViT) 编码器的特定层与 LLM 之间引入了稀疏捷径连接。与仅将最终 ViT 层连接到第一个 LLM 层的标准架构不同，SparseCut 允许 LLM 访问不同深度的视觉隐藏状态。

连接模式： 该架构根据三个因素定义了捷径模式：
- 顺序 (Order)： 作者探索了“U型”连接（浅层 ViT 层连接到深层 LLM 层，反之亦然）与“对齐深度 (aligned-depth)”连接。研究假设 U 型连接有助于互补信息流，允许低层视觉细节为高层语言推理提供信息。
- 分布 (Distribution)： 连接可以均匀分布在 LLM 各层、向底部倾斜（早期集成）或向顶部倾斜。均匀分布被发现能最好地平衡语义集成。
- 密度 (Density)： 作者比较了“密集型”（许多连接）与“稀疏型”（少量关键连接）模式。研究表明，稀疏模式可以减少信息冗余和“淹没 (flooding)”，提供了一种更高效的特征注入机制。

2. 高效的多粒度特征融合

为了处理不同粒度（例如高分辨率和低分辨率图像）的输入而不扩展上下文长度：

融合机制： SparseCut 在将视觉特征路由到捷径之前，先进行融合，而不是将高分辨率 Token 与低分辨率 Token 进行拼接（这会增加 Token 数量）。
交叉注意力 (Cross-Attention)： 对于每个捷径连接，模态适配器在低分辨率 Token（查询 Query）与高分辨率 Token（键 Key/值 Value）之间执行交叉注意力。
结果： 这一过程生成的混合粒度视觉 Token 保留了原始的视觉上下文长度 ( $M_v$ )，而不是将其扩展为 $N \times M_v$ 。因此，LLM 自注意力机制的计算复杂度从 $O((N \times M_v + M_t)^2)$ 降低到 $O((M_v + M_t)^2)$ ，其中 $N$ 是分辨率尺度数量， $M_t$ 是文本长度。

3. 架构概览

该系统遵循标准的 MLLM 流水线（视觉编码器 $\rightarrow$ 模态适配器 $\rightarrow$ LLM），但修改了数据流：

视觉编码器： 从低分辨率和高分辨率图像块中提取多层级特征。
模态适配器： 将视觉特征与 LLM 的语义空间对齐，并通过交叉注意力执行多粒度融合。
LLM： 接收视觉 Token 作为输入。在具有捷径连接的层，输入的视觉 Token 是上一层输出与来自对应 ViT 层的融合视觉 Token 之和。

核心贡献

SparseCut 架构： 引入了一种通用的 MLLM 框架，利用稀疏捷径连接在结构上集成来自不同模态的多层级隐藏状态。
高效的多粒度融合： 一种在捷径连接内融合不同分辨率视觉特征的方法，在保持原始输入上下文长度的同时，避免了计算复杂度的二次方增长。
系统性评估： 对捷径连接模式（顺序、分布、密度）进行了全面分析，证明了稀疏、U 型且均匀分布的模式能产生最优性能。

实验结果

作者在各种基准测试上评估了 SparseCut，使用的基础 LLM 参数规模从 3B 到 13B 不等（采用 Vicuna 和 Qwen 骨干网络）。

性能提升： SparseCut 在学术任务（VQAv2, GQA, VizWiz, SciQA-IMG, TextVQA）和指令遵循基准（POPE, MMBench, SEEDBench）上一致优于基准方法（包括 LLaVA-1.5 和 DeepStack-L）。
- 在 7B 规模下，SparseCut 相比 LLaVA 平均提升了 2.2 个百分点，相比 DeepStack-L 提升了 1.8 个百分点。
- 在 VizWiz 基准测试中观察到显著增益，特别是在处理不可回答情况时，这表明其在抗幻觉方面具有更强的鲁棒性。
效率： 在处理高分辨率输入时，由于采用了分辨率维度融合机制，SparseCut 消耗的 FLOPs 显著低于 LLaVA-1.5（43.62T vs. 9.6T），同时保持了与全 Token 扩展模型相当的性能。
消融实验：
- 模式分析： 采用 U 型顺序的“稀疏-均匀 (Sparse-Uniform)”模式效果最好。“稀疏-顶部 (Sparse-Top)”（将连接集中在 LLM 顶部）导致性能大幅下降（约 50%），证实了深度集成的必要性。
- 分辨率： 纳入高分辨率特征在所有任务中均一致地提升了性能。
- 泛化性： 该方法在应用于不同基础 LLM（如 Qwen2.5-3B）时表现出鲁棒性，并且在不同的训练数据量和非冻结 ViT 设置下保持稳定。

重要性与主张

论文声称 SparseCut 解决了高效集成跨模态知识而不产生序列扩展计算惩罚的关键瓶颈。通过利用稀疏捷径和层级融合，该架构使 MLLM 能够访问丰富的、多层级的视觉语义（从纹理到全局概念），同时保留底层 LLM 的计算效率。

作者强调，这些改进是在没有额外训练数据的情况下实现的，而是依赖于架构创新。这项工作表明，当前 MLLM 的“特例”（仅将最终 ViT 层连接到第一个 LLM 层）是次优的，而一种通用的、稀疏的多层级连接策略为视觉-语言对齐提供了一条可扩展的路径。