技术摘要：通过 CoRe Heads 揭示多模态大语言模型中功能稀疏性的机理见解

1. 问题陈述

多模态大语言模型（MLLMs）在复杂的视觉-语言任务中展现出了卓越的能力，然而，其内部如何从嘈杂、混乱的上下文中提取与查询相关的视觉特征的机制仍然是不透明的。虽然 MLLMs 将高维视觉信号映射到语义空间，但现实世界的输入往往包含冗余信息。鲁棒的多模态推理依赖于模型能够选择性地隔离稀疏且与任务相关的视觉线索。然而，现有的可解释性框架依赖于粗粒度的统计启发式方法（例如空间熵、注意力聚合），且主要在静态图像上进行评估。这些方法无法捕捉在密集或动态时空场景中，基于查询条件的细粒度 token 级注意力，从而在理解 MLLM 的失效模式和内部效率方面留下了显著空白。

2. 方法论

作者提出了一个系统性框架，用于识别并表征一组专门负责跨模态检索的特定注意力头，称之为上下文感知检索（Context-aware Retrieval, CoRe）头。

2.1 检索注意力质量 (Retrieval Attention Mass, RAM)

为了隔离这些注意力头，作者引入了一个 token 级的指标——检索注意力质量 (RAM)。不同于通用的注意力指标，RAM 量化了特定注意力头 $h$ 从指令查询 token ($q$) 到地面真值（ground-truth）视觉实体 ($V^*$) 的注意力质量分配。
头部的 RAM 得分定义为：
$$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$$
其中 $\Omega(V^*)$ 代表标记化的空间或时间跨度，而 $A(h)_{x \to y}$ 是注意力权重。高 RAM 值表示目标明确的检索，而非通用的注意力累积或“注意力汇（attention sinks）”。

2.2 统一评估协议

本研究采用统一协议，覆盖了涵盖不同模态和复杂度的四个多样化数据集：

• RefCOCOg： 静态图像视觉定位（边界框）。
• VidSTG： 视频时空定位（时间管状区域）。
• MMLongBench： 长上下文多证据推理（证据区域）。
• MMDocIR： 文档驱动的检索（页面/图表区域）。

作者利用架构特定的策略（例如基于适配器模型的边界标记、基于固定扩展模型的均匀切片）将连续标注（空间框、时间管状区域）映射到离散的 token 索引 $\Omega(V^*)$，以确保精确的注意力测量。

2.3 因果干预与加速

为了验证 CoRe 头的功能必要性，作者通过推理过程中的注意力掩码执行了因果干预。他们消融了按 RAM 排名靠前的 top-$k$ 个 CoRe 头，并将性能与消融排名靠后或随机选择的头进行对比。
此外，他们提出了一种 Co-guided 混合注意力（CoRe-guided Hybrid Attention） 机制用于系统级加速。该策略对前 $k$ 个 Co $\text{Re}$ 头保留完整的全局注意力，同时在预填充（prefill）阶段将剩余的非必要头限制在局部滑动窗口内（流式稀疏注意力/Stream Sparse Attention），旨在降低二次方计算复杂度。

3. 核心贡献与结果

3.1 发现功能稀疏性

分析揭示了一个深刻的结构特性：功能稀疏性。一小部分专门的注意力头（CoRe 头）充当了专门的信息提取器，而绝大多数头则表现出弥散的全局注意力模式。

• 定位能力： CoRe 头能精确地定位上下文相关的视觉实体（例如视频中的特定物体或文档中的文本区域），过滤掉背景噪声。
• 差异化： 排名较低的头（Bottom Heads）将注意力分散在无关区域，且无法实现指令落地（grounding）。

3.2 结构演化与缩放

• 缩放模式： 随着模型容量的增加（例如从 4B 到 32B 参数），Co $\text{Re}$ 头从分散分布转变为在深层层级（例如 32B 模型中的第 44–56 层）高度集中的“瓶颈”。
• 架构差异： 不同模型家族表现出不同的拓扑结构。Qwen3-VL 显示出稀疏定位，LLaVA-OneVision 显示出中度弥散，而 InternVL3.5 则显示出密集激活，这表明结构稀疏性是一种响应视觉表示密度而非基础 LLM 内在属性的动态分配策略。

3.3 跨领域稳定性

Co $\text{Re}$ 头呈现出“全局一致、局部多变”的范式。大约有 30 个特定的头在不同任务（RefCOCOg, VidSTG, MMLongBench, MMDocIR）中保持普遍激活，且在激活模式上的 Spearman 秩相关系数较高（0.79–0.92）。这些头稳定地集中在中后期层。

3.4 因果必要性

因果干预证实了 Co $\text{Re}$ 头具有非冗余的必要性：

• 性能下降： 仅消融前 5% 的 Co $\text{Re}$ 头会导致多模态推理性能发生灾难性下降（例如，Qwen3-VL-4B 的准确率从约 45% 骤降至 27%）。
• 冗余性： 消融排名靠后的头对性能影响极小，表明非专业化头存在显著的功能冗余。

3.5 加速与效率

利用这种稀疏性，所提出的混合注意力机制实现了显著的加速：

• 加速比： 在长上下文任务（如 MLVU, Video-MME）上实现了高达 2.3 倍 的预填充加速，同时保持了稳健的性能。
• 性能保持： 在某些配置下（例如在 LLaVA-OneVision 中保留 19.1% 的头），混合模型甚至略微优于全密集基准模型，这可能是由于一种隐式的正则化效应，过滤掉了跨模态噪声。
• 可扩展性： 更大的模型（如 Qwen3-VL-32B）可以维持更高水平的稀疏化（低至 4.9% 的头）而几乎没有性能损失，这表明规模扩大增加了功能冗余。

4. 重要性与主张

本文声称揭示了 MLLM 内部的一种功能稀疏性的结构原理，完善了当前对机理可解释性的理解。其关键意义包括：

1. 机理见解： 多模态推理受控于一组稀疏且一致的注意力头，这些头作为跨模态提取的关键瓶颈，与执行全局特征聚合的其他头截然不同。
2. 非冗余性： 这些专门的头具有因果上的不可或缺性；它们的移除无法被网络中的其他部分所补偿。
3. 优化潜力： 这一发现为高效的模型优化提供了理论基础。通过仅对极小比例的关键头进行操作，可以在不损害语义选择或任务性能的情况下，显著加速推理（特别是在长上下文场景中）。

作者指出了一些局限性，例如 RAM 计算对显式地面真值标注的依赖，以及目前用于加速的静态头配置的使用，并建议未来的工作可以探索动态的、输入自适应的路由策略。