💻 computer science

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

本文提出了 EAGLE 框架，这是一种轻量级黑盒方法，能够通过统一充分性与必要性指标来量化多模态大语言模型生成令牌时视觉感知与语言先验的相对贡献，从而显著提升模型决策的可解释性、定位能力及幻觉诊断效果。

原作者： Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 EAGLE（鹰）的新工具，它的任务是**“给多模态大模型（MLLM）做心理侧写”**。

简单来说，现在的 AI 看图说话能力很强，但没人知道它到底是怎么想的。它是因为真的“看见”了图里的猫，还是因为脑子里觉得“这种图通常会有猫”而瞎猜的？EAGLE 就是为了解决这个“黑盒”问题而诞生的。

我们可以用几个生动的比喻来理解这篇论文的核心内容：

1. 核心问题：AI 是在“看图”还是“背答案”？

想象一下，你让一个学生（AI）看一张图片，然后让他描述图片。

情况 A：学生真的盯着图片看，看到了苹果，所以说了“苹果”。
情况 B：学生根本没看图片，只是根据题目里的“水果”两个字，或者根据他以前背过的题库，瞎猜说“苹果”。

现在的 AI 模型（MLLM）经常犯情况 B的错误，这叫“幻觉”（Hallucination）。比如图里明明没有狗，AI 却非说有一只狗，因为它觉得“草地 + 人”通常会有狗。

EAGLE 的作用：它就像一位**“侦探”**，能瞬间指出：

Where MLLMs Attend（AI 到底看了哪里）：AI 说“苹果”时，它的注意力是不是真的聚焦在图片的苹果上？
What They Rely On（AI 到底靠什么）：它是靠“眼睛看到的证据”（视觉），还是靠“脑子里的常识”（语言先验）？

2. EAGLE 是怎么工作的？（它的“独门秘籍”）

EAGLE 不像以前的方法那样去拆解 AI 复杂的内部代码（那是“白盒”做法，很难且容易出错），它是一个**“黑盒”侦探**。它不需要知道 AI 内部怎么算的，只需要像做实验一样观察 AI 的反应。

它的过程可以比喻为**“玩拼图”**：

把图片打碎（SLICO 分割）：
EAGLE 先把输入的图片切成很多小块（像马赛克一样）。
玩“遮遮乐”游戏（贪婪搜索）：
它开始一块一块地遮住这些图片碎片，然后问 AI：“现在你还敢不敢说‘苹果’？”
- 如果遮住某一块，AI 马上就不敢说了，说明这块碎片至关重要（这是“必要性”）。
- 如果只保留某几块碎片，AI 就能准确说出“苹果”，说明这几块碎片足够让 AI 理解（这是“充分性”）。
打分与排名：
EAGLE 给每一块碎片打分，最后排个序。分数最高的，就是 AI 真正“看见”并依赖的区域。

3. 两个核心指标：Insight（洞察）和 Necessity（必要）

论文里提到了两个很专业的词，我们可以这样理解：

Insight Score（洞察分）= “最小拼图”
- 比喻：就像问“最少需要哪几块拼图，就能让你认出这是一只猫？”
- 作用：找出那些足以让 AI 生成答案的关键区域。
Necessity Score（必要分）= “致命一击”
- 比喻：就像问“如果我把这块拼图拿走，你是不是就认不出猫了？”
- 作用：找出那些缺一不可的区域。如果拿走了它，AI 就瞎了。

EAGLE 把这两个指标结合起来，就能精准地画出**“热力图”**，告诉用户：AI 生成这句话时，眼睛到底盯着图片的哪个角落。

4. 为什么 EAGLE 很厉害？（它的超能力）

论文通过大量实验证明，EAGLE 比以前的方法（如 LLaVA-CAM, TAM 等）都要强，主要体现在：

更诚实（Faithfulness）：以前的方法画的热力图经常是“雾里看花”，一大片模糊的区域。EAGLE 画出来的图非常精准，就像用激光笔指在具体的物体上（比如精准指在香蕉上，而不是指在整棵树上）。
更省资源（Efficiency）：以前的方法需要巨大的显卡内存（像开着一辆重型卡车去送快递），而 EAGLE 只需要很少的内存（像骑一辆轻便的电动车），普通电脑也能跑。
能抓“幻觉”：这是最酷的一点。如果 AI 胡说八道（比如把叉子看成勺子），EAGLE 能立刻指出：“看！就是叉子那个尖尖的部分干扰了 AI，导致它看错了。”只要把那块区域遮住，AI 就能变回正常。

5. 总结：这对我们意味着什么？

以前，我们面对 AI 的胡说八道，只能无奈地说：“哎呀，它又瞎编了。”
现在，有了 EAGLE，我们可以像老师批改作业一样：

指出错误：“你这里说错了，因为你把叉子看成了勺子。”
解释原因：“因为你太依赖文字常识，忽略了图片细节。”
建立信任：在医疗、自动驾驶等安全领域，我们需要知道 AI 为什么做这个决定。EAGLE 就是那个能解释 AI 决策过程的“翻译官”。

一句话总结：
EAGLE 是一个轻量级、高精度的 AI 解释器，它通过“遮遮掩掩”的拼图游戏，精准地告诉我们要：AI 到底看了哪里，以及它是信了眼睛还是信了大脑。这让 AI 从“黑盒”变成了我们可以理解和信任的“透明盒”。

这是一篇关于多模态大语言模型（MLLMs）可解释性的技术论文总结。论文提出了一种名为 EAGLE 的新框架，旨在解决 MLLMs 在自回归生成过程中“关注哪里”以及“依赖什么”的黑盒问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：多模态大语言模型（MLLMs）在视觉 - 语言理解和生成任务（如图像描述、视觉问答 VQA）中表现卓越，但其决策过程缺乏透明度。
核心挑战：
- 幻觉（Hallucination）：模型常生成与图像内容不符的描述，导致在医疗、自动驾驶等安全关键领域的应用受限。
- 归因困难：现有的归因方法（如基于梯度的 IGOS++、基于激活图的 TAM 等）存在局限性。它们往往难以捕捉复杂的跨模态交互，容易受文本先验（Language Priors）干扰，或者无法直接建立输入与输出之间的因果联系。
- 自回归特性：MLLMs 是逐词生成的，传统的分类任务归因方法难以直接适配。
目标：开发一种轻量级、黑盒的归因框架，能够解释任意生成的 Token 是受视觉证据驱动还是语言先验驱动，并精准定位导致生成的感知区域。

2. 方法论 (Methodology)

论文提出了 EAGLE (Explaining Autoregressive Generation by Language priors or Evidence) 框架，其核心流程如下：

2.1 图像稀疏化与子区域选择

利用 SLICO 超像素分割算法将输入图像 $x$ 分解为语义有意义的子区域集合 $V = \{x_1, ..., x_N\}$ 。
将归因问题转化为子集选择问题：寻找一个最小的子区域集合，使其对生成目标 Token 的概率贡献最大。

2.2 统一的目标函数 (Objective Function)

为了同时衡量“充分性”和“必要性”，EAGLE 设计了一个包含两个分量的目标函数 $\mathcal{F}(S)$ ：

洞察分数 (Insight Score)：衡量在保留子区域 $S$ 时，生成目标 Token 的概率。这代表了充分性（即这些区域是否足以支撑生成）。
必要性分数 (Necessity Score)：衡量移除子区域 $S$ 后，生成目标 Token 的概率下降程度。这代表了必要性（即这些区域是否不可或缺）。

优化策略：由于寻找最优子集是 NP-hard 问题，EAGLE 采用贪心搜索 (Greedy Search) 策略，在稀疏化的图像区域上进行排序，构建一个有序的感知区域排名。

2.3 模态依赖性分析 (Modality Analysis)

除了定位视觉区域，EAGLE 还量化了每个生成 Token 对语言先验与感知证据的依赖程度。
影响力分数 (Influence Score)：通过观察随着关键视觉区域逐步引入，Token 生成概率的变化幅度来计算。
- 分数高 $\rightarrow$ 强依赖视觉证据。
- 分数低 $\rightarrow$ 强依赖语言先验（即模型可能在“瞎编”或仅凭常识回答）。
Token 无关性 (Token-Agnostic)：该方法不依赖特定的 Token 选择，即使是对语言先验依赖很强的 Token，也能进行有效的视觉归因。

3. 主要贡献 (Key Contributions)

EAGLE 框架：提出了一种轻量级的黑盒归因框架，能够以较低的 GPU 显存成本，将任意生成的 Token 归因到紧凑的感知区域。
统一的目标函数：创新性地结合了“充分性（Insight）”和“必要性（Necessity）”指标，通过贪心搜索平衡了可解释性与效率，提供了更忠实的归因结果。
模态感知分析：不仅回答“模型看哪里”，还回答“模型依赖什么”，能够细粒度地解耦语言先验和视觉证据的影响。
幻觉诊断能力：能够精准定位导致幻觉的视觉区域，并通过移除最小干扰区域来验证和缓解幻觉。

4. 实验结果 (Results)

论文在多个开源 MLLM（LLaVA-1.5, Qwen2.5-VL, InternVL3.5）和基准数据集（MS COCO, MMVP, RePOPE）上进行了广泛评估：

忠实度 (Faithfulness)：
- 在图像描述和 VQA 任务中，EAGLE 在插入（Insertion）和删除（Deletion）指标上均显著优于现有方法（如 LLaVA-CAM, IGOS++, TAM）。
- 例如，在 MS COCO 图像描述任务中，EAGLE 在 LLaVA-1.5 上的插入指标比最佳基线高出 12.7%，在敏感 Token 级别甚至高出 29.6%。
定位精度 (Localization)：
- 在单词级别的解释中，EAGLE 在 Pointing Game（点选游戏）指标上表现最佳，能够更准确地定位物体。
- 相比 TAM，EAGLE 在弱模型（如 LLaVA-1.5）上表现依然稳健，而 TAM 在弱模型上性能大幅下降。
幻觉诊断 (Hallucination Diagnosis)：
- 在 RePOPE 基准测试中，EAGLE 能准确识别导致幻觉的视觉区域。
- 修正成功率：通过移除仅 10% 的干扰区域，EAGLE 在 CSR@10% 指标上比基线方法高出 100% 以上（例如在 Qwen2.5-VL 7B 上提升了 109%），证明了其定位的精准性。
效率与资源：
- 显存占用：EAGLE 显著低于基于梯度的方法（如 IGOS++ 需要 96GB+，EAGLE 仅需 17GB 左右），使其适用于现代大模型。
- 时间成本：虽然比基于梯度的方法慢（约 10 倍），但比基于激活图的方法更可靠，且是唯一能同时满足高忠实度和低显存需求的方案。

5. 意义与价值 (Significance)

提升可信度：EAGLE 为 MLLMs 的决策过程提供了细粒度的解释，有助于用户理解模型是“看到了什么”还是“猜了什么”。
安全与纠错：通过精准定位幻觉来源，EAGLE 为开发更安全的 MLLM 提供了工具，特别是在医疗和自动驾驶等高风险领域。
通用性：作为一种黑盒方法，EAGLE 不依赖模型内部结构，可广泛应用于各种架构的 MLLM，推动了多模态模型可解释性研究的发展。

总结：EAGLE 通过结合子集选择理论和模态依赖性分析，成功解决了 MLLM 自回归生成中的归因难题，在忠实度、定位精度和幻觉诊断方面均达到了目前的最先进水平（SOTA），同时保持了较低的资源消耗。