Selective Training for Large Vision Language Models via Visual Information Gain

该论文提出了一种基于视觉信息增益（VIG）的指标，通过量化视觉输入对降低预测不确定性的贡献，指导大视觉语言模型仅选择高信息增益的样本和令牌进行训练，从而在显著减少监督数据量的同时有效缓解语言偏见并提升视觉 grounding 能力。

要点

这篇论文主要解决了一个大模型（LVLM，即“看图说话”的人工智能）的**“偏心眼”问题，并提出了一种“精挑细选”**的训练方法。

为了让你更容易理解，我们可以把训练大模型想象成教一个学生（AI）学习“看图写话”。

1. 问题：学生为什么“不看图”？

现在的 AI 模型很聪明，但它们有一个坏习惯：偷懒。

• 现象：当你给它一张图问“图里有什么？”时，它往往不看图，而是根据自己脑子里的“文字常识”瞎编。
  • 例子：你给它一张狗的照片，问“这是什么？”。它可能因为训练数据里“狗”常和“公园”一起出现，就瞎编说“这是一只狗在公园玩耍”，哪怕图里其实是一片沙漠。
• 原因：在以前的训练里，老师（训练数据）给学生的题目太杂了。
  • 有些题目必须看图才能答对（比如“图里那个人的衣服是什么颜色的？”）。
  • 有些题目不用看图也能答对（比如“图里有一只猫，猫喜欢喝什么？”——这题靠常识就能答“牛奶”，不用真去看猫喝没喝）。
• 后果：学生发现，反正有些题不看图也能拿高分，干脆就彻底放弃看图，只靠猜文字套路。这就叫“语言偏见”（Language Bias），导致模型产生“幻觉”（Hallucination），也就是胡说八道。

2. 核心发明：视觉信息增益 (VIG) —— 给题目“打分”

这篇论文的作者发明了一个叫**“视觉信息增益” (Visual Information Gain, VIG)** 的尺子。

• 这是什么？ 它就像给每一道练习题（训练样本）和每一个知识点（单词）打分。
• 怎么打分的？
  • 先让学生蒙上眼睛（不看图）做这道题，看看他能不能答对，或者猜得有多准。
  • 再让学生睁开眼睛（看图）做这道题，看看他的准确率提高了多少。
  • VIG 分数 = 睁眼后的进步 - 蒙眼时的水平。
• 结果：
  • 如果一道题，蒙眼瞎猜和睁眼看图，答案差不多（比如问“猫喜欢喝什么”），那这道题的VIG 分数很低（甚至可能是负的，因为看图反而干扰了常识）。
  • 如果一道题，蒙眼瞎猜会错得离谱，但睁眼看图就能答对（比如问“猫的衣服是红色的还是蓝色的”），那这道题的VIG 分数很高。

3. 解决方案：只练“高分题” (选择性训练)

有了这个尺子，作者提出了一种**“精挑细选”**的训练策略，就像一位聪明的教练：

1. 筛选题目（样本级）：

   • 教练把题库里那些VIG 分数低的题目（不用看图也能答的）全部扔掉，只保留那些必须看图才能答对的“高分题”。
   • 比喻：就像教游泳，教练不再让学生做“在岸上比划手臂”这种不用下水也能练的题，而是只让他做“必须跳进水里才能完成”的动作。

2. 筛选知识点（单词级）：

   • 即使在保留的“高分题”里，也不是每个字都重要。
   • 比如句子“图里有一只红色的猫在桌子上"。
     • “红色的”、“桌子上”：这些词必须看图才能知道，VIG 分数高，要重点练。
     • “图里”、“有”、“一只”：这些词不看图也能猜出来，VIG 分数低，可以少练或不练。
   • 教练只让学生反复练习那些真正依赖视觉的关键词。

4. 效果：事半功倍

这种方法带来了惊人的效果：

• 更聪明：模型不再瞎编，它学会了“眼见为实”。当被问到图里有什么时，它会真的去“看”图，而不是靠猜。
• 更省劲：以前需要给模型喂 100 份资料，现在只喂70 份（甚至更少），而且只让它练那些最核心的知识点，效果反而比全量训练更好。
• 不伤身：不需要改变模型复杂的内部结构，也不需要推理时多花算力，纯粹是**“换了一批更好的教材”**。

总结

这篇论文的核心思想就是：别让学生做那些“不用动脑（看图）”的题，也别让他背那些“不用看图”的废话。

通过发明一把尺子（VIG），作者帮 AI 模型去粗取精，只让它专注于学习那些真正需要“看”才能学会的东西。结果就是，模型变得更诚实、更准确，而且学得更快、更省力。

技术摘要

论文技术总结：基于视觉信息增益的大规模视觉语言模型选择性训练

1. 研究背景与问题 (Problem)

大规模视觉语言模型（LVLMs）虽然在多模态任务中表现出色，但普遍存在**语言偏差（Language Bias）**问题。

• 核心现象：模型过度依赖文本先验（Textual Priors），即使存在视觉证据，也倾向于忽略图像内容，仅根据语言上下文生成答案。这导致了“视觉无知”（Visual Ignorance）和幻觉（Hallucination）（即自信地描述图像中不存在的内容）。
• 现有局限：
  • 现有的缓解方法主要分为两类：推理时的无训练策略（如对比解码）和训练时的架构修改（如注意力机制调整）。
  • 关键缺陷：这些方法缺乏一种定量的度量标准，无法精确评估训练数据中的每个样本或每个 Token 在多大程度上真正依赖于视觉信息。
  • 数据异质性：多模态指令微调数据集中混合了大量“弱视觉依赖”样本（仅靠常识或文本即可回答）和“强视觉依赖”样本。目前的训练通常对所有样本和 Token 一视同仁，导致模型没有动力去区分视觉信号和纯文本模式，从而默认采用容易利用的语言捷径。

2. 方法论 (Methodology)

本文提出了一种以数据为中心的解决方案，核心是引入**视觉信息增益（Visual Information Gain, VIG）指标，并基于此构建VIG 引导的选择性训练（VIG-guided Selective Training）**方案。

2.1 视觉信息增益 (VIG)

VIG 是一个基于困惑度（Perplexity）的指标，用于量化视觉输入对降低模型预测不确定性的贡献。

• 定义：VIG 定义为模型在有视觉输入和无视觉输入（通过模糊图像模拟）条件下，预测同一答案时的困惑度对数比率。
  $$\text{VIG} = \log \left( \frac{\text{PPL}(A | Q)}{\text{PPL}(A | Q, I)} \right)$$
  其中 $PPL(A|Q)$是仅基于文本的困惑度，$PPL(A|Q, I)$ 是结合图像后的困惑度。
• 物理意义：VIG 等价于交叉熵损失的减少量（$L(A|Q) - L(A|Q, I)$）。
  • 高 VIG：表示图像显著降低了预测不确定性，该样本/Token 强依赖于视觉信息（如颜色、空间关系、物体属性）。
  • 低/负 VIG：表示图像未提供额外信息，甚至引入噪声，该样本/Token 主要依赖文本先验（如冠词、助动词、通用描述）。
• 粒度：VIG 可分解到样本级（Sample-level）和Token 级（Token-level），能够精细识别哪些具体的词元需要视觉证据。

2.2 VIG 引导的选择性训练 (VIG-guided Selective Training)

利用 VIG 指标，作者提出了一种两阶段的选择性训练策略，旨在过滤掉低价值数据，聚焦于高视觉信息量的数据：

1. 样本级筛选 (Sample-level Selection)：
   • 计算所有多模态指令样本的 VIG 分数。
   • 保留 VIG 最高的前 $p\%$ 个样本（例如前 70%），剔除那些仅靠文本就能回答的“弱视觉依赖”样本。
2. Token 级筛选 (Token-level Selection)：
   • 在选定的样本内部，进一步计算每个 Token 的 VIG 分数（即该 Token 的损失减少量）。
   • 仅对 VIG 高于阈值 $\tau_p$ 的 Token 计算损失（Loss），屏蔽掉那些纯语法或文本先验主导的 Token（如 "the", "is" 等）。
3. 训练目标：模型仅在“高视觉信息增益”的样本和 Token 上进行梯度更新，从而强制模型学习如何从图像中提取关键信息。

3. 主要贡献 (Key Contributions)

1. 提出 VIG 指标：首次提出了一种模型无关的、可分解的度量标准，能够量化视觉输入对模型不确定性的减少程度，实现了从样本到 Token 粒度的细粒度视觉依赖分析。
2. 实证分析：证明了 VIG 与基准测试中的模态依赖性强相关。VIG 能准确识别出颜色、空间关系等视觉锚点 Token，并区分出主要由文本先验驱动的 Token。
3. 高效训练方案：提出了基于 VIG 的选择性训练框架。实验表明，该方法在显著减少监督数据量（仅使用部分样本和部分 Token）的情况下，不仅提升了视觉理解能力，还有效缓解了语言偏差和幻觉问题。

4. 实验结果 (Results)

作者在 LLaVA-1.5 (7B/13B) 和 ShareGPT4V (7B) 模型上进行了广泛实验。

• 数据效率与性能提升：
  • LLaVA-1.5 7B：仅使用 70% 的样本和 34% 的有效 Token（相比全量训练），在 LLaVAW、MMVet、MMBench 等视觉理解基准上均超越了原始模型（例如 LLaVAW 分数从 59.02 提升至 61.22）。
  • LLaVA-1.5 13B：在仅使用 21% 的有效 Token 的情况下，性能依然全面超越全量训练基线。
  • 幻觉抑制：在 POPE、CHAIR 和 MMHal 等幻觉评估基准上，VIG 训练显著降低了幻觉率（例如 MMHal 幻觉率从 14.99% 降至 12.80%）。
• 对比现有方法：
  • 与无训练方法（VCD, PAI, VAR）和训练方法（LACING）相比，VIG 训练在保持架构简单且无推理开销的前提下，取得了更均衡且优异的性能。
  • VIG 训练具有正交性，可与现有方法（如 LACING）结合，进一步刷新性能上限。
• 机理分析：
  • 注意力机制：VIG 训练后的模型在中间层对视觉 Token 的注意力权重显著增加，表明模型更倾向于参考视觉证据。
  • 抗干扰能力：在“文本盲信”（Blind Faith in Text）测试中，面对带有误导性文本描述的图像，VIG 模型比基线模型表现出更强的鲁棒性，能坚持依据图像事实作答。

5. 意义与结论 (Significance)

• 理论价值：揭示了多模态训练数据中“视觉信息密度”的不均匀性，证明了并非所有训练数据对提升视觉能力都同等重要。
• 实践意义：
  • 降低成本：通过剔除低价值数据，大幅降低了训练所需的计算资源和时间。
  • 提升可靠性：提供了一种无需修改模型架构、无需额外推理开销的有效手段，显著增强了 LVLM 的视觉 grounding 能力，使其更可靠地“所见即所得”。
  • 通用性：该方法适用于不同的 LVLM 架构（如 LLaVA 系列、ShareGPT4V），为构建更稳健的多模态模型提供了新的数据视角。

总结：本文通过量化视觉信息增益（VIG），证明了“少即是多”（Less is More）在多模态训练中的有效性。通过聚焦于真正需要视觉证据的样本和 Token，模型能够更高效地学习视觉 grounding，从而在减少数据量的同时，显著提升理解能力和减少幻觉。