💬 NLP

Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation

本文指出训练过程中的模态错位是大语言视觉模型中语言偏差的根本原因，并提出了两种无需数据的有效缓解方法——语言偏差正则化（LBR）和语言偏差惩罚（LBP），以显著减少幻觉并改善多模态对齐。

原作者： Yangneng Chen, Jing Li

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yangneng Chen, Jing Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人助手，它既能看见图片，又能谈论这些图片。这个机器人是一个大型视觉 - 语言模型（LVLM）。它就像一位超级智能的导游，看着照片描述正在发生的事情。

然而，这个机器人有一个坏习惯：它撒谎。

有时，机器人看着一张雪山照片，却说：“我看见一个男人在滑雪。”但如果你仔细观察，那里并没有人，或者那个人并没有在滑雪。这个机器人太擅长说话了，以至于它开始编造故事只是为了听起来流畅，而忽略了它实际看到的内容。论文将这种现象称为"幻觉"。

问题的根源：“仅文本”的拐杖

这篇论文的作者发现了机器人撒谎的原因。他们发现，机器人已经形成了一种语言偏见。

把机器人的大脑想象成拥有两个通道：

眼睛通道：它查看图片。
嘴巴通道：它阅读其内部的语言和故事库。

在训练（学习）阶段，机器人变懒了。它意识到，如果仅仅依赖其嘴巴通道（根据句子中通常出现的下一个词来预测下一个词），它就能生成非常流畅、听起来自信的文字。它开始忽略眼睛通道，因为仅仅猜测词语要容易得多。

类比：想象一个学生正在参加一场带有图片的考试。这个学生没有看着图片来回答问题，而是闭上眼睛，仅根据对英语语法的记忆，写下任何听起来最“正确”的句子。他们的语法可能完美无缺，但答案是错误的，因为他们没有看图片。

解决方案：两个简单的修正

作者们不想扔掉机器人的大脑，也不想喂给它数百万张新图片。相反，他们发明了两条简单的“规则”，迫使机器人重新关注图片。

1. “不要过于自信”规则（语言偏见正则化 - LBR）

何时使用：这在机器人最初学习如何谈论图片时（指令微调）使用。
如何运作：想象一位老师告诉学生：“如果你写出的句子在没有看图片的情况下听起来太完美，我就要给你一个小惩罚。”
论文称之为LBR。它温和地推动机器人停止过度依赖其内部的词语预测，并迫使它更频繁地检查图像。
结果：机器人变得更擅长描述各种事物，从读取图像中的文字到解决视觉谜题，同时没有丧失其良好的语言表达能力。

2. “停止撒谎”惩罚（语言偏见惩罚 - LBP）

何时使用：这在稍后阶段使用，当机器人被微调以偏好“好”答案而非“坏”答案时（直接偏好优化）。
如何运作：到了这个阶段，机器人已经学会了偷懒。温和的推动已经不够了。因此，作者们引入了一条更严格的规则：LBP。
想象一位严厉的教练说：“如果你试图仅凭记忆回答问题而忽略视觉证据，你就会扣分。”这种惩罚 actively 惩罚机器人偏离图像的行为。
结果：机器人变得更加可信。它不再编造不存在的事物（比如不存在的消防栓），而是给出真正符合图片的答案。

为什么这很重要

这篇论文在许多不同的机器人和多种类型的测试中检验了这些规则。

LBR 使机器人在几乎所有任务上都表现得更好，从读取图表到描述场景。
LBP 大幅减少了机器人撒谎（幻觉）的数量，特别是在要求它们撰写长篇详细描述时。

核心结论：
机器人并没有坏掉；它只是太习惯于依赖它的“声音”而不是它的“眼睛”。通过在训练过程中添加这些简单的惩罚，作者们迫使机器人平衡其注意力。它不需要新数据或更大的大脑；它只需要被提醒在说话之前先观察。

结果是一个不仅流畅，而且对其所见内容保持诚实的机器人。

技术摘要：大型视觉语言模型中的语言偏见：从深入分析到简单有效的缓解

问题定义

大型视觉语言模型（LVLMs）通过将视觉理解与大型语言模型（LLMs）相结合，推动了多模态人工智能的发展。然而，它们仍容易受到幻觉的影响，即模型生成的流畅文本与视觉输入相矛盾。最近的研究将这一现象归因于语言偏见：即 LVLMs 倾向于过度依赖内部语言先验，而忽视视觉信号。

尽管该问题普遍存在，但现有的分析大多停留在经验层面，缺乏对其根本原因的系统性、原则性理解。当前的缓解策略通常被归类为免训练（后处理）或基于训练（微调），但它们往往未能解决驱动偏见的潜在机制。本文认为，核心问题在于训练过程中的模态错位，即优化目标无意中优先提升了文本表现，而非平衡的多模态理解。

方法论

1. 模态错位的深入分析

作者对两种主要训练范式进行了严格的定量分析：视觉指令微调（VIT）和直接偏好优化（DPO）。

训练动态分解：该研究追踪了训练过程中的两个关键量：
- $R$ （奖励）：全模态输入下条件概率的提升（ $\pi(y|x, v)$ ）。
- $B$ （偏见）：纯文本输入下条件概率的提升（ $\pi(y|x)$ ）。
关键发现：在 VIT 和 DPO 中，纯文本似然（ $B$ ）的提升往往与多模态似然（ $R$ ）的提升相当甚至超过后者。这表明模型正趋向于表现出类似传统语言建模的行为，而非学习将响应建立在视觉数据之上。
形式化定义：语言偏见被形式化定义为 $B = \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)}$ ，量化了模型相对于参考模型对内部语言先验的依赖程度。

2. 提出的缓解策略

为解决这种错位，本文提出了两种简单、基于训练的干预措施，无需额外数据或辅助模型。

A. 用于视觉指令微调的语言偏见正则化（LBR）

背景：应用于语言偏见初现的 VIT 阶段。
机制：在标准最大似然估计（MLE）损失中引入正则化项。
- 损失函数： $L'_{VIT} = L_{VIT} + \alpha \cdot |B|$
- 项 $|B|$ 惩罚语言偏见的幅度，将模型的纯文本输出分布约束在接近参考模型的范围内。
目标：防止模型过度依赖语言模态而牺牲视觉 grounding。

B. 用于直接偏好优化的语言偏见惩罚（LBP）

背景：应用于 DPO 阶段，此时模型已通过先前的指令微调积累了显著的语言偏见。
机制：在 DPO 目标中引入惩罚项，主动将语言偏见 $B$ $B$ 推向负值。
- 损失函数： $L'_{DPO} = L_{DPOM} - \gamma \cdot \log \sigma(B)$
- 这促使模型“遗忘”在 VIT 期间获得的偏见，并增强对视觉信息的依赖。
目标：通过抑制在没有视觉支持的情况下模仿偏好数据中语言模式的倾向，提升视觉 grounding 任务的可信度。

主要贡献

系统性分析：本文提供了关于模态错位的新视角，提供了严格的定量证据，证明 LVLMs 在标准训练范式（VIT 和 DPO）中系统性地低估了视觉信号。
新颖方法：引入了LBR和LBP，这两种方法通用性强、易于部署，可无缝集成到现有训练流程中，无需额外数据或模型。
全面评估：作者在多种规模的模型（LLaVA-1.5 7B/13B、LLaVA-NEXT 3B）和广泛的数据集上验证了其方法，展示了强大的泛化能力。

实验结果

通用能力（LBR）

性能：LBR 在十多个通用基准测试中 consistently 提升了性能，包括文本密集型任务（如 ChartQA、TextVQA）、视觉问答（如 GQA、VizWiz）和图像描述（如 COCO Captions）。
对比：LBR 在绝大多数指标上优于原始 VIT 基线，验证了其在提升多模态对齐的同时不牺牲通用能力。

可信度与幻觉（LBP）

性能：LBP 在专注于幻觉的基准测试中取得了最先进的性能，包括MMHalBench、AMBER和Object HalBench。
影响：
- 在具有挑战性的 MMHalBench 上，LBP 将 LLaVA-v1.5-7B 的幻觉率降低了27%。
- 该方法显著提高了模型的鲁棒性，特别是在语言偏见最为明显的长文本生成场景中。
- 仅使用 5.7K 偏好对，LBP 在 AMBER 和 Object HalBench 的特定子任务上达到或超过了 GPT-4V 的性能。
泛化：LBP 在减少幻觉的同时保持或提升了通用能力（如 MME、MMBench），成功规避了对齐与性能之间典型的权衡。

人类评估

针对 100 张 COCO 图像的定向人类评估证实，与基线相比，LBR 和 LBP 在六个维度（存在性、属性、状态、数量、动作、关系）上显著减少了幻觉。
定性案例研究表明，经 LBP 对齐的模型能生成事实准确的描述，而基线模型则经常对物体、属性或关系产生幻觉。

意义与主张

本文主张，其工作既提供了对语言偏见的更深层次理论理解，也提供了一条通往更可靠 LVLMs 的实践路径。

根本原因识别：通过将模态错位识别为根本原因，该工作超越了表面修复，直指导致幻觉的基本训练动态。
效率：所提出的方法以其简单性和高效性著称；它们无需额外数据或辅助模型，使其极具可及性。
可信度：结果表明，明确针对并减少语言偏见是增强 LVLMs 可信度的有力策略，这对于在事实 grounding 至关重要的现实世界高风险应用中部署这些模型至关重要。

作者总结道，尽管现有的自动化基准在捕捉语言偏见的细微差别方面存在局限性，但其定向的人类评估和广泛的定量结果为 LBR 和 LBP 在推进 LVLMs 对齐方面的有效性提供了强有力的实证支持。