💬 NLP

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

本文提出了一种通过优化文本嵌入来减轻大型视觉语言模型中幻觉问题的方法，旨在减少对语言先验的过度依赖并促进视觉线索更平衡的整合，从而在多个幻觉基准测试中实现了显著的性能提升。

原作者： Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：通过优化文本嵌入来缓解大型视觉语言模型的幻觉问题 (VisAlign)

以下是对论文《Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings》（VisAlign）的解释，采用了通俗易懂的语言和富有创意的类比。

问题所在：“过度自信的讲故事的人”

想象你有一位才华横溢的讲故事的人（即大语言模型，或 LLM），他读遍了图书馆里的每一本书，但从未见过真实的图片。你给这位讲故事的人看一张空厨房柜台的照片，并问他：“你看到了什么？”

因为这位讲故事的人太习惯于阅读关于厨房的故事了，他会立即开始瞎猜。他可能会说：“我看到了一杯热气腾腾的咖啡和一个水果碗，”尽管那个柜台其实是空的。他是在依赖对词汇的记忆，而不是在观察图片。

在 AI 世界中，这被称为幻觉（Hallucination）。模型表达得非常流利且听起来很聪明，但它在编造事实，因为它比起视觉证据，更信任自己的文本训练。

当前的设置：“双轨火车”

目前大多数能看图的 AI 模型（称为视觉语言模型，或 LVLMs）的工作方式就像一列拥有两条独立轨道并在最后才汇合的火车：

轨道 A（文本）： 讲故事的人的文字。
轨道 B（视觉）： 图片的数据。

问题在于，火车头（AI）是为在轨道 A（文本）上行驶而建造的。当两条轨道汇合时，火车头自然会更倾向于平滑、熟悉的轨道 A。它会忽略轨道 B（图片）上的起伏和细节。它把图片视为一种次要的建议，而不是核心事实。

解决方案：“VisAlign” —— “绘制在地图上的图画”

研究人员提出了一种名为 VisAlign 的新方法。他们不再只是在最后合并轨道，而是决定在故事开始之前，就直接将图片“画”在文字之上。

他们是这样做的：

全局快照： 首先，AI 会对整张图片进行一次快速的平均观察（就像眯着眼睛看一幅画以获取整体感觉）。
注入： 他们将这种“感觉”直接注入到 AI 即将说的每一个词的 DNA 中。
结果： 现在，当 AI 想到“杯子”这个词时，这个词不再仅仅是一个文本定义；它承载了它正在观察的实际图像的“纹理”。

类比：
想象你在给一位朋友指路。

旧方法： 你说：“在面包店处左转，”但你手里拿着的地图上那里并没有面包店。你只是在背诵剧本。
VisAlign 方法： 你手里正拿着地图，每当你提到“面包店”时，你都在物理意义上指向地图上的那个位置。单词与图像融合在了一起。你无法在没看到地图的情况下说出“面包店”。

修复后会发生什么？

研究人员在名为 Video-LLaVA（可以观看视频并回答问题）的模型上测试了这种方法。他们观察了 AI 的“注意力”（即大脑集中的地方）发生了怎样的变化。

使用 VisAlign 之前： AI 高度关注句子的开头和结尾（文本），而几乎不看图片数据存在的中间部分。这就像一个学生在读考题，却忽略了题目中的图表。
使用 VisAlign 之后： AI 开始在整个句子过程中都关注图片数据。其“注意力”变得平衡了。它不再根据“通常会发生什么”来瞎猜，而是开始观察“实际发生了什么”。

结果：更少的编造事实

团队在多个“幻觉基准测试”（旨在诱导 AI 撒谎的测试）上测试了这种新方法。结果非常明确：

准确性提升： 模型在识别那些“不存在的事物”（比如并不存在的狗）以及描述“确实存在的事物”方面，表现显著提高。
具体增益：
- 在 MMVP-MLLM 测试中，准确率提升了 9.33%。
- 在 POPE（针对物体幻觉的测试）中，准确率上升了近 3%。
- 在 Merlin（检查物体是否存在的测试）中，提升高达 3.4%。
泛化能力： 他们尝试将这种技巧应用到其他 AI 模型（如 LLaVA 1.5 和 Open-Qwen2VL）上，效果同样出色。这是解决“文本重于视觉”问题的通用方案。

权衡：微小的代价

论文指出了一个小局限性。由于 AI 现在被迫更多地依赖图片而非其对世界的记忆，它在处理仅需要常识的问题（例如“谁是一位著名的演员？”）时，表现可能会略微下降。然而，对于需要观察图像的任务，其带来的提升是巨大的。

总结

该论文认为，AI 模型之所以产生幻觉，是因为它们“重文本、轻视觉”。通过在 AI 开始思考之前，将视觉信息直接混合进文本词汇中，他们迫使模型去观察图片。这个简单的改进就像是一根接地线，阻止了 AI 飘向虚构的故事，使其锚定在视觉现实之中。

技术摘要：通过优化文本嵌入来缓解大型视觉语言模型中的幻觉问题

1. 问题陈述

大型视觉语言模型（LVLMs）经常受到幻觉的影响：输出在语言上流畅，但在事实层面错误或缺乏视觉输入支持。这些错误表现为物体幻觉（虚构不存在的物品）、属性幻觉（误识别颜色或属性）、关系幻觉（捏造空间关系）以及时间幻觉（在视频中虚构动作）。

作者假设，这些幻觉的主要来源是根植于主流架构范式的模态不平衡。大多数 LVLM（例如 Video-LLaVA, LLaVA）通过将视觉嵌入附加到预训练大语言模型（LLM）的输入标记流中来运行。由于 LLM 主干网络仅在文本上进行训练，它具有内在的语言驱动推理偏见。在微调过程中，模型倾向于过度依赖文本先验，而对视觉嵌入利用不足，将视觉标记视为次要信息。这导致了不对称的注意力分布，使模型过度关注序列边界处的文本标记，而忽略了中间的视觉标记，从而导致输出在语义上看似合理，但在视觉上缺乏依据。

2. 方法论：VisAlign

为了解决这种不平衡，作者提出了 VisAlign，这是一种通过在标记进入 Transformer 层之前整合全局视觉上下文来优化文本嵌入的方法。与在推理阶段修改注意力机制或添加复杂的交叉注意力模块的方法不同，VisAlign 在表示层级进行操作，以促进训练期间平衡的跨模态推理。

其核心机制包含三个步骤：

全局视觉聚合： 使用无参数池化操作对投影后的视觉嵌入 ( $V_{proj}$ ) 进行平均处理，以创建一个单一的全局视觉摘要向量 ( $\hat{V}$ )。
文本嵌入优化： 将该全局视觉向量沿嵌入维度与原始文本嵌入 ( $T$ ) 进行拼接。随后，一个线性投影层将这种融合后的表示映射回原始 LLM 嵌入维度，从而生成具有视觉依据的文本嵌入 ( $\hat{T}$ )。
重构： 通过按照基准模型使用的标准顺序，重新构建序列，即附加优化后的文本嵌入 ( $\hat{T}$ ) 和原始视觉嵌入 ( $V_{proj}$ )。

核心设计原则：

表示层级注入： 视觉信息被直接注入到语言表示中，迫使模型学习同时携带文本和视觉语义的嵌入。
架构无关性： 该方法不改变 LLM 主干网络架构，也不需要复杂的交叉注意力机制；它仅仅修改了输入的标记序列。
训练策略： VisAlign 与基准 LVLM（如 Video-LLaVA）的标准预训练和微调阶段同步训练。在预训练阶段，投影层和线性层进行训练而 LLM 保持冻结；在微调阶段，全模型进行端到端训练。

3. 主要贡献

系统性的模态不平衡分析： 论文提供了经验证据（通过注意力分数可视化），表明标准的 LVLM 表现出强烈的文本标记偏见，导致对视觉内容的注意力呈现碎片化。
一种简单且有效的缓解策略： VisAlign 提供了一种轻量级的解决方案，通过将视觉上下文嵌入到文本标记中来重新平衡注意力，将对齐过程从注意力阶段转移到了嵌入阶段。
泛化能力： 该方法不仅在 Video-LLaVA 上有效，在 LLaVA 1.5 和 Open-Qwen2VL 等其他最先进模型上也表现出有效性。
互补性： 该方法被证明与推理时解码策略（如 Visual Contrastive Decoding）是正交的，允许结合使用以实现性能提升。

4. 实验结果

作者在多个幻觉基准测试中评估了 VisAlign，报告了持续且具有统计学意义的增益：

MMVP-MLLM： 准确率提升了 +9.33%，展示了增强的细粒度视觉辨别能力。
POPE (A-OKVQA)： 准确率提升了 +2.99%，精确率提升了 +1.76%，F1 分数提升了 +1.18%，表明物体级幻觉有所减少。
Merlin： 在事实一致性和物体存在验证方面实现了高达 +3.4% 的提升。
HallusionBench： 在硬数据拆分集上实现了 +3% 的提升，特别是在需要视觉接地而非记忆知识的任务（如地图、OCR、表格）中。
Mementos： 在机器人领域展示了在物体（+1.13%）和动作（+0.97%）幻觉方面的增益，尽管在漫画和日常生活等复杂领域的提升较为温和。
泛化性： 当应用于 LLaVA 1.5 和 Open-Qwen2VL 时，VisAlign 一致地减少了幻觉并提高了在 POPE 基准测试上的表现。
对比： VisAlign 的表现优于单独使用推理时方法 Visual Contrastive Decoding (VCD)。将 VisAlign 与 VCD 结合使用达到了最高的整体性能，证实了它们的互补性质。

5. 重要性与主张

论文声称，LVLM 中的幻觉从根本上与当前架构的结构不对称有关，即预训练的 LLM 在推理过程中占据主导地位。通过优化包含全局视觉上下文的文本嵌入，VisAlign 迫使模型更多地关注视觉证据，从而减少对语言先验的依赖。

作者将 VisAlign 定位为一种简单且有原则的方法，它可以在不需要架构大改或外部监督的情况下提高视觉接地能力。他们指出，虽然该方法显著提升了视觉接地任务的性能，但可能会在依赖记忆世界知识的知识密集型类别（如地标、名人）中导致轻微的性能权衡。这项工作旨在启发进一步的研究，通过表示层级的对齐来增强安全性关键应用中多模态推理的可靠性。