🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

该论文介绍了 GHOST，这是一种通过优化图像嵌入来主动诱导并暴露多模态大语言模型幻觉漏洞的自动方法，旨在生成看起来自然的无物体图像，其成功率显著高于以往的方法，同时也可作为一种通过微调来提高模型鲁棒性的工具。

原作者： Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：过度想象的 AI

想象你有一个非常聪明的机器人助手，它能观察照片并描述它所看到的内容。它在大多数事情上都做得很好，但它有一个奇怪的故障：有时，它会看到并不存在的东西。

如果你给它看一张盘子里放着香蕉的照片，它可能会自信满满地说：“是的，我看到香蕉旁边有一把刀”，尽管那里根本没有刀。在 AI 世界中，这被称为幻觉（Hallucination）。这就像是一个为了讨好他人而过度热心，或者因为习惯了某些模式而开始脑补细节的人。

旧方法：检查静态列表

以前，研究人员尝试通过向 AI 展示一组固定的照片列表（就像做选择题一样）来寻找这些错误。他们会问：“你看到刀了吗？”然后观察 AI 是否答错了。

缺陷： 这就像只在一个特定的、空旷的停车场里测试驾驶员。你可能会错过他们在看到红球滚入街道时感到惊慌的情况。旧的测试过于僵化，无法发现新的或奇怪的 AI 失效方式。

新方案：GHOST（“魔术师”）

作者介绍了 GHOST（通过优化隐形 Token 生成幻觉）。你可以把 GHOST 想象成一位魔术师，他不仅仅是给 AI 看一张照片，而是专门设计了一张新照片，旨在诱导 AI 看到一个“幽灵”。

以下是 GHOST 的工作步骤：

1. “隐形墨水”优化

GHOST 从一张普通的照片（比如盘子里的香蕉）开始。它的目标是让 AI 认为那里有一把刀。

GHOST 并不直接画出一把刀（因为那对人类来说太明显了），它是在一种被称为 Embeddings（嵌入） 的“秘密语言”中进行工作的。想象一下，这是 AI 的内部梦境状态。
GHOST 微调了这个梦境状态。它添加了“隐形墨水”式的线索。也许它改变了香蕉柄的曲线，使其在 AI 眼中看起来稍微有点像刀柄，但在人类看来，它仍然看起来完全就是一根香蕉。

2. “翻译官”（映射器/Mapper）

这里有一个问题：观察图片的 AI（MLLM）与绘画的 AI（扩散模型/Diffusion Model）使用的语言不同。

GHOST 构建了一个翻译官（称为 mapper）。这个翻译官将来自绘画者的“秘密梦境微调”转化为绘画者可以理解的指令，而无需每秒钟都去询问观察者（MLLM）寻求帮助。这使得整个过程变得极快。

3. “梦境画家”（扩散模型/Diffusion）

一旦秘密指令准备就绪，GHOST 就会使用 Diffusion Model（一种根据噪声生成图像的 AI 类型）来绘制最终的图像。

它从原始的香蕉照片开始，并根据秘密指令轻轻地进行“去噪”。
结果： 最终生成的图像在人类看来 100% 自然。它仍然是盘子里的香蕉。但在 AI 眼中，光影或形状的细微变化足以让它大喊：“我看到了刀！”

为什么这很重要

该论文声称 GHOST 取得了三大胜利：

它是顶级侦探：
- 旧方法只能发现大约 1% 的幻觉案例。
- GHOST 发现了超过 28% 的案例。这就像是从一个漏掉 99% 硬币的金属探测器，升级到了一个几乎能找到所有硬币的探测器。
它是通用陷阱（可迁移性）：
- GHOST 可以欺骗一个 AI（如 Qwen），然后将这张被“诱导”出的图像展示给另一个完全不同的 AI（如 GPT-4o）。
- 结果： 第二个 AI 也产生了幻觉！这证明了不同的 AI 拥有共同的盲点。这就像是找到了一种特定的错觉，即使你的视觉系统和朋友的不同，这种错觉也能同时欺骗你们两人的眼睛。
它不仅是测试，更是疗法：
- 作者不仅用 GHOST 来破坏事物，还用它来修复问题。
- 他们将 GHOST 创建的“被诱导”图像展示给 AI，并附带正确答案（“不，那里没有刀”）。
- 结果： AI 在未来不再产生幻觉的能力变强了。这就像是向学生展示他们做错的具体陷阱题，以便他们学习正确的答案。

核心结论

GHOST 是一个能够自动创建“陷阱照片”的工具，用于压力测试 AI 视觉系统。它证明了当前的 AI 模型是脆弱的，很容易被细微且自然的改变所迷惑。但更重要的是，它提供了一种寻找这些弱点并训练 AI 的方法，从而提高 AI 的可靠性，确保当它说它看到了刀时，它看到的确实是一把刀。

技术摘要：GHOST —— 用于多模态大语言模型的幻觉诱导图像生成

问题陈述

多模态大语言模型（MLLMs）存在**物体幻觉（object hallucination）**问题，这是一种模型错误预测输入图像中并不存在的物体的失效模式。目前的评估方法依赖于具有固定视觉场景和精选图像集的静态基准测试。这些方法将分析局限于已知场景，无法揭示特定模型的漏洞或未预见的幻觉模式。此外，现有的发现幻觉的方法缺乏系统性的方式来评估哪些图像类型会触发错误，或者依赖于无法有效实现优化与图像生成解耦的高资源消耗流水线。

方法论：GHOST

作者引入了 GHOST（通过优化隐形 Token 生成幻觉），这是一个全自动、无监督的流水线，旨在通过合成不插入目标物体的图像来压力测试 MLLMs。

核心架构

GHOST 通过在**图像嵌入空间（image embedding space）**而非像素空间进行优化，并利用扩散模型生成最终图像。该流水线由三个主要组件组成：

嵌入空间映射器 ( $\Pi$ )：
为了弥合目标 MLLM 的视觉编码器 ( $V_M$ ) 与扩散模型使用的 CLIP 嵌入空间之间的差距，GHOST 使用了一个轻量级的多层感知器（MLP）。该映射器经过训练，通过均方误差（MSE）损失将 CLIP 嵌入与 MLLM 的视觉 Token 对齐。这种解耦使得高效优化成为可能，而无需同时对整个 MLLM 和扩散流水线进行反向传播。
优化目标：
给定一个输入图像 $X_v$ （缺少目标物体 $t$ ）和一个查询提示词 $X_q$ （例如，“你看到了 $t$ 吗？”），GHOST 优化一个 CLIP 嵌入 $c$ ，以满足三个约束：
- 接近性（Proximity）： 优化的嵌入 $c$ 必须与原始图像的嵌入 $c_0$ 保持接近（通过 $\ell_2$ 惩罚进行正则化），以保留高层语义。
- 缺失物体语义（Absence of Object Semantics）： 嵌入不得编码目标物体本身。这通过惩罚 $c$ 与从多样化文本描述（包括直接描述、通用模板和挖掘的 COCO 标题）中提取的“组合嵌入”之间的余弦相似度来实现。
- 诱导幻觉（Inducing Hallucination）： 嵌入必须最大化 MLLM 输出“是（Yes）”Token 的概率。对抗损失定义为 $-\log p(y^* | X_q, \Pi(c))$ ，其中 $y^*$ 是目标 Token。
引导扩散（Guided Diffusion）：
一旦嵌入 $c$ 满足幻觉阈值，它将调节一个潜在扩散模型（具体为 Stable Diffusion unCLIP）。与从噪声开始的标准生成不同，GHOST 从原始图像的**部分加噪潜在表示（partially noised latent）**开始逆向扩散过程。这确保了生成的图像保留了输入的结构完整性，同时引入了微妙且具有误导性的语义线索。
- 过滤： 使用严格的开放词汇物体检测器（OWLv2）对生成的图像进行过滤。如果检测器识别出了目标物体，则丢弃该样本。只有当 MLLM 产生幻觉且检测器确认物体不存在时，才被视为成功。

核心贡献

主动生成失败案例： 与静态基准测试不同，GHOST 主动合成图像以暴露特定模型的盲点，从而揭示出新颖且未预见的视觉触发因素。
解耦优化： 通过将 CLIP 嵌入映射到 MLLM 的视觉空间，GHOST 避免了端到端像素空间优化的计算瓶颈，相比于之前的 DASH 方法实现了 5 倍的加速。
语义级扰动： 该方法引入了微妙的语义级线索（例如，将香蕉茎修改得像刀刃一样），这些线索在人类看来是自然的变体，但足以将模型推向决策边界。
可迁移性： 该方法证明了为一种模型优化的幻觉诱导图像通常也会迁移到其他模型，揭示了跨不同 MLLM 架构的系统性漏洞。

实验结果

作者在三个开源 MLLM 上评估了 GHOST：Qwen2.5-VL、LLaVA-v1.6 和 GLM-4.1V-Thinking。

成功率： 在测试的模型中，GHOST 实现了 28.1% 至 32.4% 的幻觉成功率。相比之下，之前的最先进方法 DASH 在相同的基于 COCO 的数据集上仅实现了 0.1%。
可迁移性： 为 Qwen2.5-VL 优化的图像在 GPT-4o 中诱发了 66.5% 的幻觉，并在其他模型（LLaMA3.2, Aya, Gemini）中诱发了 42% 到 72% 不等的幻觉，表明存在共同的失效模式。
图像质量： 定量指标（FID）和人类评估确认了生成的图像具有高质量且视觉自然。人类标注者在 86–89% 的 GHOST 图像中认为目标物体是缺失的，这与基准扩散方法相当。
缓解措施： 在 GHOST 生成的合成图像上对 Qwen2.5-VL 进行微调，提高了其在下游幻觉基准测试（POPE 和 CHAIR）上的鲁棒性，同时保持了通用的视觉语言能力（VQAv2, COCO Captioning）。

重要性与主张

论文将 GHOST 定位为构建可靠多模态系统的诊断与纠正工具。

诊断性： 它揭示了 MLLMs 依赖于伪相关性和微妙的视觉线索，而非鲁棒的物体检测，从而暴露了静态基准测试无法发现的漏洞。
纠正性： 作者证明了在这些合成失败案例上进行训练可以减轻幻觉，这为提高模型鲁棒性提供了一条路径。
可扩展性： 通过将优化与图像生成器解耦，GHOST 提供了一个可扩展的框架，用于压力测试未来的 MLLMs，包括像 GLM-4.1V-Thinking 这样的推理型模型，该模型在测试中成功地被改变了推理轨迹，从而为不存在的物体进行辩护。

作者承认了局限性，指出该方法依赖于能够进行图像嵌入调节的扩散模型（如 unCLIP），且目前主要关注以物体为中心的幻觉，尽管初步实验表明其也适用于属性和关系类幻觉。