Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
本文提出预填充阶段干预（PTI），这是一种新颖的模态感知导向范式，通过在预填充阶段修正表征以抑制误差累积，从而减轻大型视觉 - 语言模型中的幻觉问题，提供了一种即插即用且优于现有解码阶段方法的解决方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将大型视觉语言模型（LVLM）比作一位非常聪明、但有点容易走神的导游。你给它看一张照片，它便开始描述所见之物。问题在于，这位导游有时会过于投入。它可能在图片中看到一只狗，却自信地说：“旁边还坐着一只猫”，尽管实际上并没有猫。这种现象被称为幻觉。
长期以来，研究人员试图通过导游说话时低声纠正它来解决这个问题。每当导游犯错时，他们就会说：“等等，别说‘猫’！”这篇论文将这种方法称为解码时干预。
本文作者认为，这种做法就像试图通过每隔几英寸就推回一次的方式，来阻止雪球从山坡上滚落。当你推它时，它已经裹挟了大量积雪（错误），而你的推搡可能只会让它滚得更快，或以更糟糕的方式散开。他们称此为“雪球效应”。
新思路：修复地基，而非屋顶
作者提出了一种名为**预填充时干预（PTI）**的新方法。
他们不是在导游说话时试图纠正它，而是在它说出第一个字之前，就修复它的心理状态。
以下是他们如何做到的，使用了一个简单的类比：
1. “预填充”阶段：布置餐桌
在导游开始说话之前，它会查看照片并构建一张关于其中内容的心理地图。在计算机术语中，这被称为KV 缓存（Key-Value Cache）。你可以将其视为导游的“工作记忆”或它在开始演讲前所做的笔记。
- 旧方法：导游做笔记，开始说话，犯了一个错误，然后有人试图在演讲进行的同时修正这些笔记。
- PTI 方法：导游做笔记，在开始说话之前，一位专家介入并完善这些笔记。
2. “模态感知”的转折：两种不同的镜头
论文指出，导游之所以会混淆，是因为它将看到的（图像）与读到的（文本）混为一谈。
- 视觉镜头：作者教导导游专注于照片中的物体（如马或水槽），并忽略背景噪音（如草地或浴室瓷砖）。他们通过向导游展示仅包含物体的图片，然后展示仅包含背景的图片，并教导其区分两者来实现这一点。
- 文本镜头：他们还教导导游专注于描述物体的特定词汇（如“马”），并忽略填充词。
3. “一次性”修复
一旦导游拥有了这些完善的笔记（增强的 KV 缓存），它便开始说话。PTI 的魔力在于他们只干预一次。他们不再不断低声纠正。他们将地基设置得如此完美，以至于导游自然避免了在只有“狗”的情况下编造“猫”之类的事情。
为什么这更好？
论文使用几个关键比喻将其方法与现有方法进行了比较：
- 雪球与种子：现有方法试图在雪球（错误）开始滚动后将其阻止。PTI 则播下更好的种子（初始记忆），这样雪球就永远不会朝错误的方向滚动。
- 噪音过滤器：想象导游身处一个嘈杂的房间。旧方法试图在导游试图说话时告诉它忽略噪音。PTI 则在导游进入房间之前就给它戴上降噪耳机，使其从一开始就能清晰地听到物体。
- “即插即用”工具：作者表明，PTI 不需要替换导游的大脑。它就像可以添加到任何现有导游（不同的 AI 模型）中的插件，无需从头重新训练，即可立即提高其可靠性。
结果
当他们在三种不同类型的 AI 导游（LLaVA、Qwen-VL 和 DeepSeek-VL）上测试时，结果非常明确：
- 谎言更少：导游关于图片中有哪些物体的错误显著减少。
- 没有“雪球效应”：当导游犯了一个小错误时，它不会演变成漫长而令人困惑的谎言。
- 速度：由于他们只在开始时修复一次记忆，导游的速度并未减慢。它说话的速度与之前一样快。
简而言之，该论文声称，通过在 AI 开始说话之前清理其“笔记”，并将图像和文本分开处理，我们可以阻止 AI 对不存在的事物产生幻觉。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。