🤖 AI

Hallucination-aware intermediate representation edit in large vision-language models

该论文提出了一种名为 HIRE 的框架，通过动态检测并编辑大视觉语言模型中的幻觉中间表示，以极低的计算成本实现了优于现有重训练和对比解码方法的幻觉消除效果。

原作者： Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HIRE 的新方法，旨在解决大型视觉 - 语言模型（LVLMs）中一个令人头疼的问题：“幻觉”。

为了让你轻松理解，我们可以把现在的 AI 模型想象成一个才华横溢但有点“爱吹牛”的导游。

1. 什么是“幻觉”？（导游的毛病）

想象你带着一张照片去问这位导游：“这是什么？”

真实情况：照片里只有一个拿着红酒杯的男人。
AI 的幻觉：导游可能会说：“看，这个男人拿着红酒杯，旁边还有一把刀、一些披萨，甚至还有一个他在看手表……"
实际上，照片里根本没有刀、披萨或手表。AI 只是根据它学过的知识“脑补”了这些细节，却信誓旦旦地说是真的。这就是幻觉——AI 说的和眼睛看到的（输入的图片）对不上号。

2. 以前的解决办法有什么缺点？

为了解决这个问题，以前的科学家主要用了两种招数，但都有大毛病：

招数一：重新培训（Retraining）
- 比喻：就像把这位导游送回学校，重新上一遍“如何诚实描述图片”的课。
- 缺点：太贵了！需要海量的数据和超级计算机，就像为了纠正一个导游的毛病，把整个旅游公司都重建了一遍。
招数二：对比解码（Contrastive Decoding）
- 比喻：导游每次说话前，都要先在心里“模拟”两个版本：一个是正常说的，一个是故意胡说八道的。然后对比这两个版本，把胡说八道的部分删掉。
- 缺点：太慢了！就像导游每说一句话都要先做两次深呼吸再开口，导致回答速度变慢，而且它不管三七二十一，把所有词都检查一遍，连“在”、“的”这种 harmless 的词也不放过，浪费精力。

3. HIRE 是怎么做的？（聪明的“实时修图师”）

这篇论文提出的 HIRE 方法，既不用重新培训，也不用做两次推理。它更像是一个坐在导游旁边的“实时修图师”。

它的核心思想是：在导游说话的过程中，直接修改他脑子里的“想法”，而不是修改他这个人，也不是让他重复思考。

HIRE 由三个小助手组成：

A. 编辑者 (The Editor) —— 识别“谎言”的显微镜

作用：它像一个显微镜，专门盯着导游脑子里的“想法”（中间层特征）。
比喻：它能分辨出哪些想法是“基于事实的”（比如“拿着酒杯”），哪些是“瞎编的”（比如“拿着披萨”）。它学会了把“瞎编”的部分从“事实”中剥离出来，就像把混在面粉里的沙子筛掉一样。
操作：一旦发现有“沙子”（幻觉），它就轻轻地把这部分特征“推”向正确的方向，让导游脑子里的想法变回真实的。

B. 路由 (The Router) —— 聪明的“守门员”

作用：它决定什么时候需要“修图”。
比喻：并不是导游说的每一句话都需要改。如果导游说“今天天气不错”，这不需要改。路由就像一个守门员，它只会在导游快要开始“吹牛”（比如提到不存在的物体）时，才把“修图师”叫出来。
好处：这大大节省了时间，避免了“杀鸡用牛刀”，让整个过程非常快。

C. 调节器 (The Regulator) —— 控制“想象力”的旋钮

作用：这是一个非常酷的功能。
比喻：想象导游手里有个旋钮。
- 如果你把旋钮拧到**“诚实模式”**（正数），AI 就会极力避免幻觉，只说看到的。
- 如果你把旋钮拧到**“创意模式”**（负数），AI 就可以适度地发挥想象力。这在写小说或创意写作时很有用，因为有时候我们需要一点点“幻觉”来让故事更生动。
- 以前的方法要么只能完全禁止幻觉，要么完全管不住，而这个旋钮让你随心所欲地控制。

4. 为什么这个方法很厉害？

快且省：不需要重新训练庞大的模型，也不需要让模型做两次推理。就像给导游戴了一副“防幻觉眼镜”，戴上就能用，不费电。
效果好：在多个测试中，它比目前最先进的方法都能更好地减少幻觉，同时还能保持回答的流畅和准确。
可控：它是第一个能像调音量一样，精准控制 AI“胡说八道”程度的方法。

总结

这就好比我们不再试图把导游送回学校重读（太慢太贵），也不再让他每句话都自我怀疑（太累太慢）。而是给他配了一个智能的“实时纠错耳机”：

当他脑子里冒出虚假念头时，耳机立刻提醒并修正。
当他正常说话时，耳机保持静音。
如果你想让他发挥创意，你可以调整耳机的灵敏度。

这就是 HIRE：一个轻量、高效、且能精准控制 AI“想象力”的新技术。

论文技术总结：HIRE - 大视觉语言模型中的幻觉感知中间表示编辑

1. 研究背景与问题 (Problem)

大型视觉语言模型（LVLMs）在多模态推理和复杂场景理解方面表现出色，但存在严重的**幻觉（Hallucination）**问题，即生成的文本内容与实际视觉输入相矛盾（例如，描述图片中不存在的物体）。

现有的幻觉缓解方法主要分为两类，但均存在显著局限性：

重训练方法（Retraining Methods）： 需要构建专门的幻觉数据集并对模型进行微调。这消耗巨大的计算资源和数据成本，且难以推广。
对比解码方法（Contrastive Decoding, CD）： 在推理阶段通过对比原始输出和扰动输出的概率分布来抑制幻觉。虽然无需重训练，但需要双重推理（Dual Inference），导致推理延迟翻倍，且通常对所有 Token 进行统一调整，缺乏针对性，可能损害输出的连贯性。

此外，现有方法大多缺乏对幻觉程度的可控性，无法在需要创造性写作（允许适度幻觉）和事实性描述（严格禁止幻觉）之间灵活切换。

2. 核心方法论 (Methodology)

作者提出了 HIRE (Hallucination-aware Intermediate Representation Edit)，一种无需修改模型权重、无需重训练、且推理成本极低的特征编辑框架。HIRE 的核心思想是在 LVLM 的中间表示层（Intermediate Representations）动态检测并编辑幻觉特征。

2.1 整体架构

HIRE 包含三个关键组件：

Editor (编辑器)： 负责学习如何识别和分离幻觉特征，并计算消除幻觉的编辑方向。
Router (路由)： 一个轻量级模块，用于判断当前 Token 是否需要进行编辑，避免对无幻觉的 Token 进行不必要的操作。
Hallucination Regulator (幻觉调节器)： 通过超参数 $\alpha$ 动态控制幻觉的抑制或增强程度。

2.2 关键组件详解

A. Editor (基于对比学习的特征解耦)

目标： 将中间表示解耦为语义不变部分（Semantic Invariance）和幻觉差异部分（Hallucinatory Difference）。
机制： 使用双编码器自编码器（Dual-encoder Autoencoder） $G_\phi$ $G_{ϕ}$ ：
- 语义编码器 ( $E_{sem}$ )： 学习保留语义信息，确保编辑后不改变原意。
- 幻觉编码器 ( $E_{hal}$ )： 专门学习幻觉相关的信号，将真实样本和幻觉样本在特征空间中分离。
- 编辑方向计算： 通过对比真实样本（由完整图像生成）和幻觉样本（由扰动/退化图像生成）的中间表示，计算幻觉减少方向 $\delta_l$ 。结合注意力融合模块，生成针对特定 Token 的编辑方向 $\Delta_{tl}$ 。
训练策略： 采用对比学习（Contrastive Learning），最大化语义相似样本的相似度，最小化不同语义或不同幻觉状态的样本相似度。

B. Router (基于 DPO 的决策机制)

动机： 并非所有 Token 都存在幻觉风险，且深层网络存在冗余。
机制： 一个轻量级的 MLP 模块，仅以第一层的 Transformer 表示 $h_{t0}$ $h_{t 0}$ 为输入，输出二元决策 $c \in \{0, 1\}$ $c \in {0, 1}$ 。
- 若 $c=1$ ，则激活后续所有层的 Editor 进行编辑。
- 若 $c=0$ ，则保持原样。
训练策略： 采用直接偏好优化（Direct Preference Optimization, DPO）。利用成对数据（高幻觉严重度的句子 vs 低幻觉严重度的句子），训练 Router 学习何时触发编辑，以最大化有效编辑的概率，同时最小化无效编辑。

C. 编辑过程与可控性

编辑公式： $h_{t,l}^{aug} = h_{t,l} + \alpha \cdot \Delta_{t,l}$ (当 Router 决定编辑时)。
调节器 $\alpha$ ：
- $\alpha > 0$ ：抑制幻觉（将特征推向低幻觉方向）。
- $\alpha < 0$ ：增强幻觉（用于创造性任务）。
- 通过调整 $\alpha$ ，用户可以在生成内容的准确性和创造性之间灵活权衡。

2.3 数据构建

真实/幻觉样本对： 使用相同的文本提示，分别输入完整图像（生成真实表示）和噪声/退化图像（诱导幻觉，生成幻觉表示）。
偏好数据： 通过贪婪解码生成多个候选句子，利用 CHAIR 指标量化幻觉严重程度，构建用于 Router 训练的偏好对。

3. 主要贡献 (Key Contributions)

新范式： 提出了一种无需重训练、无需双重推理的幻觉缓解新范式，通过修改中间表示直接消除幻觉。
HIRE 框架： 设计了包含 Editor（特征解耦与编辑）、Router（选择性编辑）和 Regulator（可控生成）的完整框架。
SOTA 性能： 在三个主流基准（CHAIR, POPE, AMBER）上取得了最先进（State-of-the-Art）的性能，显著降低了幻觉率。
高效与可控： 相比对比解码方法，推理开销极小；相比重训练方法，无需额外训练成本。同时实现了对幻觉程度的精细控制。

4. 实验结果 (Results)

实验在 LLaVA-1.5 和 InstructBLIP 模型上进行，评估了 CHAIR（图像描述幻觉）、POPE（多模态问答幻觉）和 AMBER（综合幻觉评估）三个基准。

CHAIR 基准：
- 在长描述场景（Max tokens=512）下，HIRE 将句子级幻觉（CHAIRS）降低了约 40%，实例级幻觉（CHAIRI）降低了约 50%。
- 例如，在 LLaVA-1.5 上，CHAIRS 从 51.3 降至 30.2，CHAIRI 从 16.8 降至 9.7。
POPE 基准：
- 在判别式任务中，HIRE 在准确率和 F1 分数上均优于现有 SOTA 方法（如 Octopus）。在 LLaVA-1.5 上，综合准确率提升至 90.37%。
AMBER 基准：
- 在综合评分上，HIRE 取得了最高分，显著优于基线和其他微调/解码方法。
效率分析：
- 推理开销： 仅引入微小的计算开销（TFLOPs 增加极少），远优于需要双重推理的对比解码方法。
- 通用能力： 在 MME 和 SEED-Bench 等通用能力基准上，HIRE 未造成性能下降，保持了模型原有的理解能力。
可控性验证：
- 通过调整 $\alpha$ 参数，HIRE 能线性地控制幻觉水平。 $\alpha$ 从负值到正值变化时，幻觉率呈现显著的下降趋势， $R^2$ 拟合度高达 0.97，证明了其卓越的可控性。

5. 意义与展望 (Significance)

实用性强： HIRE 提供了一种即插即用（Plug-and-play）的解决方案，无需昂贵的重训练或复杂的推理流程，极大地降低了幻觉缓解的门槛。
灵活性： 首次实现了对 LVLM 幻觉程度的动态、连续控制，使得同一模型既能用于严谨的事实核查，也能用于需要想象力的创意写作。
理论价值： 验证了 LVLM 内部表示空间中真实特征与幻觉特征是可分离的，为后续基于特征干预（Feature Intervention）的研究提供了新的思路。
局限性： 当前方法在训练时使用了所有 Token 和层，未来工作可探索仅针对关键隐藏状态进行选择性训练，以进一步提升数据效率。

总结： HIRE 通过创新的中间表示编辑技术，在保持高效推理的同时，显著解决了大视觉语言模型的幻觉问题，并赋予了用户控制幻觉生成的能力，是迈向更可靠、更可控多模态 AI 的重要一步。