🤖 AI

Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

该论文提出了一种名为残差解码（ResDec）的无训练新方法，通过利用历史信息和模型内部的隐式推理机制来纠正语言先验偏差，从而有效抑制大型视觉语言模型中的幻觉现象并提升视觉定位能力。

原作者： Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“残差解码”（Residual Decoding，简称 ResDec）的新方法，旨在解决大型视觉 - 语言模型（LVLM）中一个令人头疼的问题：“幻觉”**。

为了让你轻松理解，我们可以把这篇论文的核心思想拆解成几个生动的比喻。

1. 什么是“幻觉”？（模型在“脑补”）

想象一下，你让一个**“博学但有点爱瞎想的朋友”**（这就是大型视觉 - 语言模型）看一张照片，然后让他描述照片里有什么。

照片内容：一张只有3 根香蕉的照片。
朋友的反应：他看着照片，嘴里说着：“嗯，这里有很多香蕉……"然后突然自信地开始编造：“看，那边还有两根，一共 5 根！而且它们看起来像是刚被猴子吃了一半。”

问题出在哪？
其实照片里只有 3 根。但他之所以编造出"5 根”和“猴子”，是因为他脑子里的**“语言习惯”**（Language Priors）太强了。

他可能以前看过很多关于“香蕉”的文章，里面常提到“很多香蕉”或“猴子吃香蕉”。
在描述过程中，他的语言逻辑逐渐盖过了视觉事实。就像他一边看图，一边脑子里在背课文，背着背著，课文内容就取代了眼前的真实景象。

这就是**“幻觉”**：生成的内容语法通顺、逻辑自洽，但跟图片完全对不上号。

2. 以前的方法太“重”了（笨重的修正方案）

为了解决这个问题，以前的科学家尝试过两种方法，但都有缺点：

重新训练（Training-based）：就像让这位朋友去上“诚实特训营”，重新学习怎么看图说话。但这需要大量的时间和金钱，而且每次模型升级都要重新特训，太贵了。
强行干预（Training-free but heavy）：就像在他说话时，安排一个**“双倍的影子”**在旁边实时对比。如果他说错了，影子就立刻纠正。但这会让说话速度变慢一倍，而且非常消耗精力（计算资源）。

3. ResDec 是什么？（聪明的“后视镜”策略）

这篇论文提出的 ResDec，不需要重新训练，也不需要双倍精力。它就像给这位朋友装了一个**“智能后视镜”**。

核心发现：答案早就藏在“过程”里

研究人员发现了一个有趣的现象：
当这位朋友在描述图片时，虽然他在最后说出答案（比如"3 根”）之前，可能会因为“瞎想”而犹豫或偏离，但在他说话的中间过程（比如他说“让我数一下……"、“看起来像……"这些铺垫词时），他的**潜意识（内部逻辑）**其实早就已经“知道”正确答案了。

比喻：就像你开车时，虽然你嘴上在犹豫“前面是不是有红灯？”，但在你大脑的前几毫秒，你的眼睛其实已经捕捉到了红灯的信号。只是后来你的“语言习惯”（比如“通常这里没红灯”）干扰了你，让你差点说错。

ResDec 的工作原理：

观察“后视镜”：ResDec 会回顾朋友刚才说过的几句话（历史 Token）。
寻找“稳定期”：它发现，在朋友刚开始描述时，脑子有点乱（混乱期）；在描述快结束时，他又开始为了凑字数而发散思维（发散期）。但在中间某个阶段，他的逻辑是最清晰、最稳定的（锚定期）。
提取“潜台词”：ResDec 专门提取这个“稳定期”里朋友潜意识里的真实想法（那些还没被语言习惯带偏的线索）。
混合修正：在朋友要说出最终答案的那一刻，ResDec 悄悄地把这些“潜台词”加进去，像给咖啡加了一点糖，中和掉那些“瞎想”的苦涩。

结果：朋友依然说话流利，但不再被语言习惯带偏，而是紧紧抓住了图片里的真实信息。

4. 这个方法好在哪里？

不用重新上学：不需要训练，直接给现有的模型装上这个“插件”就能用。
不费脑子：不需要双倍计算量，速度几乎和原来一样快。
效果显著：
- 在POPE（物体幻觉测试）等 benchmarks 上，准确率大幅提升。
- 在CHAIR（描述幻觉测试）上，编造不存在的物体（比如不存在的猴子、不存在的第 4 根香蕉）的情况大幅减少。
- 不仅减少了幻觉，还让模型在复杂的推理任务上表现更好。

总结

这篇论文就像是在告诉我们要**“相信过程，修正结果”**。

大型模型之所以会“幻觉”，是因为它们在说话的过程中，语言习惯逐渐淹没了视觉事实。ResDec 就像是一个聪明的**“时间旅行者”，它回到模型说话的前几秒，提取出那些最真实、最未被污染的线索**，然后在最后关头把这些线索“注入”到模型的回答中。

这就好比给一个爱做梦的画家，在落笔定稿前，轻轻提醒他一句：“嘿，别忘了你刚才看到的真实颜色。”于是，画作既保留了艺术性，又还原了真实。

论文技术总结：Residual Decoding (ResDec)

1. 研究背景与问题定义

大视觉语言模型（LVLMs） 虽然能够处理图文输入并在多模态任务中表现出色，但普遍存在幻觉（Hallucination） 问题。

定义：幻觉是指生成的内容在语法和句法上连贯，但与视觉输入不匹配或直接无关。
核心成因：论文指出，除了预训练偏差和视觉 - 语言对齐弱之外，语言先验（Language Priors） 是导致幻觉的主要原因。在生成过程中，随着文本内容的累积，模型逐渐淡忘了视觉上下文，转而依赖语言统计规律生成看似合理但视觉上无根据的内容（即“语言先验幻觉”）。
现有方法的局限性：
- 基于训练的方法（如去偏、偏好对齐）：需要额外的训练数据和昂贵的标注，扩展性差。
- 无训练方法（如对比解码、注意力干预）：通常需要 2 倍以上的推理时间，增加显存开销，或需要修改模型内部架构，导致效率低且通用性差。

目标：设计一种无需训练、即插即用、低推理成本的解码策略，以有效抑制语言先验导致的幻觉。

2. 核心方法论：Residual Decoding (ResDec)

ResDec 是一种基于历史感知残差引导的解码策略。其核心思想是利用 LVLM 内部隐含的推理机制，通过分析历史 Token 的 Logits 分布演变来纠正偏差。

2.1 关键发现：隐含推理与 U 型分布

隐含推理机制：研究发现，在模型显式解码出答案之前，正确答案的信号已经隐含在历史 Token 的 Logits 分布中。
JSD 的 U 型趋势：通过计算历史窗口内候选 Token 分布的 Jensen-Shannon 散度 (JSD)，观察到其随时间呈现U 型变化：
1. 语义前清晰阶段 (PSAP)：JSD 波动下降，分布从无序向收敛过渡，此时语义尚不稳定。
2. 语义锚定阶段 (SAP)：JSD 接近 0 的谷底，分布高度稳定，模型已牢固锚定核心语义，受语言先验干扰最小。
3. 表达发散阶段 (EDP)：JSD 再次上升，模型开始追求多样化的表达形式，此时容易受语言先验影响产生幻觉。

2.2 ResDec 算法流程

ResDec 利用上述观察，通过以下步骤构建残差引导信号：

历史窗口聚合 (Historical Aggregation)：
- 选取包含 SAP 和部分 EDP 的历史窗口（避开不稳定的 PSAP）。
- 计算窗口内每个时间步的置信度 (Confidence) $C_i$ ，基于该步 Token 分布的熵（低熵即高置信度）。
- 利用置信度加权聚合历史 Logits，生成残差信号 (Residual Signal)：
  $\text{logit}^{\text{res}}_\theta = \sum \frac{C_i}{\sum C_j} \cdot \text{logit}_\theta(\hat{y}_i)$
- 该信号代表了语义清晰且稳定的历史信息。
历史与当前信息融合 (Assembly)：
- 将生成的残差信号与当前步的原始 Logits 进行加权融合：
  $\text{logit}_{\text{final}} = (1-\alpha) \cdot \text{logit}_{\text{current}} + \alpha \cdot \text{logit}^{\text{res}}$
- 其中 $\alpha$ 是平衡权重。
- 截断机制：引入超参数 $\beta$ 对分布进行截断，仅保留高概率的合理 Token，进一步过滤不合理的幻觉候选。

2.3 优势

无需训练：完全基于解码时的 Logits 操作。
低开销：仅需单次前向传播，无需额外的对比模型或外部编码器，推理延迟仅比贪婪解码慢约 0.02 倍。
通用性：即插即用，适用于不同的 LVLM 架构。

3. 主要贡献

机理揭示：首次明确指出 LVLM 幻觉的本质是幻觉 Token 在解码阶段的 Logits 分布中错误地出现并超越真实 Token，且这一过程与 JSD 的 U 型演变密切相关。
方法提出：提出了 ResDec，一种高效、无需训练的解码策略。它利用 JSD 分析历史分布，聚合语义清晰的残差信号，有效抑制语言先验幻觉。
性能突破：在多个基准测试中实现了 SOTA 性能，证明了该方法在减少幻觉的同时，能显著提升综合多模态推理能力。

4. 实验结果

4.1 幻觉抑制效果

在 POPE（物体幻觉评估）、CHAIR（描述性幻觉）和 HallusionBench（视觉错觉与幻觉）等基准上：

POPE：在 LLaVA-1.5, InstructBLIP, Qwen2.5-VL 三个模型上，ResDec 相比常规解码（Regular）平均准确率提升 7.84%，F1 分数提升 8.01%，且显著优于 VCD, ICD, DoLa, OPERA 等 SOTA 方法。
CHAIR：在 CHAIRS（句子级）和 CHAIRI（实例级）指标上均有显著下降（越低越好），表明幻觉大幅减少。
HallusionBench：在 fACC, qACC, aACC 等指标上均取得最佳性能。

4.2 综合任务表现

在 MME, MMBench, ScienceQA, MMVP, MMStar 等综合基准上：

ResDec 不仅没有损害模型的通用能力，反而在多个任务上取得了性能提升（例如在 MME 上提升 2.87%，在 MMVP 上提升 11.65%）。
这表明 ResDec 在纠正幻觉的同时，增强了视觉与语言信息的对齐，提升了多模态推理的准确性。

4.3 效率分析

延迟：ResDec 的延迟极低（29.11 ms/token），仅比贪婪解码（28.54 ms/token）略慢，远优于 OPERA (104.46 ms/token) 等需要多次推理的方法。
显存：显存占用与常规解码几乎一致，无额外负担。

5. 意义与展望

理论意义：深入揭示了 LVLM 解码过程中隐含推理的动态特性，提出了利用历史分布稳定性来对抗语言先验的新视角。
应用价值：提供了一种低成本、高效率的解决方案，使得现有的 LVLM 无需重新训练即可显著提升可靠性，特别适用于对实时性和资源敏感的实际应用场景。
未来方向：该方法为解码阶段的干预提供了新思路，未来可进一步探索其在长文本生成、复杂推理任务中的扩展应用。

总结：ResDec 通过巧妙利用模型内部的隐式推理信号和历史分布的稳定性，以极小的计算代价成功解决了 LVLM 中普遍存在的语言先验幻觉问题，是目前该领域兼具高效性与高性能的突破性工作。