技术摘要：TIGER

问题陈述

本文探讨了多模态生成中的**忠实度幻觉（faithfulness hallucination）**问题，即生成的输出虽然流畅，但包含了与输入不符的具体事实（例如，将两辆卡车的图像描述为三辆）。虽然现有的迭代修复方法试图通过基于输入和当前输出生成反馈来纠正这些错误，但作者发现了一个关键的失效模式：伪相关性（spurious correlations）。当反馈生成器同时以输入和幻觉输出作为条件进行推理时，幻觉内容会偏置模型对输入的理解，导致反馈倾向于认可那些缺乏依据的内容，而非标记出它们。此外，现有方法通常生成自由形式的自然语言反馈，缺乏明确的事实级风险评分，这使得在有限的计算预算下难以优先进行修复。

方法论：TIGER

TIGER（基于图证据路由的可追溯推理，Traceable Inference with Graph-Based Evidence Routing）是一个旨在通过重新设计反馈机制来减轻幻觉的推理时框架。它在一个**冻结的主干模型（frozen backbone）**上运行，由三个核心组件组成：

1. 独立原子投影（Independent Atomic Projection）：
   不同于联合处理输入和输出，TIGER 将它们分别提取为结构化的事实图：

   • 观察图（Observation Graph, $G_X$）： 使用提示词从输入 ($X$) 中提取，将可观察的事实枚举为三元组 $(e_1, rel, e_2)$。该图仅计算一次且保持固定。
   • 主张图（Claim Graph, $G_{Y_t}$）： 使用相同的原子提取提示词从当前输出 ($Y_t$) 中提取。
     这种分离防止了输出中的幻觉主张影响对输入事实的提取。

2. 确定性事实级风险排序（Deterministic Fact-Level Risk Ranking）：
   TIGER 根据每个主张 $f$ 在 $G_{Y_t}$ 中与 $G_X$ 的关系计算其风险得分 $r(f)$：

   • 支持得分（Support Score, $s(f)$）： 衡量一个主张与 $G_X$ 中最佳匹配事实之间的相似度。为了处理提取遗漏问题，该得分会沿着 $G_{Y_t}$ 中的指代关系边进行几何衰减传播。
   • 冲突得分（Conflict Score, $c(f)$）： 衡量一个主张与 $G_X$ 之间最强的矛盾，定义为主题一致性和结论分歧。
   • 风险计算： $r(f) = (1 - s(f)) + \lambda \cdot c(f)$。
     由于评分是确定性的，系统可以对主张进行排序，并选择特定子集（前 $\lceil \alpha N \rceil$ 个）进行修复，从而实现事实级的调度。

3. 局部细化（Localized Refinement）：
   模型执行迭代修复，仅针对选定的高风险主张进行处理。细化步骤（$Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$）使用原始输入 $X$ 和当前输出 $Y_t$ 来局部修复被标记的片段，同时保持主干模型冻结。

理论保证：
论文提供了收敛性分析（定理 3.1），表明在温和假设下（图规模有界、每项事实的修复进展、副作用有界），预期总风险会呈几何级数下降至一个明确的渐近界限。

核心贡献

1. 识别反馈失效模式： 作者证明了联合条件下的反馈生成会导致幻觉主张偏置输入解释，从而强化错误。
2. TIGER 框架： 一种新型的推理时框架，用独立的原子投影和确定性风险排序取代了自由形式的联合反馈。这使得反馈变得显式、可排序，并适用于局部修复。
3. 全面的评估： TIGER 在四种跨模态生成路径上进行了评估：
   • 图像 $\to$ 文本 (COCO, AMBER)
   • 图像+文本 $\to$ 文本 (MMHal-Bench)
   • 音频 $\to$ 文本 (Clotho)
   • 视频 $\to$ 文本 (VideoHallucer)
     该框架使用 Qwen2.5-Omni 作为主要主干模型，并在 LLaVA-1.5 和商业模型上进行了验证。

实验结果

• 减少幻觉： TIGER 在所有模态下均能持续减少不支持的主张（通过 CHAIR、AEHR 和 HallucRate 等指标衡量）。例如，在 COCO 数据集上使用 Qwen2.5-Omni 时，它将 CHAIRs 从 0.070 降低到 0.050，将 CHAIRi 从 0.069 降低到 0.035。
• 质量保持： 与某些以牺牲流畅度换取准确度的基线方法不同，TIGER 保留甚至提升了任务质量（例如，COCO 上的 BERTScore 从 0.588 提高到 0.643）。
• 消融研究：
  • 仅进行迭代修复（不使用独立提取）会因放大幻觉而使性能恶化。
  • 加入原子投影后恢复了性能。
  • 加入确定性风险排序后效果最好，证实了所有三个组件都是必要的。
• 机制分析： 实验表明，原子投影减少了反馈中缺失对象的提及率（从联合反馈的 5.0% 降至 TIGER 的 2.0%）。此外，细化步骤成功恢复了在初始提取输入图时遗漏的正确事实。
• 真实案例研究： 在多源危机报告场景（CrisisFACTS）中，TIGER 将精确度从 0.65 提高到 0.96，将 F1 从 0.66 提高到 0.74，展示了其将摘要锚定在嘈杂、多源证据上的能力。

意义与主张

论文声称 TIGER 为迭代多模态修复中的“反馈偏置”问题提供了鲁棒的解决方案。通过将输入观察与输出主张提取解耦，并引入确定性的、可排序的风险度量，TIGER 实现了精确的局部修复，且无需对模型进行微调。作者断言，这种方法可以推广到不同的主干模型和模态，在保持生成内容效用的同时，有效减少幻觉。这项工作表明，结构化的、基于图的证据路由是实现更忠实的多模态生成的可行路径。

注明的局限性：
作者承认 TIGER 侧重于局部的、事实性的三元组，这对于抽象、因果或主观性的内容可能不够直接。此外，迭代性质增加了推理时的计算开销，表明未来需要研究更高效的调度策略以实现实时部署。