💬 NLP

OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

本文提出了 OmniTrace，这是一个轻量级且模型无关的框架，通过将归因问题形式化为生成时的因果追踪过程，实现了无需重新训练即可在 Omni-Modal 大语言模型生成过程中自动将输出语句追溯至多模态输入源，从而提供稳定且可解释的跨模态归因解释。

原作者： Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OmniTrace 的新工具，它就像是为现代“全能型”人工智能（能同时看懂文字、图片、听到声音、看懂视频）配备的一位超级“溯源侦探”。

为了让你更容易理解，我们可以把整个故事想象成一场**“全能侦探破案”**的戏码。

1. 背景：全能侦探的烦恼

现在的 AI 模型（比如 Qwen2.5-Omni 或 MiniCPM-o）非常厉害，它们像是一个全知全能的侦探。

你可以给它看一张照片、一段视频、一段录音，再给它几行文字。
它能像人一样，流畅地写出回答，甚至能一边看图一边听录音，把信息拼凑起来。

但是，有个大问题：
当这个侦探给出一个结论时（比如：“这个视频里得的是胰腺癌”），我们很难知道它到底是根据哪一句话、哪一张图、还是哪一秒的录音得出的这个结论。

以前的 AI 解释方法，就像是让侦探在考试结束后再回头去猜：“我刚才选 A 是因为看了第 3 行字”。但这往往是事后诸葛亮，而且对于这种“边想边说”（生成式）的 AI 来说，很难准确对应。
以前的方法大多只适用于“做选择题”（分类任务），而现在的 AI 是在“写文章”（生成任务），情况更复杂。

2. 解决方案：OmniTrace（实时追踪器）

OmniTrace 就是为了解决这个问题而生的。它不像是在事后猜谜，而是在侦探“思考并说话”的每一个瞬间，都在旁边实时记录。

我们可以用几个生动的比喻来理解它的核心功能：

🕵️‍♂️ 比喻一：实时“指路”与“聚光灯”

想象侦探在说话时，OmniTrace 就像是一个手持聚光灯的助手。

实时追踪（Generation-Time Tracing）： 每当侦探说出一个词（Token），助手立刻把聚光灯打在刚才提供信息的来源上。
- 如果侦探说“那个女孩”，助手立刻把光打在图片上。
- 如果侦探说“根据录音”，助手立刻把光打在音频的某一段上。
以前的方法是等侦探说完一整段话，再让他自己回忆刚才看了什么，很容易记错或乱指。
OmniTrace 是边说边指，确保每一个词都有据可查。

🧩 比喻二：把“碎玻璃”拼成“完整图画”

侦探在说话时，来源的信息是碎片化的。

比如，要解释“胰腺癌”，可能前 3 个词参考了视频的第 2 秒，第 4 个词参考了视频的第 15 秒，第 5 个词又参考了底部的文字说明。
如果只盯着每一个词看，就像看着满地碎玻璃，看不出全貌。
OmniTrace 的“聚合”功能：它把这些零碎的“指路”信号收集起来，像拼图一样，把它们聚合成一个完整的句子（Span）。
- 它会把“视频第 2-4 秒”和“视频第 14-16 秒”以及“底部文字”合并起来，告诉用户：“这句话的完整依据是：视频的前半段、后半段以及底部的文字说明。”
- 这样，解释就变得连贯、清晰、像人话了。

🎛️ 比喻三：万能适配器（模型无关）

OmniTrace 还有一个超能力：它不挑“侦探”的型号。

不管侦探是用“注意力机制”（Attention）来思考，还是用“梯度”（Gradients）来思考，OmniTrace 都能把这些内部信号翻译成人类能看懂的“来源报告”。
它不需要重新训练侦探，也不需要给侦探加任何新装备，直接插上去就能用（Plug-and-Play）。

3. 它是怎么工作的？（三步走）

实时追踪（Token Tracing）：
当 AI 生成每一个字时，OmniTrace 立刻问：“这个字是受哪个输入（图、文、音、视频）的影响最大？”它记录下这个“因果关系”。
智能聚合（Span Aggregation）：
它不会把成千上万个零碎的“因果关系”一股脑扔给你。它会把这些信号按语义打包。
- 例子： 如果 AI 说“这是一个红色的苹果”，OmniTrace 会把所有指向“红色”和“苹果”的图片区域、文字描述合并，告诉你：“依据是图片的左上角区域和输入文本的第 3 行。”
去噪与精选（Confidence Filtering）：
AI 有时候会“走神”，产生一些错误的关联。OmniTrace 有一个**“过滤器”**，它会检查这些关联是否足够强、是否连贯。
- 如果 AI 只是偶然瞥了一眼图片，OmniTrace 会忽略它；
- 如果 AI 盯着图片看了好几秒并据此说话，OmniTrace 就会高亮显示这个来源。
- 这就像是一个精明的编辑，帮我们把 AI 杂乱无章的笔记整理成一份可信的引用报告。

4. 实验结果：它真的管用吗？

研究人员在 Qwen2.5-Omni 和 MiniCPM-o 等模型上做了测试，涵盖了看图说话、听录音总结、看视频回答问题等任务。

结果： 使用 OmniTrace 后，AI 给出的“来源解释”比以前的方法（比如简单的自我回忆或简单的相似度匹配）更稳定、更准确、更像人类逻辑。
特别发现：
- 对于视频和音频，OmniTrace 能精准地指出是“哪几秒钟”提供了依据（以前很难做到）。
- 即使 AI 最后的答案是错的，OmniTrace 也能诚实地告诉我们：“虽然答案错了，但我是根据这段视频得出的结论”，这有助于我们发现 AI 是哪里理解错了。

总结

OmniTrace 就像是给全能 AI 装上了一个**“透明化”的实时记录仪**。

它不再让 AI 黑箱操作，而是让我们清楚地看到：

“你这句话，是因为看了这张图的左上角，听了录音的第 20 秒，以及读了这段文字才说出来的。”

这对于建立我们对 AI 的信任、调试 AI 的错误、以及让 AI 在医疗、法律等严肃领域更安全地应用，都是至关重要的一步。它让 AI 的“思考过程”变得可见、可解释、可信赖。

这篇论文提出了一种名为 OmniTrace 的统一框架，旨在解决全模态大语言模型（Omni-Modal LLMs）在生成过程中缺乏可解释性和来源归因（Attribution）的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：现代多模态大语言模型（MLLMs）能够处理文本、图像、音频和视频的交错输入，并生成流畅的开放域响应。然而，用户和开发者难以确定模型生成的每一个陈述具体是基于哪些输入片段（如哪段文字、哪个图像区域、哪段音频或视频片段）。
现有挑战：
1. 生成感知缺失：现有的归因方法主要针对分类任务或固定预测目标（如提取式摘要），而 MLLM 是自回归生成的，其输出结构随解码步骤动态变化，没有固定的目标文本。
2. 全模态复杂性：输入是异构的（文本、图像、音频、视频混合），现有的归因方法通常假设单模态输入，难以在统一的时间线上追踪跨模态的证据。
3. 语义不连贯：传统的 Token 级归因信号（如注意力权重）噪声大且碎片化，难以直接转化为人类可理解的语义片段（Span-level）解释。

2. 方法论：OmniTrace (Methodology)

OmniTrace 是一个轻量级、与模型无关（Model-agnostic）的框架，它将归因形式化为生成时的追踪问题（Generation-Time Tracing Problem）。其核心流程如下：

A. 问题形式化

输入：交错的模态序列 $x$ （包含文本、图像、音频、视频 Token）。
输出：自回归生成的序列 $y$ 。
目标：将生成的每个 Token $y_t$ 映射到输入中的源单元 $S_j$ （如文本片段、图像区域、时间戳），并聚合为语义连贯的生成片段（Spans）。

B. 核心算法流程

OmniTrace 在解码过程中在线运行，无需重新训练模型：

生成时 Token 追踪 (Generation-Time Token Tracing)：
- 在每一步解码 $t$ ，模型生成 Token $y_t$ 。
- 利用模型内部信号（如注意力权重、梯度等）计算 Token 级归因信号 $a_t(i)$ ，衡量输入 Token $i$ 对 $y_t$ 的影响。
- 将 Token 级信号聚合到预定义的源单元 $S$ 上，找出对该 Token 贡献最大的源单元 $\hat{s}(t)$ ，并记录置信度 $c_t$ 。
片段级聚合 (Span-Level Aggregation)：
- 将生成的序列切分为语义连贯的片段（如句子或短语） $C_k$ 。
- 收集片段内所有 Token 的源映射序列和置信度序列。
- 通过置信度加权投票和时间连贯性约束，将碎片化的 Token 级追踪结果聚合成一个简洁的源集合 $\hat{S}_k$ 。
源策展 (Source Curation)：
- 引入过滤机制以消除噪声，包括：
  - 词性感知加权 (POS-aware weighting)：提高名词、数字等实词的权重，降低虚词权重。
  - 置信度整形 (Confidence shaping)：放大高置信度映射，抑制弱信号。
  - 运行连贯性 (Run-level coherence)：优先选择连续出现的源片段，避免跳跃式归因。
  - 最小质量过滤：剔除贡献度过低的源。

C. 信号无关性

OmniTrace 不依赖特定的归因信号，支持多种底层信号：

注意力机制：平均注意力 (AttMean)、原始注意力 (RawAtt)。
梯度机制：基于梯度的归因 (AttGrads)。

3. 实验设置与结果 (Experiments & Results)

数据集：涵盖了视觉（QA、摘要）、音频（QA、会议摘要）和视频（QA）任务，共 759 个样本。
基线模型：在 Qwen2.5-Omni-7B 和 MiniCPM-o-4.5-9B 两个全模态模型上进行了评估。
评估指标：
- 文本/图像任务：Span-level F1。
- 音频/视频任务：Time-F1（将时间离散化为 1 秒的 bin）。
- 评估方法：使用 LLM-as-a-Judge（GPT-5.2/Gemini-3）进行自动标注，并有人类专家验证（一致性达 88.17%）。
主要结果：
- 显著优于基线：OmniTrace 在所有任务中均显著优于后验启发式方法（如 Self-Attribution、基于 Embedding 的相似度匹配）。例如，在 Qwen2.5-Omni 的视觉摘要任务中，OmniTrace 的 Text F1 达到 75.66，而 Self-Attribution 仅为 9.25。
- 跨模态泛化：在连续的时间戳归因（音频/视频）任务中表现稳健，证明了框架不仅适用于离散单元，也适用于连续域。
- 消融实验：
  - 源策展的重要性：移除任何过滤组件（如 POS 加权、置信度整形）都会导致性能下降，特别是在图像归因任务中，F1 分数从 76.59 暴跌至 20 左右，证明了去噪和聚合机制对跨模态归因至关重要。
  - ASR 分割的影响：高质量的语音识别（ASR）分割对音频归因至关重要，原始 Token 输入会导致性能严重下降。
  - 多模态互补：同时使用视觉和音频输入比单模态归因效果更好。
深入分析：
- 位置偏差：模型倾向于归因于输入序列的早期部分。
- 生成质量与归因质量：归因质量与生成质量（如 ROUGE-L 或答案正确率）并非严格单调相关。模型可能在生成错误答案时依然关注到了正确的证据，说明归因反映了模型的决策过程而非仅仅是结果的正确性。

4. 主要贡献 (Key Contributions)

问题形式化：首次将开放域多模态生成的归因形式化为生成时的追踪问题，指出了固定目标和单模态归因方法的局限性。
OmniTrace 框架：提出了一个信号无关、生成感知的框架，能够将任意 Token 级信号转化为跨模态的、语义连贯的片段级解释，且无需重新训练模型。
实证验证：在多个全模态模型和异构任务上证明了生成感知的片段级归因比传统方法更稳定、更可解释。
透明度基础：为全模态语言模型的可解释性、调试和可信度提供了可扩展的基础设施。

5. 意义与影响 (Significance)

提升可信度：OmniTrace 使得 MLLM 的“黑盒”决策过程变得透明，用户可以清楚地看到模型是基于哪张图片、哪段录音或哪句话做出的回答，这对于医疗、法律等高风险领域的应用至关重要。
调试与改进：通过归因分析，开发者可以诊断模型是否关注了错误的输入（幻觉来源），从而指导数据清洗或模型微调。
通用性：该框架不依赖特定模型架构或归因信号，具有广泛的适用性，为未来更复杂的全模态系统的可解释性研究奠定了标准协议。

总结：OmniTrace 通过在线追踪和智能聚合，成功解决了全模态大模型在开放域生成中“证据来源不明”的难题，实现了从 Token 级噪声信号到人类可理解的跨模态证据链的转化，显著提升了多模态 AI 系统的透明度和可信度。