🤖 AI

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

本文引入了部分信息分解（Partial Information Decomposition）作为一种决策层级的框架，用于分析多模态语言模型中的模态交互，揭示了不同任务中独特的协同与依赖特征，识别了三模态系统中存在的视觉主导瓶颈，并证明了基于 PID 的重加权可以提升模型性能。

原作者： Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观： “团队会议”问题

想象你有一支由专家组成的团队，正在试图破解一个谜团。你有一个侦探（负责阅读线索/文本）、一个摄影师（负责观察犯罪现场/图像）和一个录音师（负责聆听音频）。

在 AI 世界中，这些被称为多模态大语言模型 (MLLMs)。它们理应结合所见、所听、所读的信息来为你提供正确的答案。

问题在于： 我们知道这些 AI 团队能够给出正确的答案（高准确率），但我们并不真正了解它们是如何协作的。

是侦探在做所有的工作，而摄影师只是扫一眼照片？
是摄影师在对着答案大喊大叫，而侦探却忽略了他们？
还是他们真的在通力合作，只有当他们把笔记结合在一起时，答案才会显现？

目前的测试只能告诉我们这个团队是否得到了正确答案。这篇论文介绍了一种新的方法，让我们能“旁听”这场团队会议，看看他们究竟是如何协作的。

新工具：“部分信息分解” (PID)

作者创建了一个名为部分信息分解 (Partial Information Decomposition, PID) 的工具。你可以把 PID 想象成 AI 大脑中的一个调音台。

当 AI 做出决策时，PID 会将该决策的“音量”分解为三个特定的频道：

独奏表演 (唯一信息/Unique Information)： 这是只有一个人拥有的信息。
- 例子： 侦探知道一个事实，但这个事实并不在照片里。摄影师看到了一个侦探错过的细节。
回声 (冗余信息/Redundant Information)： 这是当所有人都在说同样的事情时。
- 例子： 侦探和摄影师都看到了红色的汽车。他们只是在重复同一个事实。
魔力火花 (协同作用/Synergy)： 这是最重要的部分。它是只有当他们交流时才会产生的信息。
- 例子： 侦探读到“那个人拿着一根棍子”。摄影师看到“那个人正在挥动一根棍子”。单独看时，两人都不知道这是棒球赛。但结合在一起，他们意识到：“这是一场棒球赛！”这种“恍然大悟”的瞬间就是协同作用 (Synergy)。

他们的发现

研究人员在 6 种不同类型的任务中，对 20 种不同的 AI 模型进行了这项“调音台”测试。以下是他们的发现：

1. 不同任务需要不同的团队

就像建筑施工队与手术团队的工作方式不同一样，不同的 AI 任务使用不同的协作风格。

推理与定位任务（例如：“猫在哪里？”）： 这些任务就像一支爵士乐队。AI 高度依赖协同作用 (Synergy)。文本和图像必须混合在一起才能产生答案。如果你移除了图像，音乐就会崩塌。
专家知识任务（例如：“化学式是什么？”）： 这些任务就像一场讲座。AI 主要依赖侦探（文本）。它阅读问题并从记忆中提取答案，几乎不看图片。图片通常只是装饰品。

2. “视觉主导”的瓶颈

研究人员还观察了“全模态”模型（能够看、听、读的 AI）。他们原以为这些模型在处理视频和音频的混合方面会表现出色。

发现： 他们发现了一个瓶颈。即使任务需要混合声音和视频（比如识别音乐视频中的乐器），AI 仍然主要依赖视觉。
类比： 想象一位电影导演，本应利用剧本和音乐来指导场景，结果他却只盯着演员看，完全忽略了音乐。AI 的“音频”部分大多是沉默的，而“视觉”部分则在声嘶力竭地呐喊。

3. “后期融合”的秘密

论文研究了 AI 在处理问题时（通过每一层神经网络）何时结合信息。

发现： AI 在大部分时间内都是先独自思考（阅读文本或观察图像）。它直到最后——即大脑的最后几层——才开始混合信息。
类比： 这就像两个学生在考试期间 90% 的时间都在各自独立答题，直到铃响前的最后 5 分钟才交换笔记。

付诸实践：修复团队

这篇论文并不仅仅停留在诊断阶段；他们还尝试解决问题。

他们利用 PID “调音台”来识别哪些练习题导致 AI 过度依赖文本捷径（忽略图像），以及哪些问题未能产生那种“魔力火花”（协同作用）。

修复方法： 他们创建了一种名为 PID 引导重加权 (PID-Guided Reweighting) 的训练方法。
- 他们告诉 AI：“要额外关注那些你未能有效混合图像和文本（低协同作用）的问题。”
- 他们告诉 AI：“忽略那些你仅仅通过文本就猜出答案（高文本捷径）的问题。”

结果： 经过这种针对性的训练，AI 在推理任务上变得更强了。它开始更有效地混合它的“感官”，创造了更多的“魔力火花”，并且减少了对仅靠文本获取捷径的依赖。

总结

这篇论文给了我们一种倾听 AI 模型的新方式。我们不再仅仅检查它们是否答对了，而是可以观察它们如何得到答案。我们发现：

有些任务需要深度的团队协作（协同作用），而有些任务仅仅是基于文本的讲座。
当前的 AI 模型往往忽略音频，并且过度依赖视觉。
它们通常等到最后时刻才组合它们的感官。
通过使用这个新工具来训练它们，我们可以教会它们更好地协作。

技术摘要：通过部分信息分解理解多模态语言模型中的模态交互

1. 问题陈述

多模态大语言模型（MLLMs）正越来越多地被部署为科学、医疗和具身智能领域的决策智能体。然而，目前的评估范式主要侧重于评估结果的准确性，对于模型如何利用感官输入（视觉、音频）和语言输入来做出这些决策，提供的洞察非常有限。现有的可解释性方法——如表示对齐、注意力分析和模态消融——揭示了模态是如何被编码的，或者在受到扰动时预测是如何变化的。然而，它们无法提供决策层面的模态使用分解。具体而言，它们无法区分一个模态贡献的信息是独特的（unique）、与另一种模态冗余的（redundant），还是协同的（synergistic，即仅通过联合观察才能获得）。因此，不同形式的模态交互往往被混淆在相同的准确率或消融信号之下。

2. 方法论

作者利用部分信息分解（Partial Information Decomposition, PID），将多模态推理形式化为一个决策层面的信息分解问题。

2.1. 决策级 PID 框架

与以往分析潜在表示的工作不同，该框架在模型诱导的预测分布上计算信息度量。

双模态公式化： 对于视觉-语言模型，预测 $Y$ $Y$ 与输入（视觉 $X_v$ $X_{v}$ 、文本 $X_t$ $X_{t}$ ）之间的互信息被分解为四个非负分量：
- $U_{vis}$ ：视觉特有的信息。
- $U_{txt}$ ：文本特有的信息。
- $R_{vl}$ ：两种模态共享的冗余信息。
- $S_{vl}$ ：仅通过联合观察产生的协同信息。
感官 PID（三模态）： 对于全模态模型（视频 $V$ 、音频 $A$ 、文本 $T$ ），作者引入了一个条件公式，将语言视为指令控制信号。这通过分解感官信息增益 $I(Y; V, A | T)$ ，将其划分为独特的视觉信息（ $U_{vis}$ ）、独特的音频信息（ $U_{aud}$ ）、冗余感官信息（ $R_{sens}$ ）和感官协同信息（ $S_{av}$ ）。这种方法避免了组合爆炸，同时保留了任务规范（语言）与感官证据之间的功能性区别。

2.2. 估计流水线

为了在不重新训练 MLLM 的情况下从高维连续隐状态中估计 PID，作者采用了以下方法：

校准嵌入掩码（Calibrated Embedding Masking）： 为了近似单模态条件概率（例如 $P(Y|X_v)$ ），他们将掩码模态的 Token 嵌入替换为经过校准的高斯噪声，在移除特定实例信息的同事，保留了分布统计特性。
BATCH 估计器： 他们利用 BATCH 估计器（Liang et al., 2023）学习一个保持源-目标边缘分布的 Sinkhorn 标准化耦合 $\tilde{Q}$ ，从而实现对连续变量上 PID 项的可处理优化。
局部诊断得分： 该框架扩展到了逐样本的加性贡献，使得识别“协同缺口”样本（具有高融合潜力但当前协同度低）和“捷径”样本（高度依赖文本特有信息）成为可能。

3. 核心贡献

用于 MLLM 的决策级 PID： 将模态交互形式化为一个信息分解问题，分离出通过表示相似性或消融分析无法识别的独特、冗余和协同贡献。
用于全模态模型的感官 PID： 提供了一种条件 PID 公式，将语言作为控制信号来分解视听信息增益，从而实现对三模态决策的原则性分析。
具有诊断性、预测性和行动力的发现：
- 模态使用剖面（Modality-Use Profiles）： 识别出反复出现的模式：推理/落地任务会激发高协同性，而专家/知识任务则表现出强烈的文本特有依赖。
- 预测有效性： PID 项可以预测模型对模态级干预（如移除图像）的敏感度。
- 感官协同瓶颈： 发现即使在明确需要视听融合的任务中，全模态模型仍由视觉信息主导。
- 层级动态： 证据表明跨模态融合是一个后期阶段的现象，协同作用主要在网络的最终层才出现。
PID 引导的重加权： 展示了一种利用局部诊断得分在 LoRA 微调期间进行重加权的证明性策略，即增加对协同不足样本的权重，并降低对语言捷径样本的权重。

4. 实验结果

4.1. 视觉-语言分析

通过对 20 个模型和 6 个基准测试的分析，PID 揭示了两种截然不同的机制：

协同主导型： 如 MMBench、MMStar 和 POPE（落地任务）等基准测试表现出高 $S_{vl}$ 以及对视觉输入的强依赖。
文本先验主导型： 如 MMMU、PMC-VQA 和 Reefknot 等基准测试表现出高 $U_{txt}$ ，且对视觉移除基本不敏感。
模型家族： Qwen、InternVL3 和 LLaVA-OV 系列倾向于依赖联合模态，而 Gemma3 和 Cambrian 则倾向于依赖语言先验。规模化（Scaling）放大了这些既有的特征，而非消除它们。
预测： 在协同驱动型任务中， $S_{vl}$ 与准确率及视觉移除敏感度强相关（ $\rho \geq 0.798$ ）；而在先验主导型任务中， $U_{txt}$ 具有更高的解释力。

4.2. 全模态分析

在 MUSIC-AVQA 基准测试（特别是 AV-Fusion 子集）上：

感官协同瓶颈： 尽管任务设计用于联合推理，但 $S_{av}$ 仍是一个次要成分。决策由单模态信息主导，尤其是视觉信息（ $U_{vis} > U_{aud}$ ）。
视觉霸权： 通过样本打乱进行的函数验证确认，模型在视觉失配下的性能下降比音频失配更大。
指令门控： 层级分析显示，语言提示充当了控制信号；削弱需要融合能力的指令会显著减弱后期的感官协同作用。

4.3. PID 引导的重加权

将 PID 衍生的局部得分应用于 Qwen2.5-VL-7B 的 LoRA 微调：

性能提升： 与均匀微调以及基于准确率、消融法等基准相比，PID 引导的重加权提高了推理和落地性能（例如，在 MMStar 上提升 2.3，在 POPE 上提升 1.3）。
剖面转变： 微调后的诊断显示，模型向更高协同性（ $S_{vl}$ 占比从 67.5% 增加到 73.9%）和更低文本特有依赖的方向转变，证实了该方法能够引导模型行为。

5. 重要性与主张

本文将 PID 不仅仅定位为一种事后解释工具，而是将其视为诊断和引导多模态融合的实用信号。

超越准确率： 作者声称，总互信息虽然可以追踪整体性能，但无法捕捉干预敏感性；PID 分解对于理解信息是如何被使用的至关重要。
机械论洞察： 研究结果表明，当前的全模态模型存在“视觉优先”的计算模式，即跨感官集成是延迟的并受语言指令门控的，而不是一种持久的中间表示特征。
可操作性： 本研究提供了初步证据，表明局部诊断得分可以作为强化多模态融合的可操作信号，从而提供一条在无需全模型重训的情况下提高推理和落地能力的路径。

作者保持了谦逊的态度，指出其重加权方法仅是一个概念验证，且 PID 衡量的是统计依赖性而非因果机制。他们也承认了在离散决策空间（多选题）以及通过掩码近似单模态条件概率方面的局限性。