💻 computer science

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

本文介绍了混合探测（Mixture of Probes, MoP），这是一个通过结构化探测和专门的跨模态训练策略，利用仅在训练阶段可用的特权模态来解耦特定模态信号与通用信号，从而显著增强多模态大语言模型的新型框架，即使在推理阶段缺失辅助模态时也能实现大幅度的性能提升。

原作者： Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个超级聪明的机器人来理解世界。通常情况下，你会同时给它配备摄像头、麦克风，甚至是一个 3D 深度传感器，希望它能完美地学会看、听和感知一切。但问题在于：在现实世界中，这个机器人外出执行任务时，可能只带有一个廉价的摄像头。它不再拥有那些高级的 3D 传感器或高质量的麦克风。

这就是“特权模态”（privileged modality）问题。你在训练期间拥有所有这些高级工具，但在实际测试时，你只有一个简单的工具。

旧方法：混乱的搅拌机

目前的多数 AI 模型试图通过将所有数据（视频、音频、深度）扔进一个大搅拌机，并寄希望于它们能混合成一种完美的奶昔来解决这个问题。它们将每种传感器都视为同一种食材的不同口味。

该论文指出，这种方法失败了。它表明，仅仅将所有东西混合在一起并不能帮助机器人学会如何利用高级 3D 传感器，从而在以后更好地使用廉价摄像头。事实上，作者发现，仅仅在所有这些传感器上同时进行训练，其表现往往比仅在你要使用的单个传感器上进行训练的效果还要差。这就像是试图通过坐在一个同时连接着方向盘、舵和一副桨的驾驶舱里来学习开车；你只会感到一头雾水。

新想法：“探测器混合”（Mixture of Probes, MoP）

作者提出了一种名为 Mixture of Probes (MoP) 的新方法。与其使用搅拌机，不如把 MoP 想象成机器人在大脑内部的一支专业侦探团队。

在机器人的“大脑”（处理图像和声音的部分）内部，存在着像摩天大楼楼层一样的思考层。旧模型只观察最顶层的楼层来做决策。而 MoP 则会向每一层楼派出两类侦探进行检查：

专业侦探（模态特定探测器）： 这些人是只专注于一件事的专家。一个侦探只看视频，另一个只听音频，还有一个只看深度数据。他们学习各自特定传感器的独特特性。
通用侦探（模态通用探测器）： 这些是“大局观”的思想家。他们观察所有传感器，以寻找适用于所有事物的共同真理，无论那是声音还是视觉。

秘诀：保持独立

这是最重要的一部分：论文明确指出，你必须将这两类侦探分开。如果他们开始互相交流或者互相抄袭笔记，他们就会坍缩成一个平庸、通用的群体，从而学不到任何新知识。

为了阻止这种情况，作者发明了一个特殊的规则，叫做**“探测器解耦损失”（Probe Disentanglement Loss）**。你可以把它想象成一位严厉的老师，不断检查侦探们的笔记本。如果“视频侦探”开始写下和“音频侦探”一样的笔记，老师就会拍打他们的手并说：“不！你需要找到属于你自己的独特之处！”这迫使机器人将每个传感器的独特细节与它们共享的通用知识区分开来。

效果如何？数据说话

作者在两个大挑战上测试了该方法：

日常生活 (ADL)： 他们使用第一视角视频（从你自己的眼睛看）、第三视角视频（从远处相机看）和深度数据来训练机器人。然后，他们在每次仅使用其中一个传感器的情况下对其进行测试。
音乐： 他们使用音频和视频结合的音乐进行训练，然后仅使用音频或仅使用视频进行测试。

结果非常明确：

“搅拌机”方法（朴素 MLLM）： 当他们没有使用特殊的侦探而只是简单混合一切时，机器人的表现并没有提升多少。在日常生活测试中，它在第一视角视频上的得分约为 72.96%。
MoP 方法： 通过使用保持笔记独立的专业侦探和通用侦探，机器人在同一项任务上的得分跃升至 79.46%。仅仅通过利用额外的传感器进行训练，它就实现了 6.50% 的提升！
更令人印象深刻的是，当机器人仅使用深度传感器（在此之前它从未单独使用过该传感器）进行测试时，MoP 将得分从 54.37% 提升到了 66.21%。这是一个巨大的 11.84% 的飞跃。

在音乐测试中，MoP 也击败了其他方法，在纯音频测试中提升了 5.45%，在纯视频测试中提升了 1.64%。

这意味着什么（以及并不意味着什么）

论文表明，通过将“特殊的”与“通用的”分离，我们可以教会机器人利用其高级训练工具，从而成为其简单现实世界工具的高手。

然而，作者也谨慎地指出了几个局限性：

这仅在机器人使用单一、共享的大脑（通用编码器）来处理所有传感器时才有效。如果机器人为每种传感器配备了完全独立的脑部，则此方法无效。
他们仅测试了机器人在测试时使用单个传感器的情况。他们并没有测试如果机器人在最后阶段拥有两个传感器时会发生什么。
结果是基于特定数据集（如 Ego-in-Exo Perception 和 Music-AVQA）的，因此虽然数学逻辑看起来很严密，但这只是一个建议，表明这种方法可能在其他地方也奏效，而不是对世界上每一个机器人的保证。

简而言之，论文建议，如果你想让你的 AI 在工具有限的情况下依然聪明，不要只是把所有东西都喂给它然后听天由命。给它一个由专家和通才组成的团队，确保他们互不抄袭，并让他们通过高级工具进行学习，以便在面对简单工具时也能大放异彩。

技术摘要：用于特权模态的多样化探针（Mixture of Probes, MoP）在多模态大语言模型（MLLMs）中的应用

1. 问题定义：特权模态设置

多模态大语言模型（MLLMs）的设计通常基于一个假设，即训练期间可用的所有模态（如视频、深度信息、音频）在推理阶段也同样可用。然而，现实世界的部署往往违反这一假设。一个模型可能在训练时使用了丰富的辅助流（特权模态），但在测试时必须仅使用单一的、更廉价或更可靠的模态进行运行。这种情况被定义为特权模态设置（privileged modality setting）。

现有的 MLLMs 在这种设置下表现不佳，因为它们主要将模态视为旨在对齐到共享表示空间的可互换输入。它们无法有效地利用仅在训练期间可用的辅助模态来提升目标模态在推理时的性能。作者识别了当前方法的两个关键局限性：

次优的模态表示： 新模态通常通过共享编码器引入，且在最终层仅进行有限的适配，忽略了捕捉低级、模态特定信号的中间特征。
非结构化的跨模态表示： 现有方法缺乏明确的机制来解耦模态通用信息（可在不同模态间迁移）与模态特定信息，从而阻碍了有效的知识迁移。

2. 方法论：多样化探针（Mixture of Probes, MoP）

为了解决这些局限性，作者提出了 Mixture of Probes (MoP)，这是一个旨在解耦 MLLM 中模态特定信号与模态通用信号的框架。其核心直觉受神经科学和“模态聚焦假设”（Modality Focusing Hypothesis）启发：有效的跨模态迁移需要保留独特的模态结构，同时隔离共享的抽象概念。

2.1 架构

MoP 在标准的统一 MLLM 架构（由模态特定分词器、通用模态编码器、连接器和 LLM 组成）的基础上，增加了一个结构化的探测机制：

通用模态编码器： 一个共享的 Transformer 编码器处理来自所有模态的标记化输入，将其转化为共同的潜空间。
可学习探针： MoP 不仅仅依赖于编码器的最终层，而是引入了两类可学习的标记（探针），它们与编码器的中间表示进行交互：
- 模态特定探针 ( $P^m_s$ )： 一组仅受特定模态 $m$ 条件约束的探针。它们捕捉该模态特有的信号。
- 模态通用探针 ( $P_g$ )： 一组受所有模态共同约束的共享探针。它们捕捉跨模态的共同结构信息。
层级交互： 这两组探针在编码器的每一层 $l$ 都会通过与编码器的隐藏状态 ( $H^m_l$ ) 进行交叉注意力机制进行更新。探针作为查询（queries），从中间表示中提取可能在最终层丢失的显著线索。
集成： 在最终编码层之后，探针标记被投影到 LLM 的嵌入空间，并与标准的模态标记拼接在一起，然后输入到 LLM 中。

2.2 MoP 跨模态训练 (MoP-X)

为了确保探针能够学习到截然不同的表示并促进跨模态迁移，作者引入了一种特定的训练策略：

探针解耦损失 ( $\mathcal{L}_{dis}$ )： 一个显式惩罚模态特定探针与模态通用探针之间相似性，以及不同模态特定探针之间相似性的损失函数。这防止了“探针坍缩”（即探针收敛为完全相同的表示），并鼓励模型学习正交且专业化的特征。
模态交错批处理： 与顺序训练或孤立训练模态的方法不同，MoP-X 通过同时对来自多个模态的样本进行采样来构建小批量（mini-batches）。这确保了共享组件（如模态通用探针）在单个优化步骤内暴露于异构信号中，从而促进间接的跨模态交互。

总训练目标结合了标准的自回归语言模型损失 ( $\mathcal{L}_{AR}$ ) 与解耦损失：
$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$

3. 实验评估

作者在两个领域、八个任务和四种模态下对 MoP 进行了评估，采用了一种严格的协议，即在推理时将每种模态视为唯一的输入。

3.1 领域与基准测试

日常生活活动 (ADL)： 在 Ego-in-Exo Perception 基准上进行评估。训练利用了第一视角视频、第三视角视频和深度信息。推理分别在第一视角、第三视角和深度模态上进行测试。
音乐理解： 在 Music-AVQA 上进行评估。训练利用了配对的音视频数据。推理分别在音频和视频模态上进行测试。

3.2 基准模型

MoP 与以下模型进行了对比：

单模态 MLLM： 仅在目标推理模态上进行训练。
朴素 MLLM (Naive MLLM)： 在所有模态上进行联合训练，但没有结构化的跨模态机制。
最先进的 (SOTA) MLLMs： 包括侧重于多模态对齐的 X-InstructBLIP 和 OneLLM。

3.3 关键结果

卓越的性能： 在所有推理模态下，MoP 始终优于所有基准模型。在 ADL 领域，它在特定设置下（例如深度推理）比强基准模型实现了高达 65% 的相对提升。
有效的特权学习： 与朴素 MLLM（在多模态训练时往往无法超越单模态基准）不同，MoP 成功地利用了辅助模态来提升单模态性能。
消融研究：
- 探针类型： 移除模态特定探针或模态通用探针中的任何一种都会导致性能下降，证实了两者皆有的必要性。
- 解耦损失： 该损失至关重要；如果没有它，探针方差会发生坍缩，性能会显著下降。
- 探测深度： 在每一层编码器进行探测能获得最佳结果，这表明在模型的整个深度提取信号是有益的。
- 数据缩放： MoP 展示了随着训练数据规模扩大而持续的性能增益，而朴素 MLLM 则表现出收益递减的现象。

4. 贡献与意义

本文声称的贡献如下：

形式化了特权模态设置： 作者形式化了辅助模态丰富了训练但于推理阶段缺失的情景，证明了标准的多模态训练无法有效利用这种不对称性。
多样化探针 (MoP)： 一种新颖的架构，通过在通用编码器的深度范围内进行结构化探测，学习解耦的表示，将模态特定信号与模态通用抽象分离。
MoP 跨模态训练 (MoP-X)： 一种包含探针解耦损失和交错批处理的训练策略，用以强制执行表示分离并促进跨模态交互。
实证验证： 全面的评估表明，通过 MoP 正确利用辅助模态，可以显著提升单模态推理性能，超越了单模态模型和现有的多模态对齐方法。

意义： 这项工作挑战了将模态仅仅视为用于对齐的可互换输入的流行范式。相反，它认为利用特权信息的关键在于，通过显式地构建模型，将模态特有的部分与共享的部分进行分离。这使得 MLLM 能够“向”那些在推理时不可用的丰富数据“学习”，从而在受限的单模态部署场景中变得更加鲁棒和强大。

局限性： 作者指出，MoP 目前假设存在一个通用的模态编码器，并且不能直接扩展到异构的模态特定编码器。此外，本研究严格专注于单模态推理设置，多模态推理场景留待未来研究。