💻 computer science

Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos

本文介绍了 UniMVU，这是一个统一的多模态视频理解框架，它在模态内部和模态层面均采用指令感知门控机制，以动态平衡多样化的输入流并减轻干扰，从而相较于静态融合基线在六个基准测试中实现了显著的性能提升。

原作者： Bonan Ding, Umair Nawaz, Ufaq Khan, Abdelrahman M. Shaker, Muhammad Haris Khan, Jiale Cao, Jin Xie, Fahad Shahbaz Khan

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bonan Ding, Umair Nawaz, Ufaq Khan, Abdelrahman M. Shaker, Muhammad Haris Khan, Jiale Cao, Jin Xie, Fahad Shahbaz Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个谜团，但你拥有一个由四位不同侦探组成的团队：一位只看图片，一位只听声音，一位只感知物体的形状（3D 深度），还有一位则观看整个事件的高速、超快回放。

在过去，当人工智能模型尝试解决视频问题时，它们会平等地对待所有这些侦探。它们只是将所有报告一股脑地堆在一起，然后让“首席”（大型语言模型）去找出答案。问题在于：如果问题关乎声音（例如，“正在演奏什么乐器？”），首席就会被图片侦探关于颜色的报告分散注意力；如果问题关乎空间（例如，“椅子在哪里？”），声音侦探关于音乐的报告就只会变成噪音。这被称为模态干扰——错误的线索淹没了正确的线索。

这篇论文介绍了一个名为UniMVU（统一多模态视频理解）的新系统，它就像这支侦探团队的智能交通指挥官或指挥家。

以下是它的工作原理，使用简单的类比来说明：

1. “指令感知”指挥家

核心思想是：每位侦探的重要性会根据所提出的具体问题而变化。

旧方法（统一融合）：指挥家让所有四位侦探以相同的音量喊出他们的线索，无论问题是什么。
UniMVU 方法：指挥家先阅读问题。
- 如果问题是“狗在对什么吠叫？”，指挥家会将音频侦探的音量调至 100%，并将深度侦探的音量调低至耳语。
- 如果问题是“房间里有多少张桌子？”，指挥家会提升3D/深度侦探的音量，并调低音频侦探的音量。

论文将这种方法称为指令感知门控。它就像为每种信息类型配备了一个智能调光开关，由你提出的具体问题来控制。

2. 两级控制

UniMVU 不仅仅是简单地调高或调低整个团队的音量；它通过两个巧妙的步骤来实现：

第一级：“聚光灯”（模态内门控）
想象一下，音频侦探有一段 10 分钟的音乐会录音。其中大部分只是背景杂音，但有 5 秒钟，有人说出了答案。
UniMVU 的第一项任务就是在这 5 秒钟的音频上打上一道聚光灯，而忽略其余部分。它在将线索传递出去之前，先过滤掉单一种类线索内部的“噪音”。
第二级：“音量旋钮”（模态级门控）
在为每位侦探报告中的最佳部分打上聚光灯后，UniMVU 决定每位侦探相对于其他侦探应该有多大音量。它使用一个特殊的“控制令牌”（将其想象为一个情绪戒指或记分牌），首席看着它来决定：“好吧，今天音频侦探最重要，所以我会先听他们的。”

3. 为什么它更好

论文在六个不同的“谜团游戏”（基准测试）上测试了该系统，这些测试涉及音乐、3D 房间和长视频。

结果：UniMVU 始终比旧方法更正确地解开了更多谜题。在某些情况下，它将得分提高了巨大幅度（在特定评分指标中高达 13.5 分）。
原因：论文表明，该系统实际上学会了模仿人类逻辑。当被问及声音时，它自然地专注于声音；当被问及 3D 空间时，它专注于深度。它不会被不相关的线索搞糊涂。

4. “一刀切”的厨师

通常，要想擅长音乐问题，你需要一位只接受过音乐训练的厨师；要想擅长 3D 问题，你需要另一位不同的厨师。
UniMVU 就像一位能烹饪任何菜肴的主厨。你可以给它一个带声音的视频、一个带 3D 深度的视频，或者一个只有图片的视频，它会使用相同的“门控”食谱来确定那道特定菜肴（问题）需要哪些食材（线索）。你不需要为每种类型的视频准备不同的厨师。

总结

简而言之，UniMVU是一个防止人工智能被过多信息淹没的系统。它不是强迫人工智能同时听取所有内容，而是教导人工智能根据所提出的问题，在正确的时间听取正确的内容。它过滤掉噪音，突出相关线索，并让人工智能以更高的准确度回答问题。

技术摘要：UniMVU – 面向指令感知的多模态视频理解门控机制

1. 问题陈述

预训练的视频大语言模型（Video LLMs）已展现出利用 RGB 帧和文本指令进行视觉推理的强大能力。然而，在处理伴随辅助流（如音频、深度图或密集时间证据）的视频时，它们面临着显著挑战。

identified 的核心问题是模态干扰。在现有方法中，辅助流通常被均匀融合或作为额外令牌附加。这种静态融合策略假设每种模态的重要性是固定的，未能考虑到模态的相关性是依赖于查询的。例如，音频对于关于语音或乐器的提问至关重要，但对于颜色识别而言则是噪声；深度线索对于空间布局至关重要，但对于以外观为中心的查询则是冗余的。均匀融合允许不相关的通道干扰模型，导致性能次优。现有方法通常依赖隐式的解码器注意力或特定任务的交互模块，未能明确解决基于特定指令的“应强调流中的哪些令牌”以及“应优先处理哪个流”这两个双重问题。

2. 方法论：UniMVU

作者提出了UniMVU，这是一个统一的多模态视频理解框架，旨在在 LLM 解码之前，针对不同模态（视频、音频、深度/3D、密集时间）执行指令感知的融合。该框架采用基于文本指令的两级动态门控机制。

架构概述

UniMVU 将特定模态的编码器和投影器与一个模态平衡融合（Modality Balanced Fusion）模块集成，随后接一个冻结的或经过 LoRA 适配的 LLM。该融合模块包含三个主要组件：

统一令牌序列与跨模态自注意力：
- 所有输入（视频、音频、深度等）被投影到共同的嵌入空间，并与文本指令令牌连接，形成统一序列。
- 一个跨模态自注意力层实现了指令令牌与模态令牌之间的交互。关键在于，指令令牌在该层之后保持“未受扰动”（被替换为原始嵌入），以防止嘈杂的模态特征干扰指令表示，从而确保信息流是单向的，即模态以文本为条件。
指令驱动的模态内门控（特征级）：
- 该模块细化了每个模态内部的令牌序列。
- 它利用跨模态层的注意力图来计算每个令牌相对于指令的相关性。
- 来自指令令牌到内容令牌的注意力质量在每个模态内被聚合并归一化，以生成令牌级权重（ $w_{m,t}$ ）。这强调了流中的显著区域，同时抑制了不相关的区域。
指令驱动的模态级门控（流级）：
- 该模块为每个完整的模态流分配一个全局权重。
- 为每个模态引入一个可学习控制令牌（ $t_c$ ）以总结流的内容。
- 指令令牌与这些控制令牌之间的注意力生成了每个模态的标量重要性分数（ $\eta_m$ ）。
- 这些分数被归一化，以生成模态级门控系数（ $\beta_m$ ）。

融合机制：
模态 $m$ 的最终表示计算为残差细化：
$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$
其中 $O_m$ 是自注意力层的输出。该设计确保了原始证据（通过残差 $O_m$ ）得以保留，同时放大了与指令相关的令牌和流。门控充当软重加权信号而非硬开关，降低了丢弃潜在有用证据的风险。

训练与可扩展性：

模态编码器保持冻结；仅训练投影器、融合模块以及 LLM 中的 LoRA 适配器。
该框架支持统一多任务训练，其中单个检查点在多样化数据集（视听、3D 和视频问答）上进行训练，无需特定任务的连接器。缺失的模态被屏蔽，门控在可用流上重新归一化。

3. 主要贡献

统一框架：单个模型能够处理混合模态输入（视频、音频、深度/3D、密集时间），并在无需手工设计融合规则的情况下泛化到多样化的模态配置。
两级动态门控：一种指令驱动机制，在令牌级（模态内）和流级（模态级）同时运行，根据查询自适应地平衡模态重要性。
可解释性：门控机制与人类可解释的模态相关性保持一致（例如，对声学问题提高音频权重），提供了透明的决策表面。
可扩展性：该方法可扩展至不同的模型规模（0.5B 和 7B），并支持跨多个任务家族的统一训练，消除了为视听、3D 或密集视频任务单独设置连接器的需求。

4. 实验结果

作者在六个基准测试上评估了 UniMVU：AVQA、AVSD、Music-AVQA（视听）、ScanQA、SQA3D（3D）以及MVBench（视频）。

性能提升：UniMVU 始终优于静态融合基线（特别是 PAVE 和 LLaVA-OV 变体）。
- 在Music-AVQA上，UniMVU 在整体准确率上比 PAVE 提高了**+4.6%（0.5B）和+1.8%**（7B）。
- 在AVSD上，其 CIDEr 得分提高了**+12.2分（0.5B）和+13.5**分（7B）。
- 在SQA3D上，UniMVU 将 EM@1 提高了**+6.7**（0.5B），并在"What"和"How"类问题上显示出显著增益。
- 在MVBench上，统一模型（UniMVU†）取得了最佳平均分，特别是在时间要求高的子任务上增益巨大，如动作预测（+21.0）和动作序列（+16.5），在 0.5B 规模下尤为明显。
统一训练：在所有任务上联合训练的单个检查点（UniMVU†）保持了强大的性能，证明了门控接口成功地在不同任务家族间迁移了模态选择行为。
消融研究：
- 移除模态内门控或模态级门控均导致性能下降，证实了这两个层级的必要性。
- 使用单一统一控制令牌的表现优于特定模态的令牌。
- 门控公式中的残差连接至关重要；移除它会降低性能。
- 无参数门控（直接使用注意力分数）的表现优于学习的 MLP 或跨注意力评分头，表明源自注意力的分数提供了强大的归纳偏置。

5. 意义与主张

本文主张 UniMVU 为指令感知的多模态视频理解提供了一种简单、统一的方案。其主要意义在于通过在 LLM 生成答案之前根据指令显式路由信息，从而解决模态干扰问题。

干扰缓解：通过动态重加权流和令牌，模型防止了不相关模态干扰解码器，这是均匀融合的局限性所在。
泛化能力：该框架证明，单个门控接口可以处理异构输入（音频、3D、密集视频），而无需单独的任务特定架构。
效率与透明度：该方法轻量级（增加参数极少）且具有可解释性，因为门控权重直接反映了模型对查询所需特定证据类型的关注。

作者总结道，UniMVU 使视频大语言模型能够更好地利用同步的辅助流，在多样化基准测试中实现最先进（SOTA）的结果，同时为未来的多模态集成提供了一条可扩展的路径。