💬 NLP

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

该论文提出了 AVOC，一种受检索启发的令牌压缩框架，通过将令牌选择重新定义为基于相关性、重要性和多样性的 top- $K$ 检索问题，增强了全模态大语言模型（Omni-Modal LLMs）对小时级音视频内容的理解，从而在长文本基准测试中实现了最先进的性能，并保持了在长达一小时上下文中的鲁棒性。

原作者： Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的电影和会议录像库，这些视频往往长达数小时。你想就其中一段长视频向一个超级聪明的 AI 助手提一个非常具体的问题，比如：“在那句特定的台词之后，有多少人走进了地下室？”

问题在于，AI 的“大脑”（它的记忆窗口）太小了，无法一次性容纳整个视频。如果你尝试把整个视频喂给它，它会“卡死”。如果你试图通过只随机抽取一些帧来缩小规模，你可能会错过关键时刻。如果你试图保留每一个细节，你又会耗尽空间。

走进 AVOC：聪明的图书管理员

论文的作者们创造了一个名为 AVOC 的新系统。你可以把 AVOC 想象成一位极其熟练的图书管理员，她的任务是将一部 1 小时的电影总结成一份仅 10 页的“小抄”交给 AI，但她有一个非常明确的目标：这份小抄必须只包含回答你的问题所必需的信息。

AVOC 是如何工作的，我们可以借用搜索引擎寻找最佳结果的三条简单规则来理解：

1. 相关性（Relevance）：“这符合问题吗？”

想象一下你问图书管理员：“谁走进了地下室？”

旧方法： 图书管理员可能会给你展示一页关于厨房或天气情况的内容，仅仅因为那些场景很吵闹或色彩鲜艳。
AVOC 的做法： AVOC 会先看你的问题。它会扫描视频和音频，然后说：“好吧，我需要找到人们谈论地下室的部分。”它会高亮显示视频中相关的特定时刻以及音频中直接相关的特定词汇。这被称为文本引导评分（Text-Guided Scoring）。

2. 重要性（Importance）：“即便没有问题，这有趣吗？”

有时，你的问题很模糊，或者答案取决于视频展示了什么，而不仅仅是说了什么。

类比： 想象你在人群中寻找一个特定的人。即使你不知道他们的名字，你也可能因为他们戴着一顶鲜红色的帽子（独特的视觉线索），或者因为他们是唯一在跳舞的人（独特的音频线索）而注意到他们。
AVOC 的做法： AVOC 会检查一个时刻本身是否具有“重要性”。它会观察视频和音频是如何相互呼应的。如果一个人的脸部（视频）与特定的声音（音频）相匹配，那么这个时刻就会获得较高的“重要性”评分，即使你的问题并没有提到它。这确保了 AI 不会错过隐藏的线索。

3. 多样性（Diversity）：“不要重复给我看同样的东西！”

这是最棘手的部分。如果有一个场景是角色走进房间，然后走出，接着又走回房间，一个愚笨的系统可能会把这三个时刻都选出来，因为它们看起来非常相似。这会浪费空间。

类比： 想象你在为旅行收拾行李。你不需要带三双完全一样的红袜子。你需要一双红色的、一双蓝色的和一双绿色的，以满足不同的需求。
AVOC 的做法： AVOC 使用了一种称为**时间感知多样性（Temporal-Aware Diversity）**的特殊规则。它会说：“如果我已经选了一个人走进房间的时刻，我就不会再选择紧接着发生的那个做同样动作的秒数。”但是，如果同样的事情在电影的一个小时后再次发生，AVOC 仍然会 选择那一个，因为它是一个不同的时间事件。这保持了总结的新鲜感，并覆盖了整个时间轴，同时避免了重复。

结果：一个超级聪明的总结

通过结合这三条规则，AVOC 将海量的、长达一小时的视频和音频流压缩成一个极小且高效的“标记（token）”序列。它丢弃了无聊、重复或无关的部分，只保留了那些“黄金碎片”般的信息。

他们发现了什么？

它表现得比任何人都好： 在针对长视频（长达 90 分钟）的测试中，AVOC 回答问题的准确度远高于其他模型。它比排名第二的模型平均高出约 5 个百分点。
它能找到“大海里的针”： 他们测试了 AI 是否能在 1 小时的视频中找到一个隐藏的特定数字。AVOC 几乎完美地找到了它，即使是在长达 1 小时的视频中；而其他模型则随着视频变长而开始失效。
它很快： 尽管它在进行如此复杂的排序，但它并不会显著拖慢 AI 的速度。事实上，由于它丢弃了大量无用的数据，AI 处理视频的速度实际上比以前更快了。

简而言之，AVOC 教会了 AI 如何成为一个更好的阅读者：它不仅仅是读完一本 500 页书里的每一个字，它学会了如何略读、高亮重点并忽略废话，从而能够完美地回答你的问题。

技术摘要：AVOC —— 通过受检索启发式 Token 压缩增强小时级音视频理解

1. 问题陈述

多模态大语言模型（MLLMs）在短篇音频-视频任务中取得了显著成功。然而，将这些能力扩展到小时级长篇音视频理解面临两个主要瓶颈：

上下文窗口限制： 长时长视频和高采样率音频产生的海量 Token 序列超出了当前 MLLMs 的上下文窗口容量。
信息冗余： 原始音视频流包含大量的冗余信息。朴素的缩减策略（例如均匀稀疏采样）往往会遗漏关键的瞬时事件，而密集采样则会耗尽上下文预算，导致序列截断并稀释关键线索。

现有的全模态 LLM 压缩方法通常依赖于非对称、单向的设计（例如，使用音频来剪枝视频或反之亦然）。这类方法存在风险：如果“引导”模态提供的信号较弱或较为稀疏，可能会丢弃关键信息，从而无法捕捉现实世界多模态内容（如电影或会议）中复杂的相互依赖特性。

2. 方法论：AVOC 框架

作者提出了 AVOC 框架，将多模态 Token 压缩重新定义为一个 Top-K 检索问题。给定固定的上下文预算 $K$ 和大量的候选 Token 池，目标是检索出一个紧凑的子集，以最好地支持回答用户查询。AVOC 将三个经典的信息检索（IR）准则集成到一个统一的、可学习的压缩流水线中，该流水线位于模态编码器与 LLM 主干网络之间。

2.1 核心组件

压缩模块通过三个阶段生成并选择 Token：

相关性（文本引导的交叉注意力评分）：
- 机制： 将用户的文本查询视为搜索查询，将多模态 Token 视为候选语料库。
- 实现： 计算文本嵌入与多模态 Token 嵌入之间的交叉注意力分数。Token 的相关性得分是其从所有文本 Token 接收到的平均注意力对数（attention logit）。
- 目标： 优先保留与特定用户查询相关的 Token。
重要性（双向视频-音频交叉注意力评分）：
- 机制： 捕获独立于查询的内在信息量（查询无关性），解决查询相对于丰富的视听内容而言较为稀疏的情况。
- 实现： 在每个时间块内，计算视频 Token 与音频 Token 之间的双向交叉注意力。与 opposing 模态产生强烈交互的 Token 会获得更高的分数。
- 目标： 确保即使在未被显式查询的情况下，语义密集的区域（例如同时具有对话和动作的场景）也能被保留。
多样性（时间感知最大边际相关性 - TA-MMR）：
- 机制： 防止选择冗余的相邻 Token，同时保留在时间上分离但语义相似的事件。
- 实现： 使用改进的 MMR 目标进行重排序阶段。与标准 MMR 不同，TA-MMR 将冗余惩罚限制在一个局部时间窗口（ $W$ ）内。它仅对 $[\tau_i - W, \tau_i + W]$ 范围内的 Token 进行相似性惩罚。
- 目标： 抑制信息重复的相邻 Token（例如静态场景），而不抑制发生在不同时间的重复事件。

2.2 选择与训练

预算分配： 总 Token 预算 $K$ 被拆分为模态特定的预算（ $K_{video}, K_{audio}$ ），以确保平衡的跨模态表示。TA-MMR 在每种模态内独立应用。
可微训练： 为了实现端到端训练，使用带有直通估计器（Straight-Through Estimator）的 Gumbel-Softmax 来近似离散的 Top-K 选择。在训练期间禁用 TA-MMR 重排序（由于其贪婪、迭代的特性），仅在推理阶段激活。
两阶段训练：
1. 第一阶段： 在不带压缩模块的数据上微调 LLM 主干，以建立稳定的梯度信号。
2. 第二阶段： 对随机初始化的压缩模块和 LLM 进行联合训练。

3. 主要贡献

新颖视角： 将多模态 Token 压缩重新定义为 Top-K 检索问题，允许将经典的 IR 准则（相关性、重要性和多样性）应用于音频-视频领域。
可学习的压缩模块： 设计了一个统一的模块，通过定制化机制实例化了三种 IR 准则：文本引导的交叉注意力、双向跨模态注意力和时间感知 MMR。
全模态能力： 开发了一个能够处理小时级音视频流的全模态 LLM (AVOC)，在严苛的上下文预算下实现了全面的理解和精细的检索。

4. 实验结果

作者在多个长篇音视频基准测试以及自定义的“大海捞针”（Needle-in-a-Haystack, NIAH）任务上评估了 AVOC。

基准测试表现：
- OmniVideoBench： AVOC 在 (10, 30] 分钟子集上达到了 39.8% 的平均准确率，在整体上达到了 42.3%，分别超过第二名模型 4.9 和 5.5 个百分点。
- LVOmniBench： AVOC 在 Medium 子集上达到 41.3%，在 High 子集上达到 35.5%，整体平均值为 40.3%，优于第二名 5.5 个百分点。
- WorldSense： AVOC 达到了 52.6% 的准确率，比第二名提高了 1.7 个百分点。
- 观察结论： 性能增益随视频时长增加而扩大，表明该方法对于冗余度最高的超长内容特别有效。
音视频大海捞针 (AV-NIAH)：
- AVOC 在长达 3600 秒（1 小时） 的视频中展示了强大的“针”（秘密关键词）检索能力。
- 与基线模型（如 OmniZip，其在 2000–3000 秒后准确率显著下降）不同，AVOC 在整个时长-深度网格中均保持了高准确率。
消融实验：
- 移除任何单一组件（相关性、重要性或多样性）都会导致性能下降，证实了它们具有互补性。
- 发现最优的模态预算比例为 2:1 (视频:音频)，这反映了测试基准中视觉线索具有更高的信息密度。
- TA-MMR 超参数（ $\lambda=0.15, W=3$ ）至关重要；若将窗口半径设为无穷大（退化为标准 MMR），会导致性能下降，验证了时间感知能力的必要性。
效率：
- 压缩模块带来的额外开销极小（全量保留时约为 1.8 秒）。
- 激进压缩（保留率 $\rho=0.1$ ）使预填充延迟降低了近 9 倍（从 4.45 秒降至 0.5 秒），相比于未压缩的主干网络。

5. 意义与主张

论文声称 AVOC 代表了迈向能够对丰富的、长达一小时的多模态内容进行推理的全模态 LLM 的重要一步。通过超越僵化的、非对称的压缩策略，转向对称的、受检索启发的方案，AVOC 解决了上下文窗口限制与信息冗余之间的根本权衡。作者认为，该框架使模型能够在现实场景（如电影、会议、教程）中保持稳健的理解和精细的检索能力，而这些场景此前因序列长度限制而难以处理。