💻 computer science

O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding

本文介绍了 O-MARC，这是一个无需训练的压缩蒸馏框架，并配套了 UGC-AVQA 基准测试，该框架通过降低推理延迟和内存占用，同时保留关键的视听关联，显著提升了全模态视频理解的效率与准确性。

原作者： Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于O-MARC论文的通俗解释，辅以日常类比。

核心难题：电影院里的噪音太多

想象一下，你试图理解一部电影中的复杂故事。这部电影包含两条主要信息流：你看到的（演员、布景）和你听到的（对话、音效、背景噪音）。

当前试图理解这些电影的 AI 模型，就像是被塞了 1 万页文本和 1 万页音频转录稿的学生。为了得到答案，AI 必须阅读每一个字并聆听每一个声音。这使得整个过程：

缓慢：处理过程耗时极长。
昂贵：需要巨大的计算机内存（就像试图把整个图书馆塞进背包里）。
混乱：在现实生活中的视频（如 TikTok 或 YouTube 上的视频）里，存在大量“噪音”。AI 经常被无关细节分散注意力，从而错过特定声音与特定视觉动作之间的联系。

解决方案：一套三件套工具

该论文的作者构建了一套工具来解决这个问题。他们创建了一个新测试、一种新的“压缩”方法和一种新的“训练”方法。

1. 新测试：“静音按钮挑战”（UGC-AVQA）

首先，研究人员意识到现有的测试不够好。他们想知道 AI 是真的将声音与视觉联系起来，还是仅仅根据看到的画面在猜测。

类比：想象一个测验，你观看一个人打碎玻璃的视频。
- 旧测试：AI 只看到玻璃破碎，便猜测“它碎了”。（这很容易，但无法证明它听到了撞击声。）
- 新测试（UGC-AVQA）：研究人员创建了一个特殊基准，将视频静音后提供给超级智能的 AI。如果 AI 在没有声音的情况下仍能完美回答问题，说明该问题太简单，会被剔除。
- 结果：他们只保留了那些“难”问题，即你必须听到声音才能理解视觉事件的问题（例如：“为什么狗停止奔跑了？”-> 你必须听到主人喊“停！”）。这确保了 AI 真正做到了视听结合。

2. “智能摘要器”（OMAC）

接下来，他们需要一种方法让 AI 更快，同时不丢失重要细节。他们发明了OMAC（全向记忆增强压缩）。

类比：想象你在为错过电影的朋友做笔记。
- 旧方法（直接剪枝）：你随机删除 70% 的页面。你可能会删掉反派揭示计划的那一页。
- OMAC 方法：你扮演一位聪明的编辑。
  1. 视觉记忆：你扫描电影，说：“好吧，这场追车戏很重要。我会保留这些帧。这片云移动的镜头很无聊；我会用一句话概括它。”
  2. 音频锚点：你聆听音频。“尖叫声很重要；保留它。背景风声很无聊；删掉它。”
  3. 魔法链接：这是巧妙之处。如果视觉编辑决定某个特定场景超级重要，音频编辑就会说：“好吧，我会给那个确切场景的声音分配更多空间。”如果视觉场景很无聊，音频就会被更激进地压缩。
- 结果：AI 获得了一个“精彩集锦”，它短得多，但保留了破解谜题所需的所有关键线索。它运行速度快 34%，内存使用量减少 34%。

3. “教练”（O-MARC）

最后，他们意识到，即使有了精彩的“集锦”，AI 也可能不知道如何学习它。AI 习惯了阅读完整剧本，所以当给它摘要时，它会感到困惑。

类比：想象一个习惯阅读 500 页教科书的学生。你突然给他一份 5 页的摘要。他可能会不及格，因为他不知道如何从摘要中提取关键点。
- 解决方案（O-MARC）：研究人员创建了一种训练方法，让 AI 在“摘要”（压缩数据）上进行练习，同时由一位“老师”（阅读完整剧本的 AI）进行指导。
- 工作原理：老师利用完整剧本解决问题。学生尝试利用压缩摘要解决问题。如果学生因为摘要太短而答错，教练会因其试图从那个特定差距中学习而给予额外奖励。
- 结果：AI 学会了变得稳健。即使信息被压缩，它也能非常擅长解决问题。

结果：小而强大

研究人员在一个小型、高效的 AI 模型（30 亿参数，与其他模型的“重型卡车”相比，这就像一辆“紧凑型轿车”）上测试了该方法。

没有他们的帮助：小模型得分为44.1。
使用 OMAC（摘要器）：得分为42.8（略有下降，这在削减数据时是预期的）。
使用 O-MARC（教练）：得分为45.8。

重大胜利：通过使用他们的压缩和训练方法，小型高效模型实际上击败了大型未压缩模型（45.8 对 44.1）。他们证明了，要很好地理解视频，并不需要庞大的计算机；你只需要一种聪明的方法来过滤噪音，并训练模型处理过滤后的数据。

总结

该论文提出了一种方法，通过以下方式使 AI 视频理解更快、更便宜、更智能：

创建一个更难的测试，迫使 AI 将声音与视觉联系起来。
构建一个“智能编辑”，保留重要的视觉和音频线索，同时删除噪音。
训练 AI 适应处理这些“编辑后”的摘要，使小模型能像大模型一样表现。

技术摘要：O-MARC：面向高效视频理解的全模态记忆增强压缩蒸馏

1. 问题陈述

全模态大语言模型（LLMs）已成为统一音频、视觉和语言理解的有前景方向。然而，由于音频和视频模态本身具有令牌密集型（token-intensive）的特性，其推理成本依然高昂。联合处理视频帧和音频流会生成长序列的多模态数据，导致巨大的内存开销和缓慢的推理速度，尤其是在处理长视频时。

虽然令牌压缩是一个自然的解决方案，但将其扩展到音视频输入并非易事。与仅视觉压缩不同，音视频压缩必须处理具有不同冗余模式的两种模态：视频令牌通常表现出空间和 temporal 冗余，而音频令牌可能编码短暂但关键的线索。至关重要的是，每种模态的重要性往往是相互依存的；声音在基于可见场景时才能获得意义，而视觉事件若没有对应的音频可能会保持模糊。现有的压缩方法通常孤立地压缩各模态，可能会移除准确推理所需的跨模态证据。

此外，现有的基准测试未能充分隔离噪声用户生成内容（UGC）中的音视频关联。许多当前的基准测试评估长视频推理，但主要依赖极少利用音频信号的视觉模型，或者它们没有明确过滤掉仅凭视觉先验即可解决的问题。

2. 方法论

本文提出了一种三管齐下的方法：一个新的基准测试、一种无需训练的压缩方法，以及一个感知压缩的蒸馏框架。

2.1 UGC-AVQA 基准测试

为了弥补评估缺口，作者引入了UGC-AVQA，这是一个由 1,000 个公开 UGC 短视频构建的公共基准测试，包含 4,816 个问答对。

重点：跨事件、场景和时间变化的细粒度音视频关联。
构建：视频被标注了详细的描述和四个类别的选择题：音视频事件进展、音视频场景/时间转换、跨场景对齐以及细粒度对比。
难度过滤：为了确保问题需要两种模态，应用了“音频移除测试”。仅当强模型（Gemini-3.1-Flash）在移除音轨后无法回答时，该样本才会被保留在基准测试中。这过滤掉了仅凭视觉先验即可解决的问题。
划分：数据集被划分为训练集（794 个视频，3,168 个问答对）和基准测试集（206 个视频，1,648 个问答对），并经过人工审查以确保质量。

2.2 OMAC（全模态记忆增强压缩）

OMAC 是一种无需训练的即插即用压缩方法，旨在保留显著的视觉记忆和基于时间定位的音频锚点，而无需修改骨干模型。

视觉记忆：
- 帧评分：帧被总结并根据查询相关性进行评分。高分帧被选为关键帧。
- 令牌选择：在选定的帧内，令牌根据与帧中心的对比度进行评分。独特的令牌被保留为显式视觉记忆，而紧凑的帧记忆令牌则通过加权池化形成。
- 结构：这创建了一个两级记忆结构：帧摘要（粗略记忆）以及独特的局部令牌加上紧凑摘要（细粒度记忆）。
音频记忆与预算调整：
- 锚点：音频令牌根据重要性进行评分。高分令牌成为“锚点”，附近被丢弃的令牌被合并到它们中以形成紧凑的声学记忆槽。
- 跨模态预算分配：OMAC 利用视觉记忆分布来调整音频预算。如果某时间段保留了显著的视觉记忆，则该时间段的音频预算会增加。相反，视觉内容较少的区间会被更激进地压缩。这确保了压缩后的序列保留了跨模态的事件结构，而不是孤立的令牌。

2.3 O-MARC（全模态记忆增强压缩蒸馏）

为了使紧凑模型对压缩输入具有鲁棒性，作者引入了O-MARC，这是一个基于组相对策略优化（GRPO）的压缩蒸馏框架。

机制：对于每个查询，策略采样两个 rollout：一个使用完整令牌的“教师”分支，和一个使用 OMAC 压缩令牌的“学生”分支。
奖励塑形：教师和学生奖励之间的差异（ $\Delta_i$ ）衡量了压缩引起的退化。该差异用于重塑 GRPO 优势。
目标：训练目标被修改为偏向于在记忆压缩下仍能保持鲁棒性的策略优化行为。具体而言，那些在 GRPO 下有益但被压缩严重退化的样本会获得更大的正向更新。这使得模型能够在减少的令牌预算内有效地进行推理。

3. 主要贡献

UGC-AVQA：一个针对 UGC 视频中音视频关联的新公共基准测试，具有音频移除难度检查，以确保问题真正需要多模态推理。
OMAC：一种无需训练的即插即用压缩方法，保留显著的视觉记忆，并利用视觉上下文动态分配音频记忆预算。
O-MARC：一个压缩蒸馏框架，训练全模态模型在压缩的多模态上下文中进行鲁棒推理，其表现优于标准的令牌剪枝和当代基于训练的基线。

4. 实验结果

实验在参数范围从 3B 到 30B 的模型（Qwen2.5-Omni 和 Qwen3-Omni 系列）上进行，涵盖了四个基准测试：DailyOmni、UGC-AVQA、OmniVideo 和 WorldSense。

OMAC 性能：OMAC 在效率与精度的权衡上始终优于直接令牌剪枝（OmniZip）和全令牌推理。
- 在 Qwen2.5-Omni-3B 上，OMAC 将平均分数提高至 45.8，超过了全令牌推理（44.1）和 OmniZip（41.0）。
- 与全令牌推理相比，它将推理延迟降低了 34.6%（1.53 倍加速），内存使用量降低了 34.7%。
O-MARC 性能：
- 效率：在 3B 模型上，O-MARC（仅使用 3k 样本训练）实现了 45.8 的平均分数，优于全令牌基线（44.1）和单独的 OMAC（42.8）。
- 可扩展性：当扩展到 7B 模型并使用 10 万 + 训练样本时，O-MARC 实现了 51.1 的平均分数，优于当代基于训练的基线 OmniSIFT（48.7），并显著提高了 UGC-AVQA 的准确率（64.6 vs. 56.4）。
消融研究：
- 压缩率：即使在 70% 的压缩率下，OMAC 仍保持高性能，而 OmniZip 的性能则显著下降。
- 引导：完整的 OMAC 设计（视觉 $\to$ 音频预算调整）优于音频引导视觉压缩或模态独立压缩的变体。

5. 意义与主张

本文主张，高效的全模态推理不应仅被视为一种推理加速技术，而应被视为一种可训练的条件。

相互依赖性：结果表明，音频和视频压缩不能孤立处理；保留跨模态证据（例如，利用视觉记忆指导音频预算分配）对于保持推理能力至关重要。
鲁棒性：通过 O-MARC，作者展示了紧凑模型可以被训练为在减少的令牌预算下有效推理，通常在效率受限的设置中优于更大的模型或全令牌推理。
评估：UGC-AVQA 的引入突显了当前基准测试中的差距，表明可靠的 UGC 音视频问答不仅需要通用的视觉识别或单模态先验，还需要对音视频关联进行明确评估。

作者总结道，他们对基准构建、记忆压缩和感知压缩训练的统一研究，为现实世界中噪声视频内容的鲁棒且高效的全模态推理提供了一条途径。