🤖 AI

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem 是一个面向音视频大语言模型的内存高效流式框架，它通过采用模态感知分配策略和扰动感知内存选择，克服了长视频推理的局限性，并在严格的内存预算下显著提高了准确性。

原作者： Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用一部存储空间非常有限的小型智能手机观看一部 3 小时的电影。随着电影的播放，你的手机试图记住每一帧画面和每一句对话。最终，手机会耗尽内存，导致死机，或者不得不随机删除某些内容以腾出空间。这正是现代“音视频大语言模型”（能够观看视频并聆听音频的 AI）在尝试理解长视频时面临的问题。

这篇论文介绍了一个名为 OmniMem 的新系统来解决这个问题。你可以把 OmniMem 想象成一个为 AI 的记忆提供服务的、超级聪明且组织有序的图书管理员。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“一刀切”的错误

目前的 AI 系统在将视频（你看到的）和音频（你听到的）保存到记忆中时，对待它们的方式完全一样。

失衡： 在一段典型的视频中，存在着数以千计的视觉“标记”（token，即微小的图像数据碎片），但只有少量的音频标记（单词或声音）。
缺陷： 如果使用标准的记忆限制，AI 最终会囤积大量冗余的视觉细节（比如一个静止的背景），却不小心丢弃了至关重要的音频线索（比如角色说：“看你身后！”）。这就像是你的背包里装了 100 颗一模一样的石子，却唯独没地方放一张重要的地图。

2. 解决方案：OmniMem 的两路策略

OmniMem 通过使用两个主要技巧来修复这个问题：独立口袋和智能选择。

技巧 A：独立口袋（音视频预算分配）

OmnigMem 没有使用一个巨大的记忆桶，而是给了 AI 两个独立的口袋：一个用于视觉，一个用于音频。

类比： 想象一位正在烹饪复杂菜肴的厨师。他们不会把所有食材都扔进一个巨大的锅里。他们会将香料放在一个小巧珍贵的罐子里，而将蔬菜放在一个大的储物箱里。
工作原理： OmniMem 意识到音频虽然稀少但价值极高，而视觉信息虽然丰富但往往具有重复性。它为音频“口袋”分配了特定且公平的内存量，以确保重要的 spoken words（说话内容）不会因为图片太多而被删除。

技巧 B：智能选择（扰动感知记忆）

一旦 AI 拥有了这些记忆口袋，它就需要决定在视频播放过程中保留什么、丢弃什么。旧的方法仅仅观察两个事物之间的相似程度（例如，“这两个帧看起来一样，所以删掉一个”）。

旧方法的缺陷： 仅仅因为两个帧看起来相似，并不意味着它们不重要。也许那个“无聊”的帧包含了一个 AI 稍后会需要的微妙线索。
OmniMem 的方法： OmniMem 会问一个“如果……会怎样？”的问题。它模拟删除一部分记忆，并询问：“如果我删除了这个，AI 的答案会改变吗？”
- 如果删除一个标记会导致 AI 感到困惑或改变主意，OmniMem 就会保留它。
- 如果删除一个标记没有任何影响，OmniMem 就会把它丢弃。
类比： 这就像是在剪辑电影。一个糟糕的剪辑师根据镜头长短来剪辑。OmniMem 则是一位聪明的剪辑师，他根据场景是否对故事完整性有贡献来进行剪辑。他保留那些“剧情转折”的场景，并删除那些“漫长走廊”的场景，即便那条走廊看起来很漂亮。

3. “训练”红利

论文还提到，如果你专门教 AI 如何使用这些新的记忆规则（这个过程称为“微调”），它会变得更加出色。

类比： 给 AI 一套新的规则就像是给学生一份新的学习指南。如果你随后使用这些规则给他们一份模拟测试，他们就能学会如何更高效地整理笔记，从而在有限的空间内榨取更多的价值。

结果

研究人员在几个长视频基准测试（如 VideoMME 和 LVBench）上测试了 OmniMem。

结果： 在没有任何额外训练的情况下，OmniMem 的准确率比之前的顶尖方法高出 2–4%。
配合训练： 在 AI 学习了这些新的记忆规则后，它又获得了 1–2% 的准确率提升。
效率： 它在实现这一切的同时，并没有减慢 AI 的速度，也没有消耗显著更多的计算资源。

总结

OmniMem 是一种让 AI 在观看长视频时不再耗尽“脑力”的新方法。它不再将音频和视频视为同类事物，而是为它们各自提供了记忆空间，并且只删除那些它确定不会错过的信息。其结果是，相比以往，这种 AI 能够更准确地理解长达数小时的视频内容。

技术摘要：OmniMem

问题陈述

音视频大语言模型（av-LLMs）在长视频理解方面展现出巨大的潜力，但在流式推理过程中面临着一个根本性的瓶颈：视频 Token 和键值（KV）缓存的线性增长。随着视频长度的增加（例如一小时长的视频），内存需求会迅速超过 GPU 限制。虽然分块流式处理已成为一种切实可行的解决方案，但现有的压缩方法存在两个主要局限性：

统一的 Token 处理方式： 当前的方法通常对音频和视觉 Token 应用统一的 Token 选择指标（例如余弦相似度或通用的代理查询注意力）。这未能考虑到模态之间的严重不平衡（视觉 Token 的数量通常是音频 Token 的 30–40 倍），导致关键音频信息被系统性地低估或丢弃。
次优的选择标准： 现有的流式方法通常依赖于“通用代理查询”（位于模型计算图之外）来估计 Token 的重要性。这些评分可能无法准确反映剔除一个 Token 所产生的实际扰动，从而可能导致移除那些在通用代理上得分不高、但对于模型的特定输出至关重要的信息状态。

方法论

作者提出了 OmniMem，这是一个内存高效、感知扰动且感知模态的流式框架，旨在解决上述局限性。该工作流逐块处理视频，并为音频和视觉 Token 维护独立的 KV 缓存。

1. 感知扰动的 KV 缓存选择

OmniMem 不使用外部代理查询，而是根据一种旨在最小化剔除后对注意力输出造成失真的标准来选择要保留的 KV 对。Token $k$ 的选择得分 ( $\psi_k$ ) 结合了两个因素：

重要性（注意力得分）： 指向该 Token 的累积注意力质量 ( $a_k$ )。高值表示该 Token 被后续层频繁使用。
冗余度（余弦相似度）： 该 Token 与其相邻位置之间的余弦相似度 ( $s_k$ )。高相似度表示存在冗余。

选择得分计算如下：
$\psi_k = a_k^\lambda (1 - s_k)$
其中 $\lambda$ 是一个归一化因子。这种乘法组合确保了系统既保留了被频繁使用（高重要性）的 Token，又保留了非冗余（与邻居相似度低）的 Token。为了在不产生过度开销的情况下计算相似度，该方法利用隐藏状态（或数值向量）而非完整的 KV 缓存。

2. 音视频预算分配 (AVBA)

为了解决模态不平衡问题，OmniMem 引入了 AVBA 机制，该机制为音频和视觉 KV 缓存分配独立的内存预算，而不是应用统一的全局预算。

可压缩性指标： 系统使用归一化注意力熵和平均余弦相似度来计算每个模态的可压缩性得分 ( $C$ )。
动态比例： 设定了一个先验的视觉与音频 Token 比例 ( $r$ )（在论文中设为 5）。实际的预算权重 ( $w_v, w_a$ ) 则根据音频和视觉流的相对可压缩性得分进行调整。这确保了即使构成总 Token 数比例较小的不可压缩模态（如人类语言等音频信息）也能获得充足的内存分配。
逐层分配： 总预算根据各层的可压缩性在 Transformer 层之间进行非均匀分布，其中较早的层通常获得较大的预算。

3. 预算感知微调

虽然 OmniMem 本质上是一种无需训练的方法，但作者也探索了结合分配预算方案的有监督微调（SFT）。在此过程中，模型被训练以将有用的信息整合到保留的内存 Token 中。为了管理长序列的计算成本，反向传播被截断至最后 $L-l$ 层，同时确保梯度流经最终块的所有层。

核心贡献

论文将其贡献总结如下：

OmniMem 框架： 一种感知扰动且感知模态的 KV 缓存选择机制，它结合了基于注意力的重要性和基于余弦相似度的冗余度，以最小化剔除后的输出失真。
AVBA 机制： 首个用于 av-LLMs 的音视频预算分配机制，解决了模态表示差异问题，并防止音频 Token 因 Token 数量不平衡而被边缘化。
性能提升： 证明了其相对于通用代理查询和余弦相似度基准的一致准确性提升，并通过预算感知微调获得了进一步的增益。

实验结果

实验在 VideoMME Long、LVBench 和 LVOmniBench 上进行，使用的是 video-SALMONN 2+（4B 和 8B 参数）和 Qwen2.5-Omni（7B 参数）。

无需训练的性能： 在相同的内存预算下（例如每层 8K 个 KV 对），OmniMem 的表现始终优于强基准模型（InfiniPot-V, StreamMem, HERMES），绝对准确率提升了 2–4%。
- 在 video-SALMONN 2+ (8B) 上，与表现最好的基准模型 (HERMES) 相比，OmniMem 在 VideoMME Long 上实现了 4.5% 的提升，在 LVBench 上提升了 3.0%，在 LV-OmniBench 上提升了 2.2%。
- 在 StreamingBench 的“全源”（Omni-source）分区上，性能提升尤为显著，该分区对音视频平衡的要求极高。
微调增益： 应用预算感知微调提供了额外 1–2% 的绝对准确率提升。最显著的增益在 LVBench 上观察到（对于 4B 模型高达 4.1%），这表明模型学会了如何在长视频中更有效地利用固定的内存预算。
效率： 运行时内存开销极小（在 H800 GPU 上小于 1GB），这主要是由于保留了用于相似度计算的隐藏状态。首个 Token 延迟与基准模型相当（约 0.2s）。

重要性与主张

论文将 OmniMem 定位为流式 av-LLM 的必然进化，它超越了启发式的 Token 评分，转向了一种明确优化 Token 剔除对模型输出影响的原则性方法。

模态感知： 作者声称，将音频和视觉 Token 统一对待是当前流式方法的一个根本缺陷。通过引入 AVBA，他们证明了保护频率较低但信息密度高的音频模态对于长时理解至关重要。
感知扰动： 从通用代理查询转向感知扰动选择（最小化输出失真）被呈现为一种更鲁棒的确定 Token 重要性的标准。
实际部署： 该方法旨在满足现实的部署约束，无需用户提示词即可确定预算，并在处理长达一小时的视频时，能在严格的内存限制内有效运行。

作者总结道，虽然 OmniMem 在计算相似度时引入了轻微的内存开销，但这种权衡带来了持续且显著的准确性提升，为内存受限的长时音视频推理树立了新标准。