🤖 AI

Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding

SAVEMem 是一个无需训练的双阶段框架，通过将语义显著性融入记忆生成并采用查询自适应检索来增强在线流式视频理解，从而在显著降低峰值 GPU 内存使用的同时，大幅提升在 OVO-Bench 等基准测试上的性能。

原作者： Hang Wu, Sherin Mary Mathews, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hang Wu, Sherin Mary Mathews, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在电视上观看一场实时、无休止的新闻直播，但你只有一本小小的记事本，用来记录最重要的细节。每一秒，新的画面都汹涌而至，突然，一位观众大声提出一个问题，比如：“五分钟前发生了什么？”或者“主播现在穿的是什么？”

如果你试图在记事本上记下所有内容，它会瞬间被填满，你不得不扔掉旧笔记来为新内容腾出空间。如果你只扔掉最旧的笔记，你可能会错过关于过去问题的答案。如果你只保留最新的笔记，你就无法回答关于历史的问题。

这正是SAVEMem为观看流媒体视频的AI所解决的确切问题。以下是其工作原理，分解为简单的概念：

问题：“无限视频”与“微小大脑”

当前的AI模型擅长观看短电影，但在处理实时、无休止的视频流时却显得力不从心。

约束条件：AI无法预知未来（只能看到已经发生的内容）。
内存限制：它无法永远记住每一帧画面，因为其“大脑”（GPU内存）太小。
不可预测的问题：用户可能会询问此刻的情况，也可能询问一小时前发生的事情。AI需要在甚至不知道问题是什么之前，就决定保留什么以及遗忘什么。

解决方案：SAVEMem（智能图书管理员）

作者创建了一个名为SAVEMem的系统，它充当视频的超级智能图书管理员。它无需重新训练（即可与现有AI模型“开箱即用”）。它采用两阶段流程来管理内存。

第一阶段：“语义”归档系统（保留什么？）

SAVEMem 不是简单地保留最新的图片或那些彼此看起来最相似的图片（例如，因为两张蓝天照片看起来相似而保留它们），而是提出了一个不同的问题：“这张图片实际上有趣或重要吗？”

秘密武器：在视频开始之前，系统已经准备好了一份“假问题”清单（伪问题库）。这些是通用问题，例如“有人吗？”、“有东西在移动吗？”或“场景是什么？”
处理过程：随着视频播放，系统将这些假问题与每一帧画面进行比对。
- 如果某一帧很好地回答了其中一个问题（例如，显示一个人在做饭的画面），它就会获得较高的“重要性评分”。
- 如果某一帧只是无聊的背景噪音，它就会获得较低的评分。
三个层级：系统将内存组织为三个层级：
1. 短期：以完美细节保留最后几秒钟（如同进行对话）。
2. 中期：保留近期过去中“有趣”的时刻。
3. 长期：保留遥远过去的稀疏、高层级摘要。
结果：即使视频长达数小时，AI也只保留语义上重要的“高光时刻”，而不仅仅是那些看起来相似的画面。

第二阶段：“智能搜索”（如何回答？）

当用户最终提出真实问题（例如：“这个人在准备肉之前做了什么？”）时，系统不会仅仅猜测。它会根据问题调整搜索策略。

“近期门控”：系统首先检查：“这个问题是关于此刻的吗？”
- 是？它只查看短期层级。为了节省时间和能量，它忽略其余的历史记录。
- 否？（例如：“十分钟前发生了什么？”）它打开中期和长期层级。
“晚期交互”：一旦确定要检查哪些层级，它会将用户的具体问题与第一阶段保存的“高光”帧进行比对。它会挑选出与问题最匹配的特定帧来生成答案。

为何意义重大

该论文在标准AI模型（Qwen2.5-VL）上测试了此方法，且未对其进行任何新训练。结果令人印象深刻：

更智能的答案：它大幅提高了AI回答流媒体视频问题的能力（在主要测试中得分从52.27提升至62.69）。
更轻的负载：在观看长视频时，它比标准模型使用的计算机内存减少了48%。这就像用更小的背包获得更好的答案。
无需训练：你不需要花费数周时间教导AI如何做到这一点；它只需利用已有的工具即可运作。

局限性（注意事项）

作者诚实地指出了该系统目前尚无法做到的事情：

计数困难：如果你问：“过去一小时内有多少人走过？”系统可能会漏掉一些人，因为它为了节省空间不得不扔掉“无聊”的帧。
通用问题：用于判断重要性的“假问题”是通用的。对于非常具体、小众的视频类型（如专门的医疗影像），如果没有未来的调整，它们可能并不完美。

简而言之

SAVEMem就像一个视频助手，它不试图记住实时流的每一秒。相反，它会快速扫描视频，保留“故事节拍”（重要时刻），并丢弃无聊的部分。当你提出问题时，它知道确切该去哪里查找——无论是最后几秒钟，还是一小时前的某个特定时刻——从而以更少的精力为你提供更好的答案。

技术摘要：面向流式视频理解的语义感知自适应视觉记忆

问题定义

本文针对**在线流式视频问答（StreamingVQA）**任务，该任务要求模型处理连续且无界的视频流，并在自然语言查询到达时实时作答。与全视频可用的离线设置不同，流式处理施加了三个关键约束：

无未来访问权限：模型仅能访问当前时间戳 $T$ 之前的帧。
查询无关的编码：由于查询的到达具有不可预测性，记忆构建必须在不知晓具体查询的情况下进行。
有限内存：无论视频长度如何，总内存占用必须保持恒定。

现有方法难以应对这些约束。大多数方法依赖视觉相似性启发式进行 Token 压缩，这无法捕捉语义重要性；或者在压缩完成后，才在 KV 缓存层面添加检索机制。这种分离使得协调保留与检索变得困难，往往导致具有关键语义但视觉冗余的信息丢失。

方法论：SAVEMem

作者提出了SAVEMem，这是一个无需训练的双阶段框架，将查询无关的记忆生成与查询感知的检索解耦。该系统在恒定的内存预算 $B$ 下运行，并利用固定的“伪问题库”注入语义先验，而无需对模型进行微调。

第一阶段：语义记忆生成（查询无关）

在此阶段，模型随着帧的到达在线构建三层流式记忆（ $M_{short}$ 、 $M_{mid}$ 、 $M_{long}$ ）。

语义先验：SAVEMem 不单纯依赖视觉相似性，而是利用MaxSim后期交互机制，将每个视觉 Token $v$ 与固定的伪问题库 $Q$ （涵盖物体、动作、场景等）进行评分： $s(v) = \max_{q \in Q} \cos(v, q)$ 。这提供了对语义显著性的查询无关估计。
具有选择性遗忘的三层层级：
- 短期（ $M_{short}$ ）：一个先进先出（FIFO）缓冲区，以完整保真度保留最近的帧，以锚定当前上下文。
- 中期（ $M_{mid}$ ）：当 $M_{short}$ 填满时，最旧的帧会经历时间语义剪枝。如果 Token 能被时间邻域很好地表征，则将其移除，除非它们具有高语义分数（ $s(v)$ ）或位于场景边界。
- 长期（ $M_{long}$ ）：当 $M_{mid}$ 溢出时，帧通过空间语义选择移入此处。这将空间覆盖视为硬约束，根据语义分数对 Token 进行排序，以保留分散但语义有序的子集。
- 全局预算执行：一个选择性遗忘步骤确保 Token 总数从不超出 $B$ 。如果超出，则从 $M_{long}$ 中驱逐得分最低的 Token。

第二阶段：自适应记忆检索（查询感知）

在时间 $T$ 接收到用户查询 $q$ 后，系统从冻结的记忆中检索相关帧。

锚点条件的近期门控：系统首先检查查询是否针对近期过去。它计算 $q$ 与短期锚点（ $M_{short}$ ）之间的亲和力。如果该亲和力较高（相对于运行平均值），系统直接返回 $M_{short}$ ，绕过更旧的层级。该门控根据视频特定的亲和力分布，针对每个查询进行自适应调整。
查询感知的后期交互：如果查询需要历史上下文，系统计算查询与 $M_{mid} \cup M_{long}$ 中 Token 之间的ColBERT 风格后期交互分数。帧的分数是其 Token 与查询 Token 之间最大余弦相似度的平均值。
自适应检索：帧根据该分数进行排序。检索的帧数（ $K$ ）根据分数离散度进行自适应调整：紧密聚集的分数（分散的证据）导致检索更多帧，而分离良好的分数则触发激进过滤。最终集合始终包含 $M_{short}$ 加上排名最高的历史帧。

主要贡献

双阶段框架：一种无需训练的架构，将语义感知压缩与查询感知检索分离，允许通过共享评分机制（MaxSim）协调这两个阶段，而无需联合训练。
语义感知压缩：引入伪问题库，基于语义显著性而非仅仅是视觉相似性来指导长期保留，确保即使视觉冗余的信息性 Token 也能被保留。
自适应检索范围：一种锚点条件的近期门控，根据查询是针对当前还是遥远过去，动态调整检索范围（短期与长期）。
效率：该方法实现了次线性的 Token 增长，且相对于视频长度，峰值 GPU 内存使用量几乎保持平坦，将长视频处理转化为受预算约束的问题。

实验结果

SAVEMem 在 OVO-Bench、StreamingBench 和 ODV-Bench 上进行了评估，使用 Qwen2.5-VL 骨干网络（3B 和 7B 参数），且未进行任何训练。

OVO-Bench：
- 在 Qwen2.5-VL-7B 骨干网络上，SAVEMem 将总体分数从 52.27 提升至 62.69，优于近期的无需训练方法（如 FluxMem、HERMES）和有竞争力的基于训练的方法（如 ViSpeak）。
- 在实时视觉感知（+10.41 分）和向后追踪（+10.41 分）方面观察到显著提升。
- 该方法在需要细粒度视觉细节的任务（OCR、STU、ACR）和幻觉检测中表现出特别的优势。
StreamingBench & ODV-Bench：
- 在两个骨干网络上均观察到一致的提升。在 7B 模型上，ODV-Bench 静态分数提高了 8.7 分（从 48.3 提升至 57.0）。
效率：
- 在 128 帧时，与骨干网络相比，SAVEMem 将峰值 GPU 内存使用量降低了 48%（18.5 GB 对比 35.8 GB），同时保持了次线性的 Token 增长。

意义与主张

本文主张，将查询无关的语义压缩与查询感知的自适应检索解耦，是无需训练即可扩展流式视频理解的实用方向。通过在压缩阶段注入语义信号并根据每个查询调整检索范围，SAVEMem 解决了流式处理中固有的“感知 - 记忆权衡”。作者强调，他们的方法通过执行恒定内存预算同时保留关键语义信息，使模型能够在商用 GPU 上处理无界流。

作者承认了局限性，指出该方法对于需要彻底时间扫描的任务（例如计数）而言，本质上对选择性检索与全覆盖之间的权衡敏感。他们还指出，伪问题库目前是通用的，未针对特定领域进行适配，且无需训练的设计排除了两个阶段的联合优化。