🤖 AI

What Should a Streaming Video Model Remember?

该论文介绍了 SelectStream，这是一个选择性潜在记忆框架，它通过采用由惊奇驱动的窗口化、优先级保留的整合以及查询条件的图推理，来优化固定预算下的在线视频理解，从而在不稀释当前场景感知的情况下注入仅有的相关历史证据。

原作者： Haonan Ge, Yiwei Wang, Hang Wu, Yujun Cai

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Haonan Ge, Yiwei Wang, Hang Wu, Yujun Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《流式视频模型应该记住什么？》（What Should a Streaming Video Model Remember?）的解释，采用了简单的语言和日常类比。

核心问题：“信息过载”陷阱

想象你正在电视上观看一场足球直播比赛，这时你的朋友正在给你发短信询问刚才发生了什么。

旧方法（近期窗口法）： 你的朋友只能记住过去 30 秒发生的比赛内容。如果你问：“5 分钟前那个进球是谁踢进的？”他们会说：“我不知道，那太久远了，我已经忘了。”
“记忆库”方法： 你的朋友试图记住比赛开始以来发生的所有事情。但由于他们的脑海中塞满了每一个动作、每一次欢呼和每一段广告，导致当你提出一个具体问题时，他们会感到困惑。他们会将 5 分钟前的进球与 2 小时前的进球混淆。这被称为**“证据稀释”（evidence dilution）**。

论文指出，最好的方法既不是记住所有事情，也不是只记住最后几秒钟，而是成为一名聪明的档案管理员，知道该保留什么以及如何快速找到它。

解决方案：SelectStream

作者引入了一个名为 SelectStream 的新系统。你可以把它看作是一个为观看实时视频的 AI 准备的高效“数字记忆助手”。它不是通过重放旧的视频片段，也不是向 AI 的大脑中倾倒成千上万条文本摘要，而是使用了三个聪明的技巧，像专业图书管理员一样管理记忆。

1. 何时记录： “惊喜”传感器

大多数系统以稳定的节奏记录记忆（比如每秒拍一张照片）。SelectStream 则不同。它使用了一种**“惊喜驱动的自适应窗口”（Surprise-Driven Adaptive Window）**。

类比： 想象你正走在一条安静的森林小径上。你不需要给每一棵树都拍张照。但如果突然有一只鹿跳了出来，或者一根树枝咔嚓一声断裂，你会立刻停下来拍张照。
工作原理： AI 会观察视频。如果场景没有变化，它就会跳过记录过程。如果发生了“令人惊喜”的事情（场景突然变化、出现了新物体），它就会创建一个记忆条目。这节省了空间，并让记忆专注于重要的时刻。

2. 保留什么： “优先级”分类器

AI 的记忆容量是有限的（就像一个固定大小的背包）。当背包满了，你应该扔掉什么？

类比： 想象你在为旅行打包。你有一个规则：“我只会扔掉那些无聊、陈旧且很久没看过的物品。”你会保留那些令人兴奋、新鲜或被你多次查看过的物品。
工作原理： SelectStream 使用了**“优先级保护合并机制”（Priority-Preserving Consolidation）**。如果它需要腾出空间，它会将相似的记忆合并在一起（比如将两张相同的日落照片合并为一张），但会保护那些具有“惊喜感”、“被频繁询问”或“近期发生”的记忆。它绝不会仅仅按照时间顺序删除最旧的东西（这是大多数计算机的做法）。

3. 如何阅读： “智能搜索”

当你提出一个问题时，AI 并不会从头到尾阅读它的整本日记。

类比： 想象你在一本巨大的食谱中寻找特定的菜谱。你不会阅读每一页，而是使用一个智能索引，它会告诉你：“去‘甜点’章节，然后找到有‘巧克力’的那一页。”
工作原理： 当问题进入系统时，系统会构建一个与该问题相关的微型子图（subgraph）（即一个小的相关记忆地图）。它利用**图注意力推理（Graph Attention Reasoning）**来连接不同记忆之间的点。随后，它会提取出仅有的几个“潜在证据标记（latent evidence tokens）”——这些就像是相关视频时刻的高质量压缩摘要——并将它们喂给主 AI 大脑来回答问题。

为什么这很重要（实验结果）

论文在多个基准测试（如 StreamingBench 和 OVO-Bench）上测试了该系统。

结果： SelectStream 击败了“近期窗口法”（容易遗忘旧信息）和“重度记忆法”（容易因信息过多而困惑）。
得分： 它在流式测试中达到了 82.67% 的准确率，相比以往的方法有了显著提升。
效率： 尽管它能记住数小时前发生的事情，但它并不会变慢。无论视频是 1 分钟还是 1 小时长，它消耗的计算资源都保持不变，因为它的记忆规模是固定的。

总结

SelectStream 教会了 AI 如何在一段实时的对话中做一个好的倾听者。它不会试图记住所说的每一个字（这几乎是不可能的），也不会只听最后一句（这毫无帮助）。相反，它会：

察觉什么时候发生了重要的事情。
保留故事中最有趣、最有用的部分。
寻找历史上最精确的一块碎片来回答问题，而不会感到不知所措。

这使得 AI 能够高效地理解长期的实时视频流，在无需超级计算机的情况下，回答关于几分钟甚至几小时前发生的事情的问题。

技术摘要：SelectStream

问题陈述

流式视频理解要求视觉语言模型（VLM）能够在持续的视频流中，仅利用已观察到的前缀，在任何时刻回答查询，并受限于固定的内存、上下文和计算预算。虽然近期的研究尝试通过添加外部记忆库、检索模块或视觉 Token 压缩来解决这一问题，但这些方法通常基于一个假设，即“更丰富的记忆”会自动带来更好的理解能力。

作者认为，不加区别地注入历史信息会稀释当前场景的感知能力，这是一种现象，即相关的证据与无关的内容混合在一起，削弱了模型的推理能力。相反，简单的近期窗口基线（即丢弃旧证据的方法）在关键信息位于即时上下文之外时会失效。核心挑战不在于是否使用记忆，而在于如何选择性地分配记忆：即决定何时写入新证据、当容量满时保留什么、如何针对特定查询检索证据，以及在不随流长度增加上下文窗口的情况下，在生成过程中暴露多少历史上下文。

方法论：SelectStream

SelectStream 是一个选择性潜空间记忆框架，它将流式记忆形式化为受预算限制的在线潜空间证据分配。它在一个冻结的 VLM 主干网络上运行，并通过动态潜空间证据图（ $G_t = (M_t, E_t)$ ）而非重放原始帧或将历史转换为文本摘要来管理历史。该系统由三个协调的机制组成：

1. 惊喜驱动的自适应窗口（SAW）—— 何时写入

SAW 决定何时关闭一个视频段并将其写入记忆。它不是采用固定间隔，而是在稳定的区间分配粗粒度的记忆条目，并在接近惊喜转折点时提供更细的解析度。

机制： 它根据注意力偏移（注意力图的 JS 散度）和特征变化（投影嵌入的余弦距离）计算一个惊喜得分（ $s_t$ ）。
触发条件： 当达到最小长度（ $L_{min}$ ）且满足以下三个条件之一时，视频段关闭：出现惊喜峰值（ $\bar{s}_t > \theta_{high}$ ）、累积的惊喜能量超过预算（ $B_s$ ）或达到最大段长度（ $L_{max}$ ）。

2. 潜视觉记忆（LVM）—— 保留什么

LVM 管理一个固定容量的记忆图，其中投影的视觉嵌入作为潜节点存储。

写入： 当一个段被关闭时，其嵌入会与活跃节点进行比较。如果语义相似且惊喜度较低，则通过门控更新机制更新现有节点（防止直接替换有用的历史）；否则，创建一个新节点。
整合： 当记忆预算（ $N$ ）超过限制时，系统执行优先级保留整合。它合并惩罚最小的一对节点，这平衡了语义冗余（相似性）与优先级因素（惊喜度、访问频率和近期性）。这确保了具有惊喜度或被频繁访问的证据得以保留。

3. 查询驱动的图注意力推理（GAR）—— 如何读取

当查询到达时，模型会检索一个紧凑的子图，而不是在整个历史记录上进行推理。

路由： 查询被编码并用于对活跃节点进行评分。一个子图从 top- $k$ 个种子节点通过时序和语义边进行路由，并受子图预算（ $B$ ）的约束。
推理： 图注意力网络（GAR）通过聚合来自邻居的时序和语义上下文来精炼节点状态。
注入： 前 $M$ 个精炼后的节点经过校准后，作为潜证据 Token 注入到冻结 VLM 的解码器中。这使得 VLM 能够访问历史证据，而不会使上下文长度随流时长成比例增长。

核心贡献

形式化定义： 本文将流式视频中的选择性记忆问题形式化为受预算限制的在线潜空间证据分配问题，明确解决了保留当前场景感知与访问长程历史之间的权衡。
架构（SelectStream）： 一种动态潜空间记忆架构，将投影的 VLM 嵌入写入固定容量的图中。它利用惊喜驱动的窗口进行自适应写入，利用优先级感知的整合进行保留，以及利用查询驱动的图推理进行检索。
接口： 一种将校准后的潜证据 Token 注入冻结 VLM 的设计，避免了原始帧重放或文本摘要，从而保持了无论流长度如何变化的有限推理成本。

实验结果

SelectStream 使用 Qwen2.5-VL-7B 和 Qwen3-VL-8B 作为主干网络，在流式和离线视频基准测试中进行了评估。

流式基准测试：
- StreamingBench： 实现了 82.67% 的准确率（Qwen3-VL-8B），优于强大的近期窗口基线（例如 Qwen3-VL-8B + 4f 为 80.59%）以及之前的流式记忆方法。
- OVO-Bench： 实现了 67.03% 的总准确率。值得注意的是，它显著提高了**向后追踪（BT）**得分（在 Qwen3-VL-8B 上从 54.00% 提升至 62.20%），证明了其在维持高实时视觉感知（82.76%）的同时，利用先前视觉上下文的卓越能力。
离线基准测试：
- 在 VideoMME、MLVU 和 MVBench 上，SelectStream 实现了平均 74.4% 的准确率（Qwen3-VL-8B），表明该方法保留了通用的视频理解能力，且没有为了流式效率而牺牲离线性能。
效率：
- 随着处理帧数的增加，模型保持了近乎平坦的查询延迟（TTFT）和峰值 GPU 显存，因为活跃的记忆状态受限于 $N$ ，且检索受限于 $B$ 和 $M$ 。

意义与主张

论文声称 SelectStream 解决了不加区别地注入记忆所固有的“证据稀释”问题。通过让当前的观测结果对冻结 VLM 直接可见，并仅通过紧凑的、查询驱动的证据预算来暴露历史信息，该模型实现了长程记忆与当前场景感知之间的卓越权衡。

作者将 SelectStream 定位为在固定资源约束下实现流式视频理解的一个可扩展方向。结果表明，选择性潜空间记忆带来的收益不仅限于保留最新的帧，它还能够实现鲁棒的历史依赖型推理，而不会产生不断增长的上下文窗口带来的计算开销。该框架旨在成为冻结视频语言主干网络的一个通用记忆层，将在线记忆管理与查询时的生成过程分离。