🤖 machine learning

ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory

ProtoKV 是一个流式视频理解框架，它通过结合近窗口精确的 KV 缓存与用于历史内容的固定容量摘要状态状态的混合方法，在保持恒定内存占用的同时解决了延迟查询的挑战，从而随着查询延迟的增加，显著提高了相对于 Token 保留基准模型的准确性。

原作者： Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在观看一段非常长的、连续的视频流，比如一个 24 小时的监控摄像头画面。你的任务是回答关于这段视频中发生了什么的问题。问题在于？你有一个微小的大脑（有限的计算机内存），而且你不能暂停视频去回放重看。你必须在等待有人提问的同时保持观看，而提问可能发生在某个特定事件发生几分钟甚至几小时之后。

这就是**流式视频理解（Streaming Video Understanding）**的挑战。

问题所在：“遗忘”的大脑

目前的多数系统试图通过保留最近几分钟视频的“滑动窗口”来解决这个问题。

类比： 想象你拿着一个装水的桶（你的记忆）。随着新水（视频帧）流入，你必须让旧水流出，以防止水桶溢出。
缺陷： 如果一个关键事件发生了（比如小偷偷走了钱包），随后出现了 20 分钟无聊的画面，直到有人问：“你看到那个小偷了吗？”，这时旧水（小偷）已经从桶里倒掉了。系统忘记了答案。

其他系统尝试保留一份“重要时刻”（token）的列表。但如果视频很长，它们必须不断决定丢弃哪些保存下来的时刻，以腾出空间给新的时刻。如果它们丢弃了错误的时刻，答案就会永远丢失。

解决方案：ProtoKV（“总结笔记本”）

作者提出了一种名为 ProtoKV 的新系统。ProtoKV 不再试图保存每一个单独的帧或仅仅是几个特定的时刻，而是使用了一个像智能笔记本一样的两部分记忆系统。

1. “近期过去”（精确窗口）

对于视频中最近的部分（例如最近的几分钟），ProtoKV 保留一份完美的、高分辨率的副本。

类比： 这就像是你拥有过去 5 分钟内发生的一切的高清照片。如果你询问关于现在的事情，答案就在那里，清晰可见。

2. “远期过去”（原型库）

对于发生在那个最近窗口之前的所有内容，ProtoKV 不再保存单个帧。相反，它会创建摘要。

类比： 想象你在看一场游行。你不会记得 2 小时前每一个人的脸。相反，你会记得：“有一支进行曲乐队”、“一个带有巨型猫装饰的花车”以及“一群穿着红衣服的人”。
它是如何工作的： ProtoKV 将相似的事物组合在一起形成“原型（Prototypes）”。
- 如果一个人正在走路，ProtoKV 会创建一个“走路的人”摘要。
- 如果那个人走了 10 分钟，系统不会保存 10 分钟的视频。它只是更新这个“走路的人”摘要，写道：“这个人一直在走路。”
- 它还会保留一个“残差（residual）”笔记：“大多数时候，这个人走路很正常，但偶尔会挥挥手。”这捕捉到了多样性，而无需保存每一步的动作。

魔法技巧：“幽灵 Token”

当问题终于到来时（例如，“30 分钟前那个穿红衣服的人做了什么？”），系统需要将此信息喂给 AI 模型。但模型期望看到的是实际的视频帧，而不是仅仅是一个摘要。

ProtoKV 使用了一个巧妙的技巧，称为伪 Token（Pseudo-Tokens）。

类比： 想象你有一张写着“巨型猫花车”的总结笔记。为了向 AI 展示这个内容，ProtoKV 会根据这些总结笔记创建一些看起来像“巨型猫花车”的“幽灵”视频帧。
这些幽灵并不是真实的帧；它们是基于摘要的数学重建。AI 模型看到这些幽灵后，会将它们视为与真实视频帧完全相同的存在。
至关重要的是，系统会计算有多少个真实时刻构成了那个摘要。如果“巨型猫花车”摘要是由 500 秒的真实视频构建的，系统会告诉 AI：“这个幽灵代表了 500 秒的证据”，这样 AI 就会更加关注它。

为什么这更好

论文声称，在回答关于很久以前发生的事情（高延迟）的问题方面，ProtoKV 比其他方法表现得要好得多。

旧方法（滑动窗口）： 如果事件发生在 30 分钟前，系统已经把它删除了。准确率降至零。
旧方法（Token 保留）： 系统试图保存特定的时刻，但必须删除其中一些以腾出空间。它可能会删掉小偷出现的那个精确瞬间。
ProtoKV： 它永远不会删除事件的概念。它只是将其压缩成一个摘要。即使经过了 30 分钟的新视频，那个“小偷”摘要仍然存在，并随着新细节不断更新，随时准备转化为“幽灵”帧供 AI 回答问题。

结果

作者在多个视频基准测试中测试了该系统。他们发现：

准确性： 在针对发生很久以前的事件提问时，ProtoKV 的得分显著更高（高出多达 12.5 个百分点）。
稳定性： 随着事件与提问之间的时间间隔增大，ProtoKV 的性能保持稳定，而其他方法的性能则大幅下降。
速度： 它回答问题的速度与其他方法一样快，因为“摘要”很小且能轻松放入计算机内存，因此不会拖慢系统。

简而言之，ProtoKV 通过停止尝试记住每一个细节，转而记住所发生事情的“故事”，解决了“遗忘”问题，使其能够在不需要超级计算机内存的情况下，回答关于远期过去的问题。

技术摘要：ProtoKV

问题陈述

流式视频理解（Streaming Video Understanding, SVU）要求系统能够处理连续的视频流，并在严格的 GPU 显存和延迟约束下实时回答异步查询。该场景中的一个关键挑战是延迟查询（delayed query）：决定性的视觉线索可能在流的早期短暂出现，但查询却在处理了许多后续帧之后才显著延迟到达。

在有限显存的情况下，标准方法面临两难选择：

滑动窗口（Sliding Window, SWA）： 仅保留最近的 Token，保证了恒定的显存占用，但一旦 Token 退出窗口，其包含的信息便会不可挽回地丢失。
Token 保留/压缩（Token Retention/Compression）： 尝试保留一部分历史 Token。然而，随着证据与查询之间的延迟（ $\Delta$ ）增加，这些方法会遭受“后验证据更新压力（post-evidence update pressure）”。由于系统必须在不知道未来哪些 Token 会变得相关的状态下进行与查询无关的保留决策，决定性的线索往往会被剔除或稀释。一旦特定的 Token 实例被丢弃，其关联的细粒度线索也就随之丢失。

本文认为，将远期历史表示为一组保留的 Token 实例在长延迟情况下是脆弱的。相反，系统需要一种能够保留过去事件的“证据”而非特定 Token 实例的机制，从而实现随着延迟增加而进行的平滑降级。

方法论：ProtoKV

ProtoKV 是一种专为流式视频大语言模型（Video LLMs）设计的恒定足迹内存机制。它通过一个具有两层在线状态的二层架构，将远期历史的表示从 Token 保留转向了摘要状态（summary-state）：

1. 两层架构

近端窗口（精确型）（Near Window (Exact)）： 一个环形缓冲区（ $B_{near}$ ），存储最近 $W$ 帧的精确键值对（KV pairs）。这保留了细粒度的、时间局部性的证据，且不进行近似处理。
远端记忆（摘要型）（Far Memory (Summary State)）： 一个固定容量的原型库（ $B_{far}$ ），大小为 $K_{max}$ ，用于聚合较旧的被剔除的历史信息。它不再存储 Token 实例，而是存储以物体为中心的原型（object-centric prototypes）。

2. 在线更新机制

随着视频流的推进，Token 从近端窗口被剔除，并通过**连续性感知分配（continuity-aware assignment）**被吸收进远端记忆中：

分配（Assignment）： 剔除的 Token 通过最小化一个在线代价函数被分配给某个原型 $k$ $k$ ，该函数结合了：
- 键空间相似度（将具有相似 Key 的 Token 进行聚类）。
- 空间连续性（通过空间坐标强制执行追踪一致性关联）。
- 陈旧性控制（通过减少向近期未更新的原型进行分配）。
原型更新（Prototype Update）： 一旦被分配，原型将作为持久化的摘要状态进行更新：
- 中心（Centers）： 通过指数移动平均（EMA）更新 Key 中心（ $c_k$ ）和 Value 中心（ $p_k$ ）。
- 质量（Mass）： 一个计数器（ $n_k$ ）用于追踪吸收的 Token 数量。
- 残差统计（Residual Statistics）： 为了防止通过简单的平均化导致独特线索的丢失，ProtoKV 维护了基于**乘积量化（Product Quantization, PQ）**的残差直方图（ $r_K = K - c_k, r_V = V - p_k$ ）。这捕捉了原型内部的多样性，而无需存储单个 Token 代码。
- 维护（Maintenance）： 原型库进行轻量化维护，包括闲置原型的质量衰减、冗余原型的合并以及空槽位的回收。

3. 查询接口：伪 Token 合成（Pseudo-Token Synthesis）

在查询时，ProtoKV 在不改变架构的情况下将远端记忆暴露给标准的注意力机制：

伪 Token（Pseudo-Tokens）： 每个原型被合成 $S$ 个伪 KV Token。这些 Token 通过结合原型中心与从存储的 PQ 直方图中解码出的代表性残差模式来构建。
质量感知偏置（Mass-Aware Bias）： 为了考虑到由一个原型所总结的多个 Token，会在注意力 Logit 中加入对数质量偏置（ $b_k = \log n_k$ ）。这确保了代表更多证据的原型能产生比例相当的更强影响力。
固定上下文（Fixed Context）： 最终的上下文由精确的近端窗口 Token 加上限定数量的伪 Token（ $L_{context} = W + K_{max} \cdot S$ ）组成，确保无论流长度如何，查询时的延迟和显存占用都保持恒定。

核心贡献

远端记忆机制： 引入了一种固定的、具有时空一致性的原型库，并辅以残差统计信息来总结远期历史，实现了从保留 Token 实例到维护摘要状态的转变。
伪 Token 合成： 一种无需训练的方法，用于合成带有质量加权的有限伪 KV Token，使得标准注意力机制能够在恒定的查询时足迹下访问远期历史证据。
延迟查询协议： 一种回顾性查询过滤协议，用于评估 SVU 在保持不变真值的情况下，针对不断增加的查询延迟的鲁棒性。

实验结果

ProtoKV 在四个流式视频基准测试（RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench）上进行了评估，使用了 LLaVA-OV-7B 和 Qwen2.5-VL-7B 作为骨干网络。

性能： 在匹配的显存预算下，ProtoKV 的表现优于滑动窗口基线和 Token 保留方法（如 InfiniPot-V）。在长延迟场景下，其准确率比 Token 保留基线高出多达 12.5 个百分点。
对延迟的鲁棒性： 虽然所有方法都会随着查询延迟（ $\Delta$ ）的增加而性能下降，但 ProtoKV 表现出显著更平缓的下降曲线。随着 $\Delta$ 的增长，性能差距进一步扩大，这证明了摘要状态方法在持续的后验证据更新压力下能更好地保留决定性线索。
效率： ProtoKV 保持了极具竞争力的查询时首 Token 延迟（TTFT），并且与基于卸载/检索的基线（如 ReKV）相比，具有更低的端到端延迟（后者受限于检索开销）。
离线性能： 当应用于离线视频理解基准（VideoMME, MLVU）时，ProtoKV 仍与最先进的压缩方法保持竞争力，表明其效用不仅限于流式场景。

意义与主张

本文声称 ProtoKV 解决了流式视频理解中的一个根本局限性：Token 保留策略在长延迟下的脆弱性。通过从保留特定 Token 实例转向维护远期历史的摘要状态，ProtoKV 允许稀疏的、决定性的线索在经历多次后续更新而不被覆盖或稀释的情况下得以生存。

作者强调，这种设计是为延迟查询量身定制的，即答案取决于过去事件的发生，而非瞬时的视觉内容。实验结果表明，对于需要始终开启、与查询无关的维护且具有固定设备足迹的交互式系统而言，将远期历史表示为紧凑的、以物体为中心的摘要状态，是一个比滑动窗口或 Token 选择更有效的运行点。这项工作凸显了摘要状态内存对于在持续更新压力下实现稳定流式系统的价值。