💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

本文提出了 CoRDS，一种基于核心集的视频流理解方法，它通过双目标优化和正交性驱动的多样性准则，从键值缓存中选取紧凑、多样且具有代表性的子集，从而改进了逐 token 启发式剪枝，在固定内存预算下提升了多种视觉 - 语言模型及基准测试的性能。

原作者： Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一部非常长的电影，但只有一张小小的便利贴，用来记录最重要的部分，以便日后回答相关问题。这就是现代人工智能模型（称为视觉 - 语言模型）在尝试实时理解长视频时所面临的挑战。它们无法记住所有内容，因此必须将视频“压缩”成更小的记忆。

本文介绍了一种名为CoRDS（基于核心集的代表性与多样性选择）的新方法来解决这一问题。以下是其工作原理，辅以简单的类比：

问题：“近期性”陷阱

目前，大多数人工智能模型采用的“便利贴”策略依赖于简单的规则，例如：

“保留最新内容”：只记住最后几秒钟。
“保留最响亮的部分”：只记住看起来最明显或最明亮的部分。

作者认为，这就像试图通过只记住最后一幕或爆炸场面最大的那一幕来总结整部电影。你可能会错过 20 分钟前发生的、安静却至关重要的线索，而这些线索正是日后解开谜题所必需的。

解决方案：“策展人”方法

CoRDS 改变了游戏规则。它不再根据内容的“响亮”程度或“新旧”程度逐个挑选令牌（微小的视频数据片段），而是像一位博物馆策展人，试图打造一个能代表整个馆藏的小型展览。

以下是 CoRDS 使用的三大核心技巧：

1. “双手并用”视角（联合键值表示）
想象每一段视频数据都有两面：

“键”（标签）：这告诉人工智能在过往中何处寻找。（例如：“这是那辆红色汽车的场景。”）
“值”（内容）：这是实际的信息。（例如：“红色汽车撞上了一棵树。”）

旧方法往往只关注标签或只关注内容。CoRDS 则同时审视两者。它确保人工智能既能找到正确的记忆，又能保证该记忆确实包含正确的细节。这就像确保你既拥有该地点的地图（键），又拥有该地点的照片（值），而不是只有其中之一。

2. “覆盖全场”策略（核心集选择）
CoRDS 不再挑选单个“最佳”项目，而是问：“哪一小组项目能覆盖房间内最多的范围？”
如果你有一间摆满家具的房间，你不会只挑选最昂贵的那把椅子。你会挑选一把椅子、一张桌子、一盏灯和一块地毯，它们共同代表了整个房间的风格。CoRDS 通过数学方法选择一小组视频帧，使其“覆盖”整个视频历史的几何结构，确保没有任何主要的视觉风格或场景类型被遗漏。

3. “新角度”规则（正交多样性）
有时，你可能会挑选两个非常相似的项目（比如两把相同的红色椅子）。这会浪费空间。CoRDS 有一条规则来防止这种情况：“不要挑选与我们已拥有的东西过于相似的内容。”
它会寻找能提供“新角度”或新方向的项目。如果人工智能已经拥有一段关于红色汽车的记忆，除非这是覆盖该部分视频的唯一方式，否则它不会挑选另一辆红色汽车。它会主动寻找独特、不同的时刻，以使记忆更加多样化。

结果：更智能的记忆，而非更多的记忆

本文在四种不同的人工智能模型和五个不同的视频基准测试（包括长电影和直播流）上测试了该方法。

优于竞争对手：CoRDS 始终胜过使用“近期性”或“响亮性”规则的现有方法（如 InfiniPot-V 和 StreamMem）。
少即是多：即使人工智能被迫使用极小的内存（仅保留 1/16 的视频数据），CoRDS 的表现也优于那些使用旧方法但拥有更大内存的模型。
超越“完整”模型：在某些情况下，CoRDS 的表现甚至优于试图记住整个未压缩视频的人工智能模型。这表明，通过去除视频中“冗余”或“嘈杂”的部分，人工智能实际上能更好地专注于重要线索（从而解决“大海捞针”的问题）。

总结

可以将 CoRDS 视为视频的智能编辑。它不仅仅是剪掉无聊的部分或只保留最新的片段，而是精心挑选一组多样化且具有代表性的时刻，以捕捉整个故事。这使得人工智能能够像观看了整段视频一样，回答关于一小时长视频的问题，却仅需使用一小部分计算机内存。

技术摘要：CoRDS

问题陈述

利用大型视觉 - 语言模型（VLM）进行流式视频理解（SVU）面临一个关键瓶颈：在实时处理无界视频流时，需要保持有界的内存占用。与离线视频理解不同（后者可利用完整上下文进行帧采样或基于查询的压缩），SVU 要求因果性、与查询无关的处理，即未来帧是未知的。

现有解决方案主要依赖使用局部、基于 token 的启发式方法（如新颖性、时间冗余或基于范数的显著性）进行键值（KV）缓存压缩。本文指出，这些方法存在一个根本性局限：它们未显式优化保留内存的全局代表性。因此，那些个体微弱但 collectively 重要的线索（如静态视觉细节或时间分布的结构）往往因在压缩时刻缺乏局部显著性而被丢弃。

方法论：CoRDS

作者提出了CoRDS（基于核心集的代表性与多样性选择），这是一个无需训练、与查询无关的框架，它将 KV 缓存压缩重新定义为代表性核心集选择问题。CoRDS 不再独立地对 token 打分，而是选择一个在几何上覆盖累积视觉缓存的小子集。

该方法基于三个核心原则运作：

1. 联合 KV 表示与双标准覆盖

作者认为，有效的选择必须同时考虑键（Keys）（决定检索结构）和值（Values）（决定注意力机制读取的信息）。

表示：Token 在联合特征空间中表示为 $\phi^{(KV)}_i = [k_i; v_i]$ 。
目标：定义了一个双标准距离度量 $d_\alpha(i, S)$ ，用于衡量候选 token $i$ 到已选集合 $S$ 的距离，以平衡键空间和价值空间的近似误差：
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
其中 $\alpha \in [0, 1]$ 控制权衡。实验结果表明，倾向于值（ $\alpha < 0.5$ ）能带来更好的性能。
优化：子集的选择采用贪婪的D2 风格最远优先规则，即以与先前选定中心的平方距离成正比的方式初始化聚类中心。这为 $k$ -均值目标提供了 $O(\log k)$ 的近似保证。

2. 正交多样性以实现非冗余

纯粹的基于覆盖的选择可能会产生冗余的核心集，其中多个 token 在特征空间中处于相似方向。为解决此问题，CoRDS 引入了正交抗冗余项。

机制：对于候选 token，该方法计算相对于当前选定键（和值）张成空间的正交残差向量。
打分：基于该残差范数平方的新颖性得分被作为软奖励添加到覆盖得分中。其动机源于对数行列式子集选择，该选择能保证单调次模最大化的 $(1 - e^{-1})$ 近似。
最终得分：选择得分结合了双标准距离和正交新颖性：
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. 层选择性压缩与级联复用

为最小化计算开销：

层选择：核心集选择器仅应用于底部 25% 的解码器层，因为该部分视觉冗余最高。后续编码任务条件特征的层则保持未压缩。
跨层级联：一小部分“锚点”层执行完整选择。“跟随”层直接复用其锚点层中选定的 token 索引，无需重新计算选择过程，从而在保留层特异性表示的同时显著降低延迟。

主要贡献

流式压缩的核心集视角：从局部 token 剪枝转向与查询无关、以覆盖为导向的公式化方法，选择代表累积视频上下文的紧凑内存。
联合 KV 代表性覆盖：引入联合键值表示和双标准目标，显式平衡检索结构（键）与输出内容（值），证明了仅在单一空间进行选择是次优的。
正交多样性：一种基于对数行列式子集选择的抗冗余机制，倾向于为特征空间贡献新方向的候选者，防止 token 预算浪费在冗余信息上。

实验结果

该方法在四个开源 VLM（Qwen2-VL、Qwen2.5-VL、LLaVA-NeXT-Video）上进行了评估，涵盖了五个基准测试（EgoSchema、MLVU、VideoMME、OVO-Bench、StreamingBench）。

性能：在固定缓存预算（3K 和 6K token）下，CoRDS 始终优于 InfiniPot-V 和 StreamMem 等启发式基线。
- 在MLVU上，CoRDS 在 6K 预算下比最佳基线提升了**+4.2%**。
- 在激进压缩比（1/16）下，CoRDS 的性能往往能匹配甚至超过完整 KV（未压缩）基线，这表明保留哪些token 比保留多少token 更为关键。
流式效率：在流式基准测试（OVO-Bench、StreamingBench）中，CoRDS 在回溯、实时和前向轨道上均显示出增益，特别是在需要分散在长时间段内的证据的任务中（如前瞻性推理、计数）。
覆盖分析：覆盖累积分布函数（CDF）分析证实，与基线相比，CoRDS 保留了更具代表性的完整缓存子集，与原始 token 集的余弦距离更低。
效率：跨层级联策略保持了平坦的内存占用，并实现了与基线相当甚至更优的预填充吞吐量，即使对于长达 1000 秒的视频也是如此。

意义与主张

本文主张，对于受内存限制的流式视频理解，代表性核心集选择比 token 级剪枝提供了更有效的原则。通过在联合键值空间中显式优化累积历史的几何覆盖，CoRDS 缓解了长上下文推理中固有的“大海捞针”问题。

作者强调，他们的方法是无需训练且与查询无关的，使其可立即应用于现有的基于 Transformer 的 VLM 而无需重新训练。结果突显，流式设置中的性能提升并非仅仅来自增加缓存大小，而是来自保留一个冗余更少、信息量更大的视觉 token 子集。本文结论认为，这种几何基础为持久感知智能体的基于启发式的压缩提供了一种原则性的替代方案。