💻 computer science

CoVStream: Edge-Cloud Collaboration for Understanding of Long Video Streams

CoVStream 是一个新颖的边缘-云协同框架，它通过将蒸馏后的视觉特征和语义标题从资源受限的边缘设备传输至云端服务器进行实体图谱整合及按需重度推理，从而最小化带宽消耗，在实现接近基准水平的准确度的同时，使长视频流理解过程中的带宽使用量减少了 87.6%。

原作者： Xu Liu, Guikun Chen, Zihao Yan, Kanzhi Wu, Wenguan Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xu Liu, Guikun Chen, Zihao Yan, Kanzhi Wu, Wenguan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你戴着一副智能眼镜，它记录着你从起床到入睡的一整天。你希望这些眼镜成为你的私人助手，随时准备回答这类问题：“我的钥匙落在哪里了？”或者“今天早上我看到的那个有趣的狗是什么样的？”

问题在于，你的眼镜体积很小，电池容量也很弱（即边缘设备）。它们无法独立进行高强度的思考。如果尝试将你一整天的原始视频发送到云端的超级计算机（即云端服务器）进行处理，这会造成网络连接的拥堵，就像交通大堵塞一样，既浪费巨额流量，又会迅速耗尽电池。

Co-VStream 是一种解决这一问题的新方法，它通过在你的眼镜与云端之间建立一种完美的协作关系来发挥作用。你可以把它想象成一个聪明的秘书在为一位天才侦探工作。

旧方法的缺陷

“仅靠云端”的方法： 想象一下，你的眼镜全天候向云端发送高清实时视频流。这就像为了问一个问题，每天都要邮寄一整个图书馆的书籍。这太沉重、太慢，而且成本太高。
“仅靠本地”的方法： 想象一下，你的眼镜试图独自完成所有的思考工作。这就像是要求一个蹒跚学步的幼儿去解复杂的数学题。他们缺乏脑力（或记忆力）来记住你昨天所做的一切。

Co-VStream 的解决方案：两步走的团队协作

Co-VStream 将工作进行了拆分，让双方各司其职，互不干扰。

1. 边缘端（你的眼镜）： “智能摘要员”

眼镜不再发送原始视频，而是充当一个高效的编辑。

过滤器： 当你在周围走动时，眼镜会观察视频。如果你只是在街上走了10分钟且没有任何特别的事情发生，眼镜会意识到：“这很无聊，我不需要发送这个。”
浓缩： 它们将视频压缩成两个微小且轻量化的东西：
1. 视觉亮点： 展现场景外观的几个关键“快照”。
2. 简短笔记： 描述发生了什么的简单句子（例如：“一个穿着蓝色衬衫的男人坐在长凳上”）。
结果： 与其发送一个 100GB 的视频文件，它们只发送一条微小的文本信息和几张图片。这节省了 87.6% 的数据流量。

2. 云端（超级计算机）： “天才侦探”

云端接收这些微小的摘要并执行两项任务：

记忆库： 它构建了一个巨大的、有组织的思维导图（称为实体图谱/Entity Graph）。它不仅仅是存储图片；它还会将点与点连接起来。它知道“穿蓝色衬衫的男人”就是那个“坐在长凳上”的人。它实时更新这张地图，但在你提问之前，它处于休眠状态。
侦探工作： 当你问“我的钥匙在哪？”时，云端会立即苏醒。它不会重新观看整个白天的视频，而是查看它的思维导图，找到关于“钥匙”的特定笔记，然后给出答案。

为什么这是一个游戏规则的改变者

它很快： 因为云端只在您提问时才进行重度思考（而不是持续不断地处理视频），它能在约 3 秒内给出答案。这比将整个视频发送到云端并等待要快得多。
它节省数据： 通过发送摘要而非原始视频，它减少了 87.6% 的互联网带宽占用。
它能记住一切： 即使在连续录制 24 小时视频后，系统的记忆依然保持微小且稳定。其他方法在运行几小时后就会因为试图保存每一帧画面而耗尽内存。Co-VStream 只保存“重要的内容”。
它适用于性能较弱的设备： 你的眼镜不需要内置一台超级计算机。它们只需要擅长做摘要，而这对于它们来说并不难。

核心总结

Co-VStream 就像是一位记录你所见所闻的私人助理（边缘端）和一位完美整理这些笔记的天才图书管理员（云端）。当你提问时，图书管理员能瞬间找到答案，而无需阅读图书馆里的每一本书。这使得你的智能眼镜能够在不破费大量资金或耗尽电池的情况下，理解你完整的一天。

技术摘要：Co-VStream

问题陈述

常驻设备（如 AI 眼镜）的激增，使得长时连续视频流成为个性化辅助和长期监测的关键模态。然而，现有的长视频理解方法依赖于“采样—编码—推理”范式，使用沉重的中心化大语言多模态模型（LMM）。这些方法在计算受限的边缘设备部署上面临着根本性的部署困境：

仅云端卸载（Cloud-Only Offloading）： 将原始视频传输到云端可以解锁强大的推理能力，但会产生高昂的带宽成本和延迟。
仅本地处理（Local-Only Processing）： 在边缘侧执行推理可以节省带宽，但受到硬件能力的严格限制，无法部署用于复杂推理的沉重模型。

目前的解决方案无法调和云端的强大推理能力与边缘部署中严格的带宽及硬件约束之间的矛盾。

方法论：Co-VStream

Co-VStream 是首个专门为理解长视频流而设计的边缘-云端协作框架。它重新审视了视频中固有的时空冗余性，并提出紧凑的语义表示可以作为原始像素的充分替代物。该系统通过双端架构运行：

1. 边缘节点：双流感知与压缩

边缘节点充当语义压缩器，并行处理视频流以最小化延迟和资源竞争。它采用了一个由四项操作组成的双重压缩感知流水线（Dual-Condensed Perception Pipeline）：

视觉特征提取： 轻量级视觉编码器从原始帧中提取特征。
时序特征压缩： 一种迭代合并算法通过递归计算相邻特征之间的余弦相似度，将最相似的特征对进行合并，直到达到目标配额。这旨在将原始流蒸馏为压缩后的视觉特征 ( $Z_{cond}$ )。
自适应关键帧选择： 一种聚类算法从视频流中选择具有代表性的关键帧 ( $K$ ) 以过滤冗余。
语义标题生成： 轻量级语言模型为选定的关键帧生成简单的句子标题 ( $C_{text}$ )。

最终的负载 $P_{load} = \{Z_{cond}, C_{text}\}$ 被传输至云端。为了确保实时执行，该流水线利用硬件感知并行调度（Hardware-Aware Parallel Scheduling），将密集矩阵运算（提取、标题生成）分配给 GPU，并将迭代聚类/压缩任务分配给 CPU。

2. 云端服务器：解耦管理与推理

云端服务器通过一个将内存维护与推理解耦的多进程异步架构运行：

内存管理（始终活跃）： 该进程持续整合传入的负载。
- 全局视觉上下文： 压缩后的视觉特征被合并到全局视觉上下文 ( $H$ ) 中，并使用具有固定容量限制的压缩库以防止内存饱和。
- 实体图构建： 标题被解析为“主-谓-宾”（SVO）三元组。一种**动态实体融合（Dynamic Entity Fusion）**机制使用自然语言推理（NLI）分类器来验证新实体与时序候选池之间的双向蕴含关系，如果逻辑上等价，则将它们融合为一个节点。由此构建出一个结构化的动态实体图 ( $G$ )。
按需推理（睡眠-唤醒机制）： 沉重的推理模型保持休眠状态以节省资源。在收到来自边缘端的用户查询触发后，它会被激活以生成响应 ( $R$ $R$ )。
- 图增强推理： 查询被向量化，并用于从实体图中检索前 $k$ 个最相关的标题。随后提取相关的子图 ( $G_{sub}$ )，将其序列化，并连同全局视觉上下文和原始查询一起输入到 LMM 中，以生成最终响应。

核心贡献

首个针对长流的边缘-云端框架： Co-VStream 是第一个明确解决连续视频流中带宽约束与推理能力之间权衡问题的框架。
无需训练的设计： 系统在 LMM 的原始特征空间内运行，保留了语义分布，并允许在不进行重训的情况下实现各种模型的即插即用集成。
双重压缩流水线： 它引入了一种将原始视频蒸馏为紧凑视觉特征和语义标题的新方法，大幅降低了数据传输需求。
解耦异步架构： 通过将内存管理与推理分离，系统确保了连续的图更新不会阻塞瞬时的用户交互，从而实现了低延迟。

实验结果

该框架在三个面向流式的基准测试集上进行了评估：VideoMME-Long、LVBench 和 RTV-Bench。

准确率 vs. 带宽： 在 LVBench 上，Co-VStream 保留了99.2% 的“仅云端”基准准确率，同时减少了 87.6% 的带宽使用。在 VideoMME-Long 上，它达到了 44.11% 的准确率，保留了 94.5% 的“仅云端”性能。
延迟： Co-VStream 实现了 2.99s 的端到端延迟，显著快于“仅云端”基准（4.08s），且与“仅本地”基准（2.72s）相当。
超长视频鲁棒性： 在超过 6,000 秒的测试中，Co-VStream 比“仅云端”基准高出 7.92%，展示了其在处理标准 LMM 通常会发生退化的上下文窗口方面的卓越能力。
内存可扩展性： 在 24 小时（90,000 秒）的连续流模拟中，Co-VStream 的内存占用稳定在 439 MB，相比于需要存储所有历史帧的基准（累计约 230 GB）实现了 523 倍的缩减。
硬件效率： 系统在 8GB 到 48GB 内存的各类边缘设备上均能保持稳定的准确率，证明了其在资源受限的移动智能体上的可行性。

意义

论文声称，Co-VStream 弥合了有限边缘硬件与长视频理解计算需求之间的差距。通过将边缘侧的语义压缩与云侧的内存及推理解耦，它解决了带宽成本与推理能力之间难以调和的矛盾。作者认为，这项工作将社区的注意力引向了**常驻部署（always-on deployment）**领域，将视频理解的研究范围从离线基准测试扩展到了现实世界的连续流场景。