💬 NLP

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLM 是一个统一的视觉语言模型框架，它通过一种新颖的 KV 缓存复用策略以及在重叠分块上的监督微调，使训练与流式推理保持一致，从而实现了对无限视频流的实时、稳定的理解，在保持低延迟的同时，在长时视频基准测试中达到了最先进的性能。

原作者： Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在电话里向朋友描述一场正在进行的体育比赛。你想告诉他此时此刻正在发生的一切——进球、犯规、庆祝动作——而且要做到不遗漏任何细节，并且想在接下来的几个小时里持续这样做，既不会感到大脑疲劳，也不会忘记第一个进球是谁踢进的。

这就是 StreamingVLM 为计算机解决的问题。

问题所在：计算机会被信息淹没

目前的视频理解 AI 模型（称为视觉语言模型，Vision-Language Models）就像是在试图阅读一本书的学生：

“全神贯注型”学生： 这个学生每当想说一句话时，都会试图从第 1 页读到第 1,000 页。随着书的内容变长，阅读速度会变得极慢，最终学生会因为“桌面空间”（内存）不足而崩溃。
“滑动窗口型”学生： 这个学生只看最近的几页。如果他需要回忆第 10 页的内容，他就必须一遍又一遍地翻回去重读那些页面。这不仅速度慢，还会让他丢失故事的连贯性。

当面对“无限长”的视频（比如永不停止的直播）时，这两种方法都会失效。

解决方案：StreamingVLM

作者创造了一种新的 AI，叫做 StreamingVLM。你可以把它想象成一位极其高效的体育解说员，他拥有一套特殊的笔记整理方法。

以下是它的工作原理，我们使用简单的类比来解释：

1. “笔记本”技巧 (KV Cache)

StreamingVLM 并没有试图记住整场比赛或仅仅是过去 5 秒的内容，而是使用了一套聪明的笔记本系统：

“锚点” (Attention Sks)： 它保留了一些来自开场阶段的关键笔记（比如球队名称和开球时的比分），这样它就永远不会忘记“谁”在比赛。
“近期历史” (Text Window)： 它保留了它刚刚说过的一长串话，以便记住对话的流向。
“实时动作” (Vision Window)： 它只保留过去几秒钟内的视觉细节（比如球员的奔跑、球的移动），因为这些才是“当下”最重要的信息。

较旧的视觉细节（比如 10 分钟前的某个回合）会被温和地丢弃以腾出空间给新的细节，但“锚点”和“近期历史”会始终安全保留。这使得无论视频多长，计算机的内存占用都能保持在低水平且稳定。

2. “训练”技巧

如果你在训练期间只给 AI 看 1 分钟的短片，你无法教会它观看一场 10 小时的比赛。作者用一个巧妙的方法解决了这个问题：

他们向 AI 展示了短小的、相互重叠的体育比赛片段（例如时长 24 秒、重叠部分为 12 秒的片段）。
他们教会了 AI 去关注这个短小片段内的“一切”。
因为这些片段是重叠的，AI 学会了如何将一个片段的结尾与下一个片段的开头连接起来，从而有效地学会了如何在没有看过完整 10 小时视频的情况下，处理连续不断的视频流。

3. “编号”技巧 (Contiguous RoPE)

通常情况下，当你从笔记本中删除旧页面时，页码会变得混乱（比如：第 1, 2, 3 页……然后突然跳到了第 100 页）。这会让 AI 感到困惑。StreamingVLM 使用了一种特殊的“重新编号”系统。当它删除旧的视觉数据时，它会立即对剩余的页面进行重新标记，使它们依然按照 1, 2, 3, 4……这样的顺序排列。这让 AI 不会因为删减数据而对事情发生的“时间点”产生混淆，即使是在观看数小时的视频后也是如此。

结果：马拉松选手

团队在一个名为 Inf-Streams-Eval 的新基准测试上测试了这款新 AI，该测试包含平均时长超过 2 小时 的体育比赛。

速度： 它能以实时速度（约每秒 8 帧）在单个强大的计算机芯片上观看并讲解比赛。它不会出现延迟。
内存： 它可以持续解说超过 3 小时，既不会忘记比赛开场时的内容，也不会崩溃。
质量： 在与顶尖模型（如 GPT-4o mini）的正面交锋中，StreamingVLM 的胜率达到了 66%。它的表达更自然，对比赛的记忆也更深刻。
加分项： 尽管它们仅针对体育解说进行了训练，但该模型在回答通用视频问题方面也表现得更好，这证明了该方法是对视频理解能力的全面升级。

总结

StreamingVLM 就像是一位拥有神奇记忆力的、不知疲倦的体育解说员。它记得比赛的开始，专注于当下发生的激烈动作，并能为了节省空间而适时忘掉 10 分钟前那些无聊的部分。这使得它能够实时观看并描述无限长的视频流，而这在以前是计算机无法做到的，否则会被信息量压垮。

技术摘要：StreamingVLM

问题陈述

视觉语言模型（VLMs）在实现实时助手和自主智能体方面面临一个关键瓶颈：无法处理近乎无限的视频流，否则会产生难以承受的延迟和内存成本。现有方法存在特定的权衡问题：

全注意力机制（Full Attention）： 随着视频长度增加，会导致二次方计算复杂度（ $O(T^2)$ ）和内存溢出（OOM），从而在性能超出训练上下文窗口后发生退化。
滑动窗口（无重叠）（Sliding Window (No Overlap)）： 保持了受限的内存占用，但频繁重置上下文，破坏了长期连贯性。
滑动窗口（有重叠）（Sliding Window (With Overlap)）： 保留了连贯性，但由于每个新窗口都需要对注意力进行冗余的重新计算，导致高延迟，无法实现实时推理。

此外，训练与推理之间存在不匹配现象。在极长上下文中进行训练在计算上是极其昂贵的，然而模型在推理时必须能够对无限流进行推理。目前的键值（KV）缓存驱逐策略往往缺乏与训练阶段的对齐，导致在经过短视频训练的模型尝试处理长流时出现不稳定。

方法论

本文介绍了 StreamingVLM，这是一个旨在对齐训练与流式推理的统一框架，能够实现对无限视觉输入的稳定、实时理解。该方法由三个核心组件组成：

1. 推理方案：紧凑型 KV 缓存与连续 RoPE

StreamingVLM 采用了一种专门的推理结构，在保持紧凑状态的同时保留必要的上下文：

感知流式的 KV 缓存（Streaming-aware KV Cache）： 模型不再重新计算或丢弃所有历史，而是重用特定状态：
- 注意力汇点（Attention Sinks）： 保留一组固定的初始 Token（系统提示词和早期文本）以稳定注意力机制。
- 长文本窗口（Long Text Window）： 保留一段最近的文本 Token 窗口，以维持长期叙事记忆。
- 短视觉窗口（Short Vision Window）： 仅保留一段较短的近期视觉 Token 窗口（例如覆盖 16 秒的内容）以追踪正在进行的动作。较旧的视觉 Token 会被优先驱逐。
连续 RoPE（Contiguous RoPE）： 为了防止 Token 被驱逐时出现位置漂移，模型应用了连续旋转位置嵌入（RoPE）。当早期的 Token 被移除时，后续及新增 Token 的索引会进行偏移，使其与最后一个保留的 Token 保持数值上的连续。这确保了即使视频长度超过了总窗口大小，位置值仍能保持在训练时所见的分布范围内。对于使用 3D 嵌入的视觉 Token，则应用连续的 3D RoPE。

2. 训练策略：重叠全注意力（Overlapped Full-Attention）

为了在不进行高昂长上下文训练的情况下赋予模型流式能力，作者提出了一种监督微调（SFT）策略，该策略模拟了推理时的注意力模式：

重叠块（Overlapped Chunks）： 将长视频流分割成具有时间重叠的连续块。
块内全注意力（Full Attention within Chunks）： 在每个块内部应用全注意力。这使得模型能够学习“近期偏好（recency bias）”以及注意力汇点、长文本窗口与短视觉窗口之间的交互。
交错视觉-文本（Interleaved Vision-Text）： 不同于将所有视觉 Token 置于文本之前的标准 VLM，该策略每隔 1 秒插入一次视觉与文本 Token。损失函数仅在与解说对齐的文本位置上计算。如果某秒没有解说，则使用占位符 Token。这教会了模型如何使生成与流同步，学习何时说话以及何时保持沉默。

3. 数据策展流水线

作者构建了 Inf-Streams-Train 和 Inf-Streams-Eval：

数据收集： 收集了超过 6,000 小时的体育解说数据（篮球、足球、冰球、棒球、美式足球）。
清洗： 使用基于 LLM 的流水线过滤掉非比赛内容（广告、独白）并纠正 ASR 错误（如球员姓名），从而获得高质量的视频-解说对。
SFT 与训练退火（SFT vs. Annealing）： 创建了两个数据集。SFT 数据集使用重叠分块来教授流式模式。另一个“高质量退火（High-Quality Annealing）”数据集则专注于纯粹的实时场上动作（16–64s 片段），以精炼即时解说的质量。

核心贡献

StreamingVLM 框架： 一个通过对齐训练与推理来处理无限视频流，实现稳定、低延迟性能的统一模型。
新型推理机制： 结合了注意力汇点、非对称 KV 缓存保留（长文本/短视觉）以及连续 RoPE，在不产生二次方成本的情况下保持连贯性。
训练-推理对齐： 通过使用带有全注意力的重叠块这一简单的 SFT 策略，有效地教会了模型在无需长上下文训练数据的情况下，对长流进行推理。
Inf-Streams 基准测试： 引入了 Inf-Streams-Eval，这是一个包含平均时长超过 2 小时、具有密集每秒帧-文本对齐特征的视频基准测试，填补了现有基准测试往往依赖检索或摘要而非实时流的空白。

实验结果

在 Inf-Streams-Eval 及其他标准基准测试上的评估显示，StreamingVLM 取得了显著改进：

描述性能（Captioning Performance）： 在 Inf-Streams-Eval 上，StreamingVLM 对比 GPT-4o mini 实现了 66.18% 的胜率，显著优于 LiveCC-7B-Instruct 和基础 Qwen-2.5-VL-7B-Instruct 等基准模型。它能维持超过 2 小时的连贯解说，而全注意力模型在 2–5 分钟后性能下降，滑动窗口模型则会失去连贯性。
效率： 该模型在单张 NVIDIA H100 上可维持高达 8 FPS 的稳定实时性能。不同于存在重计算高延迟的重叠滑动窗口法，也不同于会触发 OOM 的全注意力法，StreamingVLM 保持了低且恒定的延迟。
泛化能力（VQA）： 令人瞩目的是，在没有任何特定 VQA 微调的情况下，该 SFT 策略提升了通用的视频理解能力。相比基础模型，StreamingVLM 在 LongVideoBench 上提升了 +4.30，在 OVOBench Realtime 上提升了 +5.96。
消融实验：
- 连续 RoPE 至关重要；原生 RoPE 会因位置索引溢出导致在无限流上的性能剧烈下降。
- 驱逐策略： 保留文本窗口和注意力汇点，同时驱逐旧文本，对性能至关重要。
- 视觉窗口： 16 秒的视觉窗口在动作追踪与效率之间提供了最佳平衡。

意义与主张

论文声称，StreamingVLM 通过使 VLM 能够实时理解视频块并在无限流上进行稳定推理，代表了向类人智能迈进的一步。其意义在于：

实际部署： 为自动驾驶、具身智能体和实时助手等应用提供稳定的实时解说和理解能力，这些应用此前一直受到延迟和内存约束的阻碍。
方法论转变： 从“在长上下文中训练”或“简单滑动窗口”的范式，转向一种统一的方法，即通过在短重叠块上的训练有效地模拟无限推理。
基准测试： 发布 Inf-Streams-Eval 为实时、帧级的长视频理解设定了新标准，超越了传统的静态检索任务。

作者强调，其方法无需进行高昂的长上下文训练，却能在无限流上达到最先进的性能，弥合了理论 VLM 能力与实时交互实际需求之间的差距。