💬 NLP

Harnessing Streaming Video in the Wild

本文通过引入一个包含专门训练数据集（Streaming-Train-248K）、一个能够实现主动交互、长期记忆和实时处理的即插即用部署系统（Streaming Harness），以及一个旨在推动从离线视频理解向可部署流式智能转变的新基准测试（Streaming-Eval）的综合框架，解决了现有视觉语言模型在处理无界视频流方面的局限性。

原作者： Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在观看一场体育直播。你的身边坐着一位智能助手。

旧方式（离线视频）：
目前的多数 AI 助手就像是一个在比赛结束后才观看录像的人。他们可以暂停、回放，并在看完整场比赛后说：“哇，那是一个精彩的进球！”他们擅长分析过去，但无法在你观看比赛的过程中与你交流。如果你在比赛进行时向他们提问，他们可能会卡住，或者开始猜测接下来会发生什么（这是一种幻觉），或者即使在没有发生有趣事情时也一直不停地说话。

新方式（本论文的解决方案）：
这篇题为《利用野外流式视频》（Harnessing Streaming Video in the Wild）的论文作者们，构建了一个系统，将 AI 转变为一名能够处理数小时视频而不感到疲劳或遗忘的实时、现场解说员。他们称之为“统一栈”（unified stack），因为他们同时解决了三个大问题：大脑、记忆和测试场。

以下是他们如何实现的，使用了简单的类比：

1. 大脑：学习如何“闭嘴”（Streaming-Train-248K）

问题： 如果你教一个 AI 去描述视频，它往往会试图描述每一秒钟。这就像一个旁白在说：“球是红色的。球在移动。球还在移动。球正在移动……”这很烦人而且浪费时间。
解决方案： 团队创建了一个包含 248,000 个视频片段的海量数据集。他们教会了 AI 一个新技巧：沉默。

他们给了 AI 两个特殊的“按钮”：一个用于说话，一个用于保持沉默。
他们训练 AI 只有在重要事情发生时（如进球或有趣的瞬间）才按下“说话”键，而在没有新情况发生时按下“沉默”键。
结果： AI 学会了像专业的体育解说员一样，知道何时该说话，何时该让观众在沉默中欢呼。

2. 系统：智能图书管理员（Streaming Harness）

问题： 即便有一个聪明的大脑，也需要良好的记忆。如果你看一部 2 小时的电影，AI 通常在 10 分钟后就会耗尽内存。这就像试图在脑海中进行一场 2 小时的对话而不做任何记录；当你进行到结尾时，你已经忘了开头了。此外，实时视频需要极高的速度。如果 AI 需要思考 5 秒钟，视频已经跳过了。
解决方案： 他们构建了一个名为 Streaming Harness 的“即插即用”系统。把它想象成一个拥有三个书架的智能图书管理员：

短期书架（即时）： 保存最后几分钟的高细节视频（如原始图像）。
中期书架（摘要）： 当短期书架满了，图书管理员会写一份快速摘要，然后把原始图像收起来。
长期书架（档案）： 当中期书架满了，图书管理员会将这些摘要合并成一个巨大的、有组织的进度表。
神奇之处： 这个系统旨在与“vLLM”（一种超快引擎）配合工作。这就像图书管理员通过重复利用旧笔记，而不是每次都重新阅读整本书来节省时间。这使得 AI 即使在 12 小时的视频播放后，依然能保持极快的响应速度（回复时间在 1 秒以内）。

3. 测试：实战压力测试（Streaming-Eval）

问题： 在此之前，人们通过给 AI 一个短片并问一个问题来测试视频 AI。这就像通过让运动员跑 100 米来测试他们是否能跑马拉松。这无法告诉我们他们是否能跑完 26 英里。
解决方案： 他们创建了一个新的基准测试，称为 Streaming-Eval。

他们使用的不是短片，而是长期的、混乱的真实世界视频（如烹饪节目、DIY 项目和现场体育赛事）。
他们测试了 AI 的六种不同技能：
- 主动性（Proactive）： 它是否在正确的时间说话？
- 准时性（Punctual）： 它是否等待了正确的时刻？
- 上下文相关性（Contextual）： 它是否记得 10 分钟前说过的话？
- 过去/未来/现在（Backward/Forward/Present）： 它能否回答关于过去、未来或现在的问题？
他们还发明了一种新的评分规则（SW-F1），如果 AI 回答得太早或太晚，即使事实没错，也会受到惩罚。

结果

当他们将他们的“流式原生”（Streaming-Native）AI（那个被训练学会沉默的 AI）放入“Streaming Harness”（记忆系统）中时，结果令人印象深刻：

记忆力： 它能记住 12 小时前的细节。
速度： 即使在 2 小时的视频播放后，它依然保持快速（低于 1 秒）。
性能： 它在描述实时视频并回答相关问题方面，击败了顶尖且昂贵的闭源 AI 模型（如 Claude Opus、GPT-5 和 Gemini）。

总结：
这篇论文指出，他们构建了一个完整的方案，将 AI 从一个“赛后分析师”转变为“现场直播伙伴”。他们教会了它何时该说话，赋予了它持续数小时而不减速的记忆力，并创造了一种全新的方式来测试它是否真的能处理现实生活中无止尽的视频流。

技术摘要：在野外环境下利用流式视频

1. 问题定义

目前的视觉语言模型（VLMs）在离线视频理解任务（如视频问答、时序定位）中取得了显著成功，这些任务中模型处理完整的预录片段以生成单次响应。然而，一类日益增长的现实应用场景——如视频通话助手、实时解说、在线监控和具身机器人——是在无界视频流上运行的。

在这些“在野外”（in-the-wild）的场景中，离线处理的基本假设被打破了：

因果约束： 模型必须仅基于先前观察到的帧进行响应，而不能访问未来的内容。
无界长度： 视频流可能持续数小时，这使得在内存中保留所有视觉 Token 变得不可能。
延迟约束： 响应必须实时生成（亚秒级延迟），以保持与传入帧同步。
主动交互： 系统必须决定何时说话以及何时保持沉默，而不是为每一帧生成输出或等待用户查询。

现有方法通常仅孤立地解决其中一两个需求（例如内存压缩或延迟优化），缺乏一个能够同时支持主动交互、长时程记忆和实时推理的统一框架。此外，现有的基准测试通常将评估简化为单轮、离线式的查询，未能评估核心的流式行为，如召回远端证据或维持跨轮次的连贯性。

2. 方法论

作者提出了一个由三个组件组成的统一技术栈：训练数据集/目标、推理框架（Harness）以及评估基准。

2.1 流式原生 VLM 训练（骨干网络）

为了使 VLMs 适应流式交互，作者引入了 Streaming-Train-248K，这是一个具有每秒帧-文本对齐的高质量数据集。

数据构建： 该数据集从多样化的来源（如 EpicKitchens, Ego4D, LiveWhisperX）聚合了 248K 个样本，涵盖了日常生活、工作和户外场景。每个一秒钟的片段都配有显式的响应或沉默标记，并带有时间戳。
任务分类： 任务分为叙述（仅针对显著事件发出描述）和问答（按答案不变性/变性以及证据时序：后向、当前、前向进行分类）。
训练目标： 为了解决沉默标记数量远多于响应标记的严重类别不平衡问题，采用了加权损失函数。沉默延续被降权（ $w_{repeated\_silence} < 1$ ），而从沉默到响应的转换被升权（ $w_{response} > 1$ ）。这鼓励模型学习何时有效地打破沉默。
特殊标记： 模型被训练以发出两个控制标记：</response>（用于回答或叙述）和 </silence>（用于保持沉默），从而实现每秒一次的主动决策。

2.2 StreamingHarness（部署基础设施）

StreamingHarness 是一个即插即用的推理框架，旨在为任何 VLM 提供流式能力。它通过三种机制解决内存和延迟约束：

三层内存管理：
- 短期： 保留最近 $T_s$ 秒（例如 200s）的原始视觉 Token。
- 中期： 将过去的短期块压缩为文本摘要（ $T_m$ 秒）。
- 长期： 将中期摘要进一步整合为块（ $T_l$ 秒），并限制在固定数量的块内，采用 FIFO（先进先出）驱逐机制。
- 结果： 支持长达 12 小时 的上下文，且不会出现内存无限增长的问题。
前缀感知 KV 缓存（Prefix-Aware KV Cache）：
- 旨在与 vLLM 等高效推理引擎兼容。
- 系统在每个块开始时对“记忆文本”（压缩的历史记录）进行一次性的预填充（prefill）。
- 后续步骤会复用记忆和先前轮次的缓存键值（KV）状态，仅计算新的帧和响应。这使得即使在长上下文中也能实现亚秒级延迟。
事件驱动的响应触发：
- Harness 每秒调用一次骨干网络。
- 模型判断当前的证据（当前帧 + 上下文）是否值得做出响应。如果没有新的信息性内容，它会发出 </silence>；否则，它会生成一个有根据的响应。

2.3 Streaming-Eval（基准测试）

为了衡量真实的流式能力，作者引入了 Streaming-Eval，该基准测试涵盖了 15 个类别（如体育、烹饪、新闻）中的 138 个视频。

评估维度：
- 流式交互： 评估主动性（何时说话）、准时性（时机）和上下文性（跨轮次的连贯性）行为。
- 流式理解： 评估对后向（过去）、当前和前向（相对于查询的未来）证据的推理能力。
指标：
- 叙述： 通过与人类/LLM 评判员的胜率进行评估，比较节奏、语调以及与 ground-truth ASR（自动语音识别）的一致性。
- 问答： 使用 SW-F1 (Streaming Weighted F1) 指标，该指标会对错误的答案和错误的响应时机（在需要沉默时发出答案或错过答案窗口）进行联合惩罚。它赋予真阳性（True Positives）和假阴性（False Negatives）更高的权重，以在优先保证正确性的同时，抑制“总是响应”的行为。

3. 核心贡献

Streaming-Train-248K： 一个具有每秒对齐功能的大规模数据集，以及定制的训练目标，用以创建具备主动交互能力的流式原生 VLM。
StreamingHarness： 一个提供 12 小时记忆保留、亚秒级延迟和主动交互（每秒决策）能力的即插即用系统，且兼容 vLLM。
Streaming-Eval： 一个全面的基准测试和指标套件（SW-F1），旨在评估模型在真实世界流式任务中的表现，超越了单轮离线范式。
最先进的性能： 所提出的技术栈（8B 流式原生 VLM + StreamingHarness）在叙述和问答任务中均优于强大的闭源模型（如 Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro）。

4. 实验结果

叙述： 配备 StreamingHarness 的 8B 流式原生模型在面对四个闭源基准模型时，实现了 61.4% 的平均胜率。它在生成自然、直播风格的解说方面显著优于基准模型，避免了离线适配模型中常见的“过度叙述”和幻觉问题。
问答： 在 Streaming-Eval 问答任务中，所提出的系统在后向（检索远端证据）和前向（推迟响应直到证据出现）任务中取得了实质性进展。其 SW-F1 分数明显高于所有基准模型，证明了其记忆系统和主动训练的有效性。
效率： 在一个 2 小时的体育赛事直播测试中，完整的 StreamingHarness 将首字时间（TTFT）和端到端延迟稳定保持在 1 秒以下（实时阈值）。相比之下，滑动窗口方法稳定在约 4 秒，而全注意力方法在几分钟内就超出了上下文限制。前缀感知 KV 缓存对于将延迟从 ~4s 降低到 <1s 至关重要。
消融实验：
- 调整沉默重复权重（ $w_{repeated\_silence}$ ）表明，0.8 的取值提供了最佳平衡，既防止了模型过度承诺沉默，又避免了过早响应。
- 将 StreamingHarness 添加到离线模型中显著提升了它们在后向任务上的表现，证实了该框架作为通用增强工具的价值。

5. 重要意义

本文认为，从离线视频理解向可部署的流式智能的转变，需要一种同时解决模型能力、基础设施和评估的整体方法。通过开源数据、Harness 和基准测试，作者旨在加速社区在构建能在无界、实时环境中有效运行的 VLMs 方面的进展。这项工作表明，通过正确的训练目标和推理架构，即使是较小的（8B）模型也可以在满足严格延迟约束的情况下，在流式场景中超越庞大的闭源系统。