💻 computer science

StreamReady: Learning What to Answer and When in Long Streaming Videos

本文介绍了 StreamReady，这是一个通过答案就绪分数将时间推理与准时回答相统一的框架，旨在优化模型对流式视频证据的响应时机，该框架经新提出的 ProReady-QA 基准验证，并在多个数据集上展现出更优越的性能。

原作者： Shehreen Azad, Vibhav Vineet, Yogesh Singh Rawat

发布于 2026-03-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Shehreen Azad, Vibhav Vineet, Yogesh Singh Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一场体育直播，但解说员不是人类，而是一个超级智能的 AI，试图实时描述比赛进程。

问题：“太早”与“太晚”的两难困境
大多数现有的 AI 视频模型就像一个紧张的球迷，只要他们认为看到了什么，就会立刻喊出答案，即使他们还没看清整个动作。

回答过早： AI 进行猜测。它在球实际越过球门线之前就说“进球了！”这是一种幻觉（即猜测）。
回答过晚： AI 等到比赛结束、球员走下球场后才说“进球了！”这毫无用处，因为那个瞬间已经过去了。

现有的基准测试只关心 AI 是否答对了事实（他们是否说了“进球了”？）。它们忽略了何时说的。本文认为，在直播流中，时机与答案本身同样重要。

解决方案：StreamReady
作者引入了一种名为StreamReady的新系统。可以把它想象成一个内置了“耐心计”和“证据核查器”的 AI。

“等待”按钮（就绪机制）： StreamReady 不会立即回答，而是拥有一个特殊的内部令牌（一个名为 <RDY> 的数字标记），它像交通信号灯一样运作。它持续监控视频。
- 红灯： “我看到了问题，但我还没有足够的证据。我会继续观看。”
- 绿灯： “好的，我刚刚看到了回答问题所需的具体视觉证据。我现在将开口。”
“记忆树”（视觉记忆）： 长视频非常庞大。如果你试图记住每一帧，你的大脑（或计算机）就会崩溃。StreamReady 使用了一种巧妙的“记忆树”。
- 叶子（最近帧）： 它以高细节保留最新的帧。
- 分支（摘要）： 随着时间推移，它将相似的帧分组为“质心”（就像将 10 分钟的场景总结为一个关键句子）。
- 树干（大局）： 它为整个视频创建更广泛的摘要。
- 类比： 想象你在读一本小说。你详细记得最后一页，将上一章总结为摘要，并将整本书概括为一个主题。这让 AI 能够在不迷失于噪音的情况下找到所需的特定“证据”。
“记分牌”（答案就绪分数 - ARS）： 作者创造了一种评估这些 AI 模型的新方法。
- 如果你在证据出现之前回答，你会受到严厉惩罚（因为你在猜测）。
- 如果你在证据消失之后回答，你会受到轻微惩罚（因为你只是太慢了）。
- 如果你在证据可见的确切时刻回答，你将获得满分。
- 类比： 这就像烹饪比赛中的评委。如果你在盐还没加进去之前就尝汤并说“需要加盐”，你就失败了。如果你在厨师已经上菜后才说，你就太晚了。只有当你在厨师调味的同时尝汤，你才能得分。

新测试：ProReady-QA
为了证明他们的系统有效，他们构建了一个名为ProReady-QA的新测试。

设置： 他们选取了长视频（如电影或记录日常生活的第三人称视频），并创建了这样的问题：在提问时，答案尚不存在。
挑战： AI 必须观看视频展开，等待答案变得可见的具体时刻，然后开口。
结果： StreamReady 不仅答对了答案，而且在正确的时间给出了答案。它的表现优于那些要么过早猜测、要么等待过久的其他模型。

为何这很重要
该论文声称，这是迈向现实世界应用的一大步，例如：

监控： 在跌倒或事故发生的瞬间察觉，而不是 10 分钟后。
机器人技术： 帮助人类的机器人不应在人请求之前抓取工具，也不应等到人已经掉落工具后才行动。
辅助系统： 通过在人遇到障碍时恰好描述它们，帮助某人导航房间。

一言以蔽之
StreamReady 教会 AI 停止猜测，开始等待。它将智能记忆系统与“耐心传感器”相结合，确保 AI 开口时既准确又及时。这之间的区别在于：是球迷在球还在空中时就大喊“进球了！”，还是专业解说员在球越过球门线的那一刹那说出“进球了！”。

技术摘要：StreamReady

问题陈述

多模态大语言模型（MLLMs）在视频理解方面取得了进展，特别是在短视频方面，但由于难以在扩展的时间上下文中进行推理，它们在长视频处理上仍面临困难。尽管近期工作已将 MLLMs 扩展到更长视频，但大多数工作在离线设置下运行，即在推理期间视频是完整可用的。相比之下，流式视频理解是一种在线变体，其中帧按顺序到达，且模型从未见过完整视频。

当前流式方法存在一个关键差距：它们主要关注在证据已可用的过去依赖（因果）场景中的答案正确性。然而，许多现实世界应用（如监控、机器人、辅助系统）需要主动（未来依赖）推理，即在支持性视觉证据出现之前就提出问题。在此类设置中，模型必须确定何时作答。过早作答构成缺乏支持的推测（幻觉），而过晚作答则会降低实时效用。现有的基准测试和方法缺乏评估或强制答案相对于证据出现时间的机制。

方法论：StreamReady 框架

作者提出了StreamReady，这是一个旨在通过“就绪感知”公式将时间推理与明确的答案时机相统一的框架。

1. 就绪感知公式

核心贡献是一项名为**答案就绪分数（Answer Readiness Score, ARS）**的新评估指标。与标准准确率不同，ARS 使用非对称惩罚联合评估正确性和时机：

过早惩罚（Early Penalty, EP）： 对证据窗口开始之前作答的行为施加严厉惩罚，以抑制推测。
过晚惩罚（Late Penalty, LP）： 对证据窗口结束之后作答的行为施加较轻惩罚，容忍轻微延迟。
有效准确率（Effective Accuracy）： 定义为 $Acc_e = Acc \times ARS$ ，该指标奖励既正确又及时的模型。

2. 框架架构

StreamReady 无需完整视频访问或重型辅助模型即可运行。它由三个主要组件组成：

分层记忆存储：
- 视觉记忆树（ $M_V$ ）： 一种多层结构，用于高效管理长流。
  - $M_{V1}$ ：最近原始帧嵌入的 FIFO 缓冲区（短期细节）。
  - $M_{V2}$ ：通过 K-means 聚类从 $M_{V1}$ 导出的质心的中层摘要。
  - $M_{V3}$ ：从 $M_{V2}$ 抽象出的粗略原型集，通过指数移动平均（EMA）更新，以处理稳定场景和漂移。
- 上下文记忆库（ $M_C$ ）： 存储过去问题的嵌入及其对应的答案表示，以支持多轮推理和语义一致性。
查询感知推理：
- 收到问题后，模型激活双分支 Q-Former。
- 短期分支（ $Q_s$ ）： 关注 $M_{V1}$ 中的原始帧以获取即时上下文。
- 长期分支（ $Q_\ell$ ）： 执行由粗到细的检索。它首先对 $M_{V3}$ 中的原型进行评分以识别相关区域，然后将搜索细化到 $M_{V2}$ 中的特定质心。
- 上下文推理： 软门控机制从 $M_C$ 检索相关的过去问答对，并通过交叉注意力将其与视觉特征融合。
轻量级就绪机制：
- 一个可学习的**<RDY> token**被附加到长期推理表示（ $z_\ell$ ）上。
- 就绪头（Readiness Head）（一个轻量级 MLP）监控此 token，输出就绪分数 $R_{pred} \in [0, 1]$ 。
- 推理： 仅当 $R_{pred}$ 超过阈值时，模型才触发 LLM 生成答案。否则，它继续观察。
- 训练： 由于训练期间缺乏真实证据时间戳，作者使用弱伪监督。他们定义伪正区域（推理表示与视觉记忆质心高度相似的区域）和伪负区域。成对对比损失训练就绪头为正区域分配更高分数，而时间一致性正则化器确保平滑过渡。

主要贡献

就绪感知流式的形式化： 本文提出了一种公式，其目标不仅是正确作答，而是在证据充分出现时精确作答，并通过**答案就绪分数（ARS）**进行形式化。
StreamReady 框架： 一种新颖架构，集成了分层视觉记忆、查询感知的由粗到细检索，以及一个轻量级就绪 token，该 token 根据内部证据充分性决定何时响应。
ProReady-QA 基准测试： 专为主动流式场景设计的新基准测试。其特点包括：
- 涵盖局部和全局上下文的 5k 个主动多轮问答对。
- 标注的答案证据窗口（开始和结束时间戳）以支持 ARS 评估。
- 五种任务类型：顺序步骤识别、重复事件计数、线索揭示响应、因果触发检测和状态检测。

实验结果

作者在 ProReady-QA 和其他八个基准测试（四个流式，四个离线长视频）上评估了 StreamReady。

ProReady-QA 性能： StreamReady 在所有五项任务中取得了最高的有效准确率和ARS，平均比最佳基线（StreamBridge）高出约3% 的准确率和9% 的 ARS。它在需要精确计时的任务（REC、GSD、CTD）中表现出特别显著的提升。
流式基准测试： StreamReady 在主动和非主动流式基准测试（StreamingBench、OVOBench）上始终优于先前的在线方法（如 Flash-VStream、StreamBridge），在主动任务上实现了高达5% 的提升。
离线长视频基准测试： 尽管专为流式设计，StreamReady 在离线基准测试（VideoMME、MLVU、MVBench、EgoSchema）上表现良好，超越了现有的离线模型。这表明其分层记忆和推理机制即使在未明确惩罚计时的情况下也是有益的。
效率： 分析显示，随着视频长度增加，StreamReady 保持稳定的延迟和内存使用，而基线模型则遭受二次注意力增长或重型 token 压缩开销的影响。

意义与主张

本文声称，StreamReady为提升流式视频理解中的答案时机奠定了统一基础。其意义在于：

将范式从“回答什么”转变为“回答什么以及何时回答”，解决了现实世界流式应用中的关键差距。
证明时机可以通过轻量级机制结合证据追踪来学习，而无需依赖非确定性辅助模型或重型计算。
提供ProReady-QA作为评估流式模型时间适当性的首个系统测试平台，超越了简单的准确率指标。
表明就绪感知机制不仅提高了主动性能，还提升了跨多种基准测试的通用视频理解能力。

作者总结道，他们的工作推动该领域迈向不仅准确，而且基于证据且及时的模型，这是在实时、长视野场景中有效部署的前提条件。