💻 computer science

Persistent Object Narratives for Token-Efficient Video Language Models

该论文介绍了 SlotNarrative，一种通过使用紧凑的身份与状态标记将视频内容组织为持久对象叙事的、具有高标记效率的视频语言模型接口，通过将对象分组与帧级压缩解耦，实现了良好的准确度与标记量权衡。

原作者： Junzhe Chen, Siyuan Meng, Xiaojie Guo

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Junzhe Chen, Siyuan Meng, Xiaojie Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何理解一部电影。你有一个巨大的图书库（机器人的大脑），但它一次只能阅读几页内容，否则就会感到不知所措。如果你试图向机器人展示电影的每一帧——每分钟数千张图片——它会由于过载而瘫痪。它会在海量的像素中迷失方向，甚至忘记第一场戏中奔跑的角色就是最后一幕中跳跃的那个人。这就是科学家们在**视频大语言模型（Video Large Language Models）**领域试图解决的大难题。这些人工智能系统旨在“观看”视频并回答相关问题，但它们很难在不耗尽内存的情况下追踪物体随时间的变化。关键的挑战在于寻找一种方法，将一段长视频总结成一个精简、高效的故事，让机器人能够真正读懂，且不会丢掉剧情。

于是，由天津大学研究人员提出的一种名为 SlotNarrative 的新方法出现了，它就像是这些 AI 机器人的一个聪明的编辑。SlotNarrative 不再是将成千上万帧混乱的视频画面直接喂给机器人，而是将视频组织成“持久性物体叙事（persistent object narratives）”。你可以这样想：如果你要向一位错过了整场比赛的朋友描述一场足球赛，你不会列出比赛中的每一秒钟。相反，你会说：“有一位名叫亚历克斯的前锋，他带球冲向球场，然后他传了球，接着他进球了。”你是在追踪亚历克斯的“故事”，而不是他球衣的像素。

论文指出，SlotNarrative 的工作原理是首先将视觉特征分组到“槽位（slots）”中——这些是捕捉看起来像物体的“小桶”。然后，它使用一个特殊的、隐形的记忆系统将这些小桶在时间维度上连接起来。即使物体消失在树木后面或镜头切换，系统依然会记得：“啊，那还是亚历克斯！”最后，它会为机器人写一份精简的、固定大小的报告。这份报告包含两个部分：一个“身份标记（Identity Token）”（物体的永久身份证，比如“前锋亚历克斯”）和一个“状态标记集（State Tokens）”（记录他在视频不同部分的日记）。

研究人员发现，这种方法效率极高。他们成功地将整个视频的视觉故事压缩到了仅 144 个“标记（token）”位置（即机器人阅读的信息单位）。这只是其他方法所使用的数千个标记中的极小一部分。尽管占用的空间如此之少，该系统的表现依然非常出色，在标准的视频测试中经常击败其他紧凑型方法。论文表明，通过将“是谁（身份）”与“发生了什么（状态）”分离，机器人可以更好地理解视频，而不会被庞大的数据量搞混。然而，作者也指出，虽然这种方法在追踪物体方面效果很好，但在处理极其复杂的长程时序或物体混杂的拥挤场景时，有时会显得力不从心，这表明要让这些 AI 编辑变得完美，仍有许多工作要做。

技术摘要：面向高效 Token 视频语言模型的持久性对象叙事

问题陈述

视频大语言模型（Video-LLMs）虽然在开放式视频理解方面取得了进展，但在其视觉接口方面面临两个主要局限：

Token 强度高： 当前基于帧的构建方法生成的视觉 Token 与时空分辨率成正比，这往往导致每个视频产生数千个 Token（例如 LLaVA-OneVision, LLaVA-Video）。
缺乏显式的对象结构： 现有的压缩技术（如稀疏记忆、自适应时空压缩）虽然降低了 Token 数量，但未能显式地组织重复出现的对象证据。因此，语言模型必须在没有显式绑定的情况下，从压缩序列中推断对象的一致性和状态演变，这在对象在遮挡或场景切换后重新出现时会导致歧义。

虽然以对象为中心的学习（object-centric learning）为将特征分组为类对象槽位（slots）提供了理论基础，但现有的基于槽位的方法通常将槽位视为局部且可交换的，无法将重复出现的观测结果与跨时间的持久性对象实例联系起来。相反，依赖外部检测和跟踪流水线的方法则引入了对非学习组件的依赖。

方法论：SlotNarrative

作者提出了 SlotNarrative，一种基于槽位的、以对象为中心的接口，它将视频证据组织为持久性对象叙事（persistent object narratives）。该框架通过三个功能模块运行：

1. 以对象为中心的视频表示

一个冻结的 SigLIP 编码器提取采样帧的补丁特征（patch features）。一个特征适配器和一个循环槽位编码器将这些特征分组为 $K=11$ 个类对象槽位向量 ( $S_t$ ) 和补丁归一化注意力图 ( $A_t$ )。

局部状态： 系统使用掩码加权补丁匹配和因果轨迹编码器来估计局部运动、几何形状和可见性。
场景处理： 在检测到场景切换时，循环槽位初始化会被重置，以防止将编辑视为极端的对象运动，同时保留片段级（clip-level）记忆。

2. 持久性对象记忆

一个无参数记忆模块将帧局部槽位观测与持久的、片段级的对象条目联系起来。

重识别： 当一个槽位从不可见转为可见时，系统使用五个互补的线索将其与非活跃记忆条目进行匹配：槽位特征相似度、聚合外观相似度、轨迹状态相似度、近期观测相似度和位置接近度。
匹配逻辑： 一个加权的、无参数的评分机制决定重识别。采用贪婪的一对一匹配策略以防止重复声明。如果一个对象在不同的原始槽位索引下重新出现，记忆模块会保留其持久 ID，从而有效地桥接缺失的时间间隔。
无训练参数： 记忆模块本身不包含可学习权重；它依赖于固定的线索权重（例如，槽位特征权重为 0.3，外观权重为 0.2）和阈值。

3. 类型化对象状态 Token 化

为了与冻结的语言模型对接，保留的对象条目被序列化为一个固定大小的视觉序列：

清单选择： 条目根据可见持续时间、状态变化和“对象性”（一种结合了槽位面积和注意力熵的指标）进行排名。保留前 $M=16$ 个条目。
Token 分解： 每个保留的条目由以下部分表示：
- 一个身份 Token（Identity Token）： 使用时间聚合、可见性加权的骨干网络特征来总结持久的外观。
- $J=8$ 个状态 Token（State Tokens）： 编码段级外观、几何、可见性、轨迹状态以及重识别事件。
固定预算： 该设计为每个视频分配恰好 $M(1 + J) = 144$ 个视觉 Token 位置，且与采样的帧数无关。未使用的位置将被掩码处理。

训练策略

模型通过三个连续阶段进行训练：

阶段 1： 利用特征重建、SlotContrast 以及在无标签片段上的协同表示学习，学习类对象的分组和局部一致性。
阶段 2： 通过未来观测预测和基于置信度的目标来训练轨迹和存在性模块。
阶段 3： 将类型化对象状态表示与语言模型（Qwen2-7B-Instruct）进行对齐。仅训练身份/状态投影器、层归一化（layer normalizations）和类型化嵌入；视觉骨干网络、记忆模块和语言模型保持冻结。

核心贡献

基于槽位的对象中心接口： 通过使用无参数记忆将重复观测关联起来，将视频证据组织在持久的片段级对象条目周围，而非基于帧或可交换的每帧槽位，从而避免了对外部跟踪流水线的依赖。
类型化对象状态表示： 将持久的外观与随时间变化的状态分离。这种分解为冻结的 Video-LLM 提供了一个紧凑、固定的 144 Token 接口（1 个身份 Token + 8 个状态 Token $\times$ 16 个对象）。
效率与性能： 在多个基准测试中展示了优异的准确率-视觉 Token 折衷方案，确立了持久性对象叙事作为一种结构化视觉接口的地位。

实验结果

作者在三个开放式 VideoQA 基准测试上评估了 SlotNarrative：MSVD-QA、MSRVTT-QA 和 ActivityNet-QA。

Token 效率： 仅使用 144 个分配的视觉 Token 位置，SlotNarrative 实现了：
- MSVD-QA 准确率为 75.6%。
- MSRVTT-QA 准确率为 69.8%。
- ActivityNet-QA 准确率为 50.3%。
对比分析：
- 与最接近的对象中心基准模型 Slot-VLM（192 个 Token）相比，SlotNarrative 使用了 25% 更少的 Token，同时在准确率上分别提高了 0.7、0.2 和 2.0 个百分点。
- 它在短视频数据集上优于密集 Token 方法（如拥有约 6,000 个 Token 的 LLaVA-OneVision），并且在长视频（ActivityNet-QA）上依然保持竞争力，尽管其 Token 数量大幅减少。
消融实验：
- 轨迹与记忆： 这两个组件都显著提升了性能。仅移除记忆模块会导致 MSVD-QA 的准确率下降约 3.2 个百分点；仅移除轨迹模块会导致下降约 1.8 个百分点。两者的结合效果最佳。
- 类型化 Token： 将身份与状态 Token 分离至关重要。与完整的 144 Token 接口（50.3%）相比，仅使用身份 Token（16 个 Token）或仅使用状态 Token（128 个 Token）会导致准确率大幅下降（在 ActivityNet-QA 上分别为 44.1% 和 42.4%）。
- 预算敏感性： 减少对象覆盖范围（ $M$ ）带来的损失比减少时间分辨率（ $J$ ）更为严重。将预算增加到 144 个 Token 以上收益递减。

重要性与主张

本文声称 SlotNarrative 通过优先考虑持久性对象叙事而非逐帧证据，为 Video-LLM 接口建立了一种新的范式。其意义在于：

结构化压缩： 它提供了一个紧凑、结构化且在时间上有组织的视觉接口，能够显式地链接重复出现的观测，减轻了语言模型推断对象对应关系的负担。
Token 高效性： 它以固定的低 Token 预算（144 个 Token）实现了具有竞争力的性能，实现了输入长度与视频时长及分辨率的解耦。
学习型关联： 它证明了可以直接从视觉特征中发现并关联跨越缺失间隔的类对象单元，而无需依赖外部检测或跟踪模型。

作者也坦诚地承认了局限性，指出虽然该接口很紧凑，但长程时间顺序以及拥挤场景中的碎片化问题仍然是挑战。他们建议未来的工作应专注于更丰富的对象发现和运动线索，而不必退回到使用长帧 Token 序列。