💬 NLP

CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

CoPE-VideoLM 通过利用视频编解码原语（如运动矢量和残差）替代昂贵的全图编码，并结合轻量级 Transformer 编码器与预训练对齐策略，在显著降低计算开销和延迟的同时，保持了在多种视频理解基准任务上的卓越性能。

原作者： Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人（AI）看视频。现在的难题是：视频文件太大了，而且充满了重复的信息。

传统的做法就像让机器人逐帧观看每一张图片。如果视频有 1 小时，机器人就得盯着几千张几乎一模一样的图片看，这不仅累得它“脑子转不动”（计算量太大），而且因为它要处理的数据太多，它往往只能挑几张“关键帧”看，结果漏掉了很多精彩的细节（比如球是怎么滚动的，或者人物微妙的表情变化）。

这篇论文提出了一种名为 CoPE-VideoLM 的新方法，它的核心思想非常巧妙：与其让机器人看“完整的画面”，不如直接看“画面的变化说明书”。

🎬 核心比喻：从“看录像”到“看剧本”

1. 传统方法的痛点：看“重播”

现在的视频 AI 就像是一个强迫症观众。

场景：视频里有一个人在走路。
传统做法：AI 把每一帧画面都当成一张全新的照片，从头到尾分析一遍。
问题：第 1 秒和第 2 秒，背景几乎没变，只有腿动了一点点。AI 却要花大力气去分析那没变的背景。这就像你读一本小说，每一页都让你把整页文字重新抄一遍再读，效率极低。

2. CoPE 的妙招：看“变化笔记”

CoPE 利用了视频压缩技术（就像我们平时发的 MP4 文件）中原本就有的“秘密武器”：运动向量和残差。

我们可以把视频文件想象成一本**“变化笔记”**：

I 帧（关键帧）：这是**“全景大图”**。每隔几秒，笔记里会贴一张完整的照片，告诉你现在的场景是什么样。
P 帧（预测帧）：这是**“修改意见”**。笔记里不会贴新照片，而是写着：“把上一张图里的桌子往右移 5 厘米，把那个人的手举高一点”。
- 运动向量 = “往右移 5 厘米”（告诉物体怎么动）。
- 残差 = “颜色稍微变深了一点”（告诉细节怎么变）。

CoPE-VideoLM 的做法是：
它不再让 AI 去“解码”并重新渲染每一张完整的 P 帧图片（那太慢了），而是直接读懂这些“修改意见”。

对于“全景大图”（I 帧），它正常看。
对于“修改意见”（P 帧），它直接提取出“怎么动”和“变了什么”的信息，转化成几个非常小的**“变化令牌”（Delta Tokens）**。

🚀 带来的巨大好处

1. 速度飞快（Time-to-First-Token）

比喻：以前 AI 看视频像是在打印整本相册再开始读；现在它是直接看目录和修改备注。
结果：AI 给出第一个回答的速度提升了 86%。就像你问它“视频里发生了什么”，它几乎能瞬间反应，而不是等它把几千张图片慢慢加载完。

2. 省内存、省流量（Token Usage）

比喻：以前为了描述一个 1 小时的视频，AI 需要消耗 100 个单位的“脑力”；现在只需要 7 个单位。
结果：它使用的“令牌”（Token，AI 理解信息的单位）减少了 93%。这意味着同样的电脑配置，现在可以处理长达 8 小时的视频，而以前只能处理几分钟。

3. 看得更细（不仅没丢信息，反而更准）

比喻：传统方法因为怕累，只挑几个关键帧看，容易漏掉“球差点撞到铅笔”这种瞬间动作。CoPE 因为直接读取“变化笔记”，反而能精准捕捉到这些微小的动态。
结果：在 14 个不同的视频理解测试中，它的成绩不仅没掉，反而比很多大模型还要好，尤其是在需要理解“时间顺序”和“动作逻辑”的任务上。

🧩 它是如何工作的？（简单三步走）

拆解：把视频拆成“全景图”（I 帧）和“修改单”（P 帧的运动和残差）。
翻译：用一个轻量级的小翻译官（Δ-Encoder），把复杂的“修改单”翻译成 AI 能听懂的小短句（Δ-Tokens）。
串联：把“全景图”和“修改单”按时间顺序串起来，喂给 AI 的大脑（大语言模型）。

🌟 总结

这篇论文就像给 AI 装上了一副**“透视眼镜”。它不再被视频文件庞大的体积吓倒，而是直接看透视频压缩的底层逻辑，只关注“哪里变了”和“怎么变的”**。

以前：AI 是拿着放大镜看每一张静止照片，累得半死还容易眼花。
现在：AI 是拿着“变化清单”在脑海里动态重组画面，既快又准，还能一口气看完一整部电视剧。

这不仅让 AI 看视频变得更快、更省资源，还让它能真正理解视频里那些稍纵即逝的精彩瞬间。

CoPE-VideoLM 技术总结

1. 研究背景与问题 (Problem)

视频语言模型（VideoLMs）旨在让 AI 理解视频中的时间动态、叙事演变及物体关系。然而，现有的 VideoLM 面临两个主要瓶颈：

上下文窗口限制与稀疏采样：受限于最大上下文窗口（Context Window）和硬件计算成本（显存与计算量随上下文呈线性/平方增长），现有方法通常采用关键帧采样（Keyframe Sampling，如均匀采样或学习式选择）。这导致时间覆盖稀疏，容易遗漏宏观事件和微观细节（如快速动作）。
计算冗余与延迟：即使只采样少量帧，传统方法仍对每一帧进行完整的 RGB 图像编码，产生大量视觉 Token。这不仅增加了 Token 消耗，还显著延长了首词生成时间（Time-to-First-Token, TTFT），阻碍了实时应用（如机器人控制）和长视频处理。

现有的基于压缩域（Codec-domain）的尝试（如仅使用光流或丢弃残差）往往忽略了时序结构或丢失了外观信息，无法在保持细粒度动态的同时实现高效推理。

2. 核心方法论 (Methodology)

CoPE-VideoLM 提出了一种**感知编解码原语（Codec-Aware Tokenization）**框架，直接利用视频编解码器（如 H.264, HEVC）中天然存在的冗余结构，而非重新编码完整的 RGB 帧。

2.1 编解码原语利用

视频通常由I 帧（关键帧，完整图像）和P 帧（预测帧，仅包含相对于前一帧的变化）组成。

I 帧：保留为完整的 RGB 图像，通过标准的冻结视觉编码器（如 SigLIP）处理，生成密集 Token。
P 帧：不解码为 RGB 图像，而是直接提取其运动矢量（Motion Vectors, $\tau$ ）和残差（Residuals, $\delta$ ）。
- 运动矢量描述块级位移（类似粗略光流）。
- 残差描述运动补偿后的像素修正。

2.2 轻量级双分支编码器 ( $\Delta$ -Encoder)

为了将 P 帧的编解码原语映射到与图像编码器兼容的嵌入空间，作者设计了一个轻量级的 Transformer 编码器：

运动分支：通过 MLP 和 Transformer 处理运动矢量，压缩为少量 Token。
残差分支：通过轻量级 ResNet-18 和 Transformer 处理残差，压缩为少量 Token。
输出：每个 P 帧仅生成极少量的 $\Delta$ -Token（实验中设为 8 个，而 I 帧通常为 196+ 个），大幅减少 Token 数量。

2.3 训练范式

采用两阶段训练策略以确保收敛速度和性能：

预训练（Pre-training）：将 $\Delta$ -Encoder 作为模态适配器进行预训练。利用参考帧（ $I_{t-1}$ ）、运动矢量和残差，通过“参考（Reference）”和“扭曲（Warped）”Transformer 模块重建目标帧的图像特征，使其与 RGB 图像编码器的嵌入空间对齐。
端到端微调（End-to-End Fine-tuning）：将预训练好的 $\Delta$ -Encoder 集成到 VideoLM 中，与 LLM 一起进行指令微调。此时 P 帧不再需要 RGB 参考帧，直接输入 $\Delta$ -Token。

2.4 时序对齐与融合

模型将 I 帧 Token 和 P 帧的 $\Delta$ -Token 按自然时间顺序交错排列，形成连续的 Token 流。此外，支持P 帧融合（Fusion），即多个连续 P 帧的运动和残差可以聚合，以在时间分辨率和 Token 成本之间进行权衡（例如将 30 帧 P 帧融合为 1 组 Token，实现 1 FPS 的有效采样率）。

3. 主要贡献 (Key Contributions)

编解码原语编码：首次提出在 VideoLM 中直接利用运动矢量和残差，按时间顺序保留运动和外观信息，避免了冗余的 RGB 处理。
高效架构：设计了轻量级双分支 $\Delta$ -Encoder，实现了比传统图像编码器高得多的压缩率（Token 减少高达 93%）。
对齐预训练框架：提出了一种预训练策略，使编解码原语表示与图像嵌入空间对齐，加速了端到端微调的收敛。
性能与效率的双重突破：在保持甚至超越现有 SOTA 性能的同时，显著降低了计算成本和延迟。

4. 实验结果 (Results)

作者在 14 个涵盖通用视频问答、时序推理、长视频理解和空间场景理解的基准测试中进行了广泛评估：

效率提升：
- Token 使用量：相比标准 VideoLM（如 LLaVA-Video-7B），Token 使用量减少了高达 93%。
- 首词延迟 (TTFT)：减少了高达 86%（例如从 2.39s 降至 0.33s）。
- 长视频扩展：在 1M Token 上下文限制下，可处理长达 8 小时 的视频（1 FPS），而传统方法仅能处理极短片段。
性能表现：
- 在 PerceptionTest、NextQA、ActivityNet-QA 等通用视频 QA 任务上，CoPE-VideoLM 在开源模型中达到 SOTA 或接近 SOTA 水平。
- 在 Temporal/Motion Reasoning（如 TempCompass, TOMATO）任务上表现优异，证明了编解码原语对时序动态捕捉的有效性。
- 在 Long-form（长视频）任务中，由于 Token 效率，模型能覆盖更长的时间跨度，表现优于同类开源模型。
- 在 3D 空间理解（ScanQA, SQA3D）任务中，仅使用 25% 的 Token 即达到了与全量 Token 模型相当甚至更好的性能。
消融实验：
- 证明了 $\Delta$ -Token 被模型有效利用（若置零，性能显著下降）。
- 两阶段训练（预训练 + 微调）比单阶段训练效果更好。
- 编解码原语训练本身就能提升模型的时间推理能力，即使推理时不使用 $\Delta$ -Token。

5. 意义与影响 (Significance)

CoPE-VideoLM 的工作具有深远的意义：

范式转变：它挑战了 VideoLM 必须依赖密集 RGB 帧的传统范式，证明了利用视频压缩标准（Codec Primitives）中的固有稀疏性是实现高效视频理解的关键。
实时性与长视频：通过大幅降低 TTFT 和 Token 消耗，使得 VideoLM 能够应用于对延迟敏感的实时场景（如机器人、自动驾驶）以及超长视频分析，这是当前基于密集采样的模型难以企及的。
资源友好：该方法无需昂贵的硬件升级或架构大改，即可在现有开源模型基础上实现性能与效率的双重飞跃，为未来大规模视频语言模型的扩展提供了可扩展的基础。

简而言之，CoPE-VideoLM 通过“回归”视频编码的底层原理，巧妙地解决了视频理解中的“数据冗余”与“计算瓶颈”问题，是视频多模态大模型领域的一次重要技术突破。