💻 computer science

One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding

该论文提出了名为 X-Comp 的极端压缩模型，通过引入可学习的渐进式 Token 级压缩和基于 LLM 注意力分数的查询条件帧级选择，并结合局部注意力机制缓解位置偏差，实现了长视频理解中“每帧一个 Token"的高效压缩，在显著增加采样帧数的同时提升了模型性能。

原作者： Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 XComp 的新方法，旨在解决人工智能（AI）在理解超长视频时遇到的“记不住”和“算不过来”的难题。

为了让你轻松理解，我们可以把 AI 看成一个正在备考的超级学生，把长视频看成一本厚厚的百科全书。

1. 以前的困境：学生被书压垮了

想象一下，老师（AI 模型）要让学生看完一本 1000 页的百科全书，然后回答一个关于书里某个细节的问题。

问题所在：以前的 AI 模型就像个记性不好的学生。它把每一页（每一帧视频画面）都拆成几百个碎片（Token）来记忆。如果书太厚（视频太长），碎片数量就会超过它的“大脑容量”（上下文长度限制）。
后果：为了不让大脑爆炸，以前的方法只能粗略地翻书。比如，它可能只读第 1 页、第 100 页、第 200 页……中间的内容全跳过了。结果就是，它错过了很多关键情节，答错了问题。

2. XComp 的核心绝招：两个“魔法”

XComp 提出了两个聪明的策略，让学生既能读完整本书，又能记住关键细节，而且不费脑子。

魔法一：学会“提炼精华” (LP-Comp)

以前的做法：像做物理题一样，直接扔掉不重要的碎片（比如把第 100 页的 100 个碎片直接删掉 99 个）。这很危险，因为扔掉的碎片里可能藏着答案。
XComp 的做法：它训练学生主动学习如何“压缩”。
- 比喻：想象学生每读完一页，就立刻在脑子里把这一页的几百个细节，提炼成一句最核心的“金句”。
- 效果：不管书有多厚，最后他脑子里只存着“每页一句金句”。这样，1000 页的书就变成了 1000 句金句，大脑完全装得下，而且没有丢失核心信息。
- 关键点：这种“提炼”能力不是靠死记硬背（启发式规则），而是通过专门训练（Supervised Tuning）学会的，就像请了一位私教教学生如何写摘要。

魔法二：学会“有的放矢” (QC-Comp)

以前的做法：即使每页只存一句金句，如果书有 10000 页，学生还是得读 10000 句，太累了。而且，学生容易犯“首尾效应”——只记得开头和结尾，中间的内容容易忘（Lost in the Middle）。
XComp 的做法：它让学生先看题目，再找书。
- 比喻：老师问：“书里那个穿红衣服的人在做什么？”
- 操作：学生不会从头读到尾。他会利用一种“雷达”（注意力机制），快速扫描整本书，只把那些提到“红衣服”的页面挑出来，其他的直接忽略。
- 解决“首尾效应”：为了防止学生只记得开头和结尾，XComp 把书切成很多小段（比如每 64 页一段），让学生分段阅读。这样，每一段的开头和结尾都是独立的，学生就不会漏掉中间段落的细节了。

3. 最终成果：超级学霸

通过这两个魔法的结合，XComp 做到了：

极度压缩：把每一帧视频压缩成仅仅 1 个 Token（就像把一页书变成一句话）。
精准筛选：只保留和问题最相关的画面。
效率爆表：
- 以前只能看 100 帧，现在能看几千帧。
- 以前看长视频像“走马观花”，现在能“细节满满”。
- 训练成本极低：只需要用2.5% 的数据量就能训练出这种能力（就像只用了 2.5% 的练习题，学生就学会了所有解题技巧）。

总结

这就好比：
以前看长视频，AI 像是在大海里捞针，只能随机捞几把，很容易漏掉。
现在有了 XComp，AI 就像拥有了超级磁铁（学会提炼）和精准导航（学会筛选），不仅能轻松看完整部 1 小时的电影，还能精准地告诉你电影里第 35 分钟那个穿红衣服的人到底在干什么，而且脑子还不累！

一句话总结：XComp 让 AI 学会了如何把长视频“读薄”，既保留了所有关键信息，又极大地提高了阅读速度和理解能力。

这篇论文提出了一种名为 XComp 的极端视频压缩框架，旨在解决长视频理解中视觉语言模型（VLMs）面临的上下文长度限制和计算成本高昂的问题。其核心目标是将长视频中的每一帧压缩为单个高信息量的 Token，从而在保持甚至提升理解性能的同时，实现极高的帧采样密度。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

长视频理解的挑战：现有的 VLMs 在处理长视频（几分钟到几小时）时，面临巨大的视觉信息量挑战。通常，每帧视频会被编码为数十甚至数百个 Token。
上下文限制：大语言模型（LLM）的上下文窗口有限，导致模型在处理长视频时不得不稀疏采样（例如每秒只取几帧），从而丢失关键的时序信息和视觉细节。
现有方法的局限性：
- 启发式压缩：现有方法多依赖训练无关的启发式策略（如基于注意力的 Token 选择或池化），在高压缩比下容易导致关键信息丢失。
- 位置偏差：LLM 的注意力机制在长序列中存在“中间丢失”（Lost-in-the-Middle）现象，即过度关注序列开头和结尾，忽略中间内容。
- 缺乏可学习性：LLM 层本身未被监督学习如何有效地压缩 Token，导致在极端压缩下性能下降。

2. 方法论 (Methodology)

XComp 通过两个核心模块实现极端压缩：可学习且渐进的 Token 级压缩 (LP-Comp) 和 基于问题的帧级压缩 (QC-Comp)。

A. 可学习且渐进的 Token 级压缩 (LP-Comp)

核心思想：不再依赖启发式规则，而是通过监督微调（Supervised Compression Tuning, SCT）让 LLM 层主动学习如何将视频 Token 压缩。
渐进式压缩：为了避免一次性压缩导致的信息丢失，XComp 设计了一个平滑的压缩调度（Cosine 曲线），让 Token 数量在 LLM 的 $L$ 层中逐层减少，最终在最后一层达到每帧 1 个 Token ( $N^{(L)}=1$ )。
后缀保留策略 (Suffix-Preservation)：在每一层的压缩过程中，保留每个帧 Token 序列的后缀（最后几个 Token）。这符合 Decoder-only LLM 的因果注意力机制（后续 Token 可以吸收前面 Token 的特征），确保信息的有效传递。
数据高效：该微调过程仅需基线模型（VideoChat-Flash）监督微调数据量的 2.5%，即可显著提升压缩能力。

B. 基于问题的帧级压缩 (QC-Comp)

核心思想：在推理阶段，根据用户的问题（Query）动态选择最相关的视频帧，而非均匀采样。
分段局部注意力 (Segmented Local Attention)：
- 为了解决长序列中的位置偏差（即模型倾向于关注序列首尾），XComp 将长视频分割成多个短片段（Segments）。
- 在每个片段内部计算问题 Token 与视频 Token 之间的注意力分数。
- 这种局部计算方式有效缓解了“中间丢失”问题，确保模型能关注到视频中间的关键帧。
帧选择：根据计算出的注意力分数，保留与问题最相关的高分帧，丢弃低分帧。

3. 关键贡献 (Key Contributions)

提出 LP-Comp 框架：首个通过监督学习让 LLM 层在 Token 级别进行渐进式压缩的方法，实现了从每帧数十 Token 到每帧 1 个 Token的极端压缩，且无需依赖启发式规则。
提出 QC-Comp 机制：利用 LLM 内部注意力分数进行基于问题的帧选择，并通过分段局部注意力策略有效解决了长视频理解中的位置偏差问题。
数据高效的微调策略：证明了仅需极少量（2.5%）的 SFT 数据即可训练出具备强大压缩能力的模型，大幅降低了训练成本。
性能突破：在保持高压缩比的同时，支持更密集的帧采样（如每秒多帧），显著提升了长视频理解的准确率。

4. 实验结果 (Results)

基准测试表现：
- 在 LVBench（极端长视频基准）上，XComp (2B 参数) 的准确率从基线 VideoChat-Flash-2B 的 42.9% 提升至 46.2%。
- 在 LongVideoBench、MLVU 和 VideoMME 等多个长视频基准上均取得了 SOTA（State-of-the-Art）或具有竞争力的结果，甚至优于部分 7B 参数量的模型。
帧密度与性能关系：实验表明，XComp 能够随着输入帧数的增加持续提升性能（而基线模型在帧数超过一定阈值后性能下降），证明了其处理高密度帧输入的能力。
效率提升：在推理阶段，相比基线模型，XComp 在 1k-4k 帧的输入下，LLM 的 TFLOPs 减少了约 53%-58%，延迟降低了 45%-58%。
消融实验：
- 证明了“可学习压缩”优于“训练无关的启发式压缩”。
- 证明了“渐进式压缩”优于“阶梯式压缩”。
- 证明了“分段局部注意力”优于“全局注意力”。

5. 意义与影响 (Significance)

突破长视频理解瓶颈：XComp 展示了通过极端压缩技术，VLMs 可以在有限的上下文窗口内处理更长的视频（如小时级视频），同时保留丰富的时序细节。
重新定义 Token 效率：将每帧压缩至 1 个 Token 是一个理论和技术上的突破，为未来设计更高效的视频 - 语言模型提供了新的范式。
通用性与可扩展性：该方法不仅适用于 VideoChat-Flash，还成功迁移到了 LLaVA-Next-Video 架构，证明了其良好的通用性。
低成本训练：仅需极少量数据进行微调即可实现显著效果，降低了长视频模型研发的门槛。

总结：XComp 通过结合“可学习的渐进式 Token 压缩”和“基于局部注意力的帧选择”，成功解决了长视频理解中信息量过大与上下文限制之间的矛盾，实现了在极低 Token 消耗下的高精度长视频理解。