🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

本文提出了名为 AdaptToken 的免训练框架，通过利用模型响应熵作为全局控制信号来动态分配长视频理解中的 Token 预算并实现早期停止，从而在显著降低推理成本的同时提升了多模态大模型在长视频任务上的性能。

原作者： Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 AdaptToken 的新方法，旨在解决人工智能（AI）在看超长视频时遇到的“记不住”和“算不过来”的难题。

为了让你更容易理解，我们可以把 AI 看视频的过程想象成一个学生参加一场极其漫长的考试。

1. 核心难题：学生为什么“晕”了？

现在的 AI 模型（MLLM）很聪明，能看懂短视频。但如果视频长达几小时（比如一部电影或一场马拉松），视频里包含的画面信息（Token）多到惊人。

内存爆炸：就像学生的书包塞不进几千本书，AI 的“短期记忆”（显存）装不下这么多帧画面。
注意力分散：即使强行塞进去，AI 也会因为信息太多而“晕头转向”，抓不住重点，就像学生在几千页的复习资料里找不到答案。

以前的方法通常是**“挑帧”**：比如每隔 10 秒截一张图。但这就像只看书的目录，可能会漏掉关键细节，或者把很多无关紧要的废话（比如空镜头、背景）也带进去了。

2. 解决方案：AdaptToken 的“聪明策略”

AdaptToken 不需要重新训练 AI，它像是一个聪明的“学习委员”，帮 AI 制定了一套**“自适应复习策略”**。它主要做了三件事：

第一步：把视频切成“复习小组”

它不是一次性看整个视频，而是把长视频切成一个个小段落（Group）。

比喻：就像把一本 1000 页的厚书，分成 20 个章节，每次只读一个章节。

第二步：用“自信度”来分配精力（核心创新）

这是 AdaptToken 最巧妙的地方。它利用 AI 自己的**“不确定性”**（熵）来判断哪个段落重要。

怎么判断？ 当 AI 看完一个段落并尝试回答问题时，它会计算自己有多“自信”。
- 高自信（低熵）：AI 说：“这部分内容很关键，我很有把握！” $\rightarrow$ 策略：给这个段落分配更多的“注意力名额”，仔细分析里面的每一个像素细节。
- 低自信（高熵）：AI 说：“这部分好像跟问题没啥关系，我有点懵。” $\rightarrow$ 策略：直接忽略大部分细节，只保留最核心的几个词。
比喻：就像你在复习时，发现某章内容让你豁然开朗（自信度高），你就多花 90% 的时间精读；发现某章全是废话（自信度低），你就只扫一眼标题，甚至直接跳过。

第三步：见好就收（AdaptToken-Lite）

如果 AI 在看了前几个关键段落之后，已经非常有把握能回答问题了，它就直接停止看后面的视频了！

比喻：就像侦探破案，如果在前 10 分钟的视频里已经找到了确凿的凶手证据，就不需要把剩下的 2 小时视频全看完再结案。这能节省一半的时间。

3. 为什么要“去重”？（位置感知）

有时候，连续的几个段落内容其实差不多（比如两个人在说话，背景没变）。如果 AI 把这两个段落都仔细看，就是浪费精力。

策略：AdaptToken 会检查选出来的细节，如果发现两个细节太像了（比如都是同一个杯子），它就删掉一个，保留多样性。
比喻：就像整理笔记，如果连续三页都写着“今天天气不错”，你就只记一次，把空间留给更重要的内容。

4. 效果如何？

论文在四个著名的长视频测试集上进行了验证，效果非常惊人：

更准：在 Qwen2.5-VL 7B 这个模型上，平均准确率提升了 6.7%。这意味着 AI 真的变得更聪明了。
更省：即使是 10,000 帧（极长）的视频，它也能处理，而且不会把电脑内存撑爆。
更快：使用“见好就收”模式（Lite 版），推理时间减少了一半，但准确率几乎没掉。

总结

AdaptToken 就像给 AI 装上了一个**“智能导航仪”**：

它知道哪里是重点（通过 AI 的自信度判断），就把精力集中在那里。
它知道哪里是废话，就直接略过。
它知道什么时候该停，一旦找到答案就立刻交卷。

这让 AI 在面对超长视频时，不再是“死记硬背”或“盲目浏览”，而是学会了**“有的放矢”**，既看得快，又看得准。

1. 研究背景与问题 (Problem)

核心挑战：
多模态大语言模型（MLLMs）在处理长视频理解任务时面临两大瓶颈：

显存与上下文长度限制：长视频（如小时级）会产生海量的视觉 Token，导致显存溢出或超出模型上下文窗口限制。
现有方法的局限性：
- 帧级选择（Frame-level）：虽然能筛选关键帧，但帧内仍包含大量无关背景区域，稀释了有效信号。
- Token 级选择（Token-level）：虽然更细粒度，但通常仅在短片段或单帧内计算 Token 重要性，缺乏全局视角来分配不同视频片段（Clips）之间的 Token 预算。
- 缺乏停止机制：现有方法通常处理所有采样帧，即使模型在早期片段中已经收集到足够证据，仍会进行不必要的计算，导致推理效率低下。

关键痛点： 缺乏一种 principled（有原则的）机制来：(i) 比较远距离视频片段的相关性；(ii) 在证据充分时自动停止处理。

2. 方法论 (Methodology)

作者提出了 AdaptToken，这是一个无需训练（Training-free） 的框架，利用 MLLM 自身的响应熵（Response Entropy） 作为全局控制信号，指导长视频的 Token 选择。

核心流程：

视频分组 (Grouping)：
- 将长视频分割成多个帧组（Frame Groups）。
- 采用“最大间隔”策略（如 $[1, G/2, G/4, \dots]$ ）发送组，以确保多样性。
组级相关性评估：基于响应熵 (Group Relevance via Response Entropy)
- 原理：利用 MLLM 生成答案时的不确定性（熵） 来衡量该组帧对提示词（Prompt）的相关性。
- 假设：如果模型对某组帧的回答置信度高（熵低），说明该组包含足够的提示词相关证据；反之，高熵意味着不确定性，可能缺乏关键信息。
- 计算：计算生成 Token 的概率分布熵 $e_i$ ，取置信度最低的前 10% Token 的平均值作为组级置信度 $C_g$ 。
- 作用：作为全局信号，决定每个组能分配多少 Token 预算。
组内 Token 重要性评分 (Intra-group Token Scoring)
- 利用 MLLM 中间层的跨模态注意力（Cross-modal Attention） 来评估组内每个视觉 Token 的重要性。
- 通过聚合注意力权重，得到每个 Token 的提示词相关性分数 $R_g$ 。
全局感知的 Token 分配 (Entropy-guided Global Token Selection)
- 两阶段策略：
  1. 组级预算分配：根据组的置信度 $C_g$ ，使用 Softmax 将总 Token 预算 $B$ 分配给各个组。高置信度（低熵）的组获得更多 Token 预算。
  2. 组内筛选：在每组内，根据 $R_g$ 分数保留 Top- $B_g$ 个 Token。
位置感知的全局去重 (Location-aware Global Token Removal)
- 问题：相邻组可能包含相似内容，导致冗余 Token 被选中。
- 解决：计算选中 Token 的特征余弦相似度和时间距离相似度，迭代剔除高相似度的冗余 Token，确保最终 Token 集具有多样性和时间覆盖度。
早期停止机制 (AdaptToken-Lite)
- 利用组级置信度 $C_g$ 实现动态停止。
- 策略：当连续多个组（如 3 个）的熵低于阈值（ $C^* = 0.75$ ）时，判定证据已充分，跳过剩余视频组，直接进行 Token 选择和最终推理。
- 效果：大幅减少推理时间，同时保持精度。

3. 主要贡献 (Key Contributions)

提出 AdaptToken 框架：首个将 MLLM 的响应熵转化为全局控制信号的训练无关框架，实现了跨视频片段的全局 Token 重要性评估。
引入早期停止机制：利用熵信号触发 AdaptToken-Lite，在证据充分时自动停止处理，显著加速推理（约减少 50% 时间）。
广泛的实验验证：
- 在 4 个长视频基准（VideoMME, MLVU, LongVideoBench, LVBench）上验证。
- 适配多种 MLLM 架构和规模（7B 到 72B 参数）。
- 证明了在极端长输入（高达 10K 帧）下的可扩展性。

4. 实验结果 (Results)

性能提升 (Accuracy)

基准测试：在四个长视频基准上，AdaptToken consistently 优于基线模型及现有的帧/Token 选择方法（如 FlexSelect, AdaReTAKE 等）。
具体数据：
- 在 Qwen2.5-VL 7B 上，平均提升 +6.7 分。
- 在 InternVL2.5 8B 上，平均提升 +5.6 分。
- 在 Qwen2.5-VL 72B 上，平均提升 +5.7 分，证明了其在大模型上的有效性。
长视频表现：在包含超长视频（>2 小时）的 LVBench 和 MLVU 上提升最为显著。

效率提升 (Efficiency)

AdaptToken-Lite：
- 在保持与完整版 AdaptToken 相当（甚至略优）的精度下，将平均推理时间减少约 50%。
- 例如在 VideoMME 上，时间从 17.8s 降至 8.6s。
显存优化：在 Qwen3-VL 8B 处理 4096 帧时，显存占用从 96GB 降至 41GB。

扩展性 (Scalability)

10K 帧支持：AdaptToken 能够处理高达 10,000 帧的输入，且在大多数基准上随着帧数增加性能继续提升（或保持稳定），而现有方法通常仅报告“大海捞针”（Needle-in-a-Haystack）实验，缺乏端到端任务精度。

消融实验 (Ablation)

组件贡献：组级 Token 选择 > 全局 Token 分配（基于熵） > 全局去重。
熵指标对比：响应熵（Response Entropy）在区分相关/不相关片段上略优于 KL 散度和置信度分数。
对比投票法：AdaptToken 的全局 Token 选择策略优于传统的多数投票或加权投票聚合策略。

5. 意义与影响 (Significance)

范式转变：从“被动压缩”转向“主动感知”。利用模型自身的认知状态（不确定性）来指导输入数据的筛选，而非依赖外部训练好的选择器。
解决长视频痛点：有效平衡了精度与效率，使得 MLLM 能够在有限的显存和上下文限制下，真正理解小时级的长视频。
通用性与即插即用：作为训练无关（Training-free）的方法，可无缝集成到任何现有的 MLLM 中，无需微调，具有极高的实用价值。
为未来奠定基础：证明了在超大规模输入（10K+ 帧）下，通过自适应 Token 选择可以维持甚至提升模型性能，为未来处理超长上下文视频任务提供了新的技术路径。

总结：AdaptToken 通过巧妙利用 MLLM 的“自我怀疑”（熵）来指导“自我聚焦”（Token 选择），不仅解决了长视频处理的资源瓶颈，还通过早期停止机制实现了推理速度的飞跃，是当前长视频理解领域的一项突破性工作。