Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models

本文提出了轻量级查询感知令牌选择器 QTSplus，通过动态筛选与文本查询最相关的视觉令牌并保留时间信息，在显著降低长视频多模态大模型计算开销的同时，实现了高精度的长视频理解与细粒度定位。

要点

这篇论文介绍了一个名为 QTSplus 的新工具，它的核心任务是帮助人工智能（AI）更高效地“看懂”很长的视频。

我们可以把这项技术想象成一位超级聪明的“视频剪辑师”兼“图书管理员”。

1. 现在的痛点：AI 看视频太“累”了

想象一下，如果你让 AI 看一部 2 小时的电影，现在的 AI 就像是一个强迫症观众。

• 传统做法：AI 会把电影里的每一帧画面（比如每秒 30 帧，2 小时就是 21 万多帧）都当成“重要信息”存进脑子里。
• 后果：这就像让你把整部电影的每一秒都背下来，然后还要回答“主角在第几分钟喝了咖啡？”这种细节问题。这不仅内存爆炸（记不住），而且速度极慢（反应迟钝），甚至因为信息太多，AI 反而找不到重点，就像“只见树木，不见森林”。

2. QTSplus 的解决方案：聪明的“按需剪辑”

QTSplus 就像是一个懂你的“智能剪辑师”。它不再把整部电影塞给 AI，而是根据你问的问题，只把最相关的片段挑出来。

核心机制：三步走策略

第一步：听问题，定策略（Query-Aware）

• 场景：
  • 如果你问：“电影里那个穿红衣服的人最后去哪了？”（这是一个具体的问题）。
  • 如果你问：“请总结一下这部电影讲了什么？”（这是一个宏观的问题）。
• QTSplus 的做法：它会先“听”懂你的问题。
  • 如果是具体问题，它会像侦探一样，只挑选那几秒钟里穿红衣服的画面，其他无关画面直接忽略。
  • 如果是总结问题，它会挑选几个关键的高潮片段，保留大概的脉络。
  • 比喻：就像你去图书馆查资料，如果是查“某本书的第 50 页”，图书管理员只给你那页纸；如果是查“这本书讲了什么”，管理员会给你整本书的目录和精彩章节摘要，而不是把整本书的每一个字都复印给你。

第二步：动态决定“留多少”（Adaptive Budget）

• 以前的方法不管问什么，都固定只留 10% 的画面（比如固定留 100 张图）。这很死板。
• QTSplus 会动态计算：
  • 如果问题很简单（比如“有猫吗？”），它可能只留 5% 的画面。
  • 如果问题很复杂（比如“分析主角的心理变化”），它会自动增加保留的画面比例，比如留 20%。
  • 比喻：这就像点菜。如果你只是想吃个快餐（简单问题），厨师只给你做一道菜；如果你要办宴会（复杂问题），厨师会准备一桌大餐。它不会在吃快餐时浪费资源，也不会办宴会时让你饿肚子。

第三步：重新整理时间线（Re-encoding）

• 挑出来的画面可能时间跨度很大（比如第 1 分钟和第 50 分钟的画面）。如果直接给 AI 看，AI 可能会搞混时间顺序。
• QTSplus 会给这些选出来的画面重新打上“时间标签”，并简单整理一下，确保 AI 知道“先发生了什么，后发生了什么”。
• 比喻：就像把散落在不同抽屉里的照片，按照时间顺序重新贴好标签，放进一个相册里，让 AI 能顺畅地看故事。

3. 效果如何？（省了多少？）

• 压缩率：QTSplus 能把视频的信息量压缩掉 89%！也就是说，原本需要看 100 张图才能回答的问题，现在只需要看 11 张最关键的图。
• 速度：因为处理的数据少了，AI 回答问题的速度快了 28%。
• 准确度：最神奇的是，虽然看的东西少了，但回答的准确度并没有下降，甚至在某些需要精准定位时间的问题上（比如“红灯什么时候变绿”），表现比原来的 AI 还要好！

4. 总结

QTSplus 就像给 AI 装上了一副**“智能眼镜”**。

• 以前，AI 看视频是“走马观花”或者“死记硬背”，又累又慢。
• 现在，有了 QTSplus，AI 变成了**“有的放矢”**。它能根据你问的问题，瞬间在几小时的视频里找到那几秒钟的关键画面，只关注重点，忽略噪音。

这项技术让 AI 处理长视频（比如几小时的监控录像、长篇纪录片）变得既快又准，而且不需要超级昂贵的电脑硬件，普通的显卡也能跑得动。这对于未来的智能监控、视频搜索和辅助医疗等领域来说，是一个巨大的进步。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
尽管多模态大语言模型（MLLMs）在视频理解方面取得了进展，但长视频理解仍然是一个巨大的挑战。

• 计算爆炸： 现有的 MLLM 通常将视频帧编码为视觉 Token。视频长度越长，视觉 Token 的数量呈线性增长。这导致下游 LLM 的自注意力机制（Self-Attention）计算成本、显存占用（KV Cache）和推理延迟呈二次方或线性爆炸式增长。
• 静态压缩的局限性： 现有的 Token 剪枝或合并方法（如 ToMe, Qwen2.5-VL 的简单 MLP 合并）通常采用静态压缩率（固定保留比例或固定数量）。
  • 问题： 长视频中的不同查询（Query）对信息的需求不同。例如，“红灯何时变绿？”只需要关注局部时刻，而“总结主要事件”则需要全局覆盖。静态压缩要么在无关帧上浪费 Token，要么在关键帧上丢失上下文，导致模型性能下降。
• 长视频处理的不可行性： 对于数小时的视频（如 YouTube 内容），直接输入原始视频会导致 Token 数量超过模型处理上限（如 Qwen2.5-VL 处理 450 帧 480p 视频时，Token 数可达 13 万+，超出 131k 限制）。

2. 方法论 (Methodology)

作者提出了 QTSplus (Query-aware Token Selector)，这是一个轻量级但强大的视觉 Token 选择模块，位于视觉编码器和 LLM 之间，充当“信息门控”。

核心组件与流程：

1. 交叉注意力评分 (Cross-Attention Scoring):

   • 利用文本查询（Text Query）和视觉 Token 之间的交叉注意力机制。
   • 计算每个视觉 Token 相对于查询中所有词的最大注意力权重，得到每个 Token 的相关性分数 ($r_i$)。
   • 分数高的 Token 代表对当前问题重要的视觉证据。

2. 自适应预算预测 (Adaptive Budget Prediction):

   • 不同于固定保留 $N$ 个 Token，QTSplus 根据查询复杂度和视频统计信息动态预测一个保留比例 ($\rho \in [0, 1]$)。
   • 预算头 (Budget Head, $B_\psi$) 是一个小型 MLP，输入包括：
     • $s_q$: 查询的平均嵌入（衡量语义难度，如“总结”比“查找”需要更多 Token）。
     • $\log M$: 可用视觉 Token 数量的对数（确保长视频保留更多绝对数量的 Token）。
     • $\max r_i$: 峰值相关性（如果相关性非常集中，说明答案在局部，可减少预算）。
     • $H(p)$: 归一化相关性的熵（衡量证据的分散程度；熵高意味着证据分散，需要增加预算）。
   • 输出预测的保留比例 $\rho$，进而确定保留的 Token 数量 $n = \lceil \rho M \rceil$。

3. Top-n 门控机制 (Top-n Gate):

   • 训练阶段： 使用可微分的 Gumbel-Softmax 直推估计器（Straight-through Estimator）。通过牛顿迭代法寻找阈值 $t$，使得保留的 Token 期望数量等于目标预算 $\rho M$。
   • 推理阶段： 使用硬门控（Hard Gate），直接选取相关性分数最高的 Top-$n$ 个 Token。
   • 排序保持： 选中的 Token 保持原始的时间顺序。

4. 轻量级重编码 (Lightweight Re-encoding):

   • 为了弥补 Token 剪枝后可能丢失的时间结构信息，保留的 Token 会经过一个轻量级的自注意力重编码块（包含 RMSNorm, MHA, FFN）。
   • 该模块注入绝对时间信息，帮助 LLM 在压缩后的序列中保持时间一致性，支持秒级定位。

5. 训练策略 (Teacher Distillation):

   • 教师模型： 完整的 Qwen2.5-VL（处理全量 Token）。
   • 学生模型： 带有 QTSplus 的模型。
   • 数据构建： 通过大模型（Qwen3-235B）生成视觉单选问题（VSCQ）和自由问答（VQA），并利用教师模型筛选高质量数据。
   • 损失函数： 结合分类损失（VSCQ）、序列生成损失（VQA）以及计算感知惩罚项（鼓励模型在满足精度的前提下最小化 Token 数量，减少 KV Cache 和注意力计算量）。

3. 主要贡献 (Key Contributions)

1. 提出了 QTSplus 模块： 首个针对长视频 MLLM 的查询感知（Query-Aware） Token 选择器。它不是静态压缩，而是根据具体问题动态筛选最相关的视觉证据。
2. 动态预算机制： 引入了基于查询语义和视频统计特征的自适应预算预测，解决了固定预算在长视频场景下“要么浪费、要么不足”的痛点。
3. 时间一致性保持： 通过轻量级重编码模块，在大幅压缩 Token 的同时，利用绝对时间信息恢复了时间结构，使得模型能够处理需要时间推理的任务（如事件顺序、方向判断）。
4. 构建数据集与评估框架： 构建了包含 85 万 + 问题的长视频问答数据集（QTS-VSCQ2, QTS-VQA），并基于 lmms-eval 框架进行了全面评估。

4. 实验结果 (Results)

实验基于 Qwen2.5-VL 架构，在多个长视频基准测试中进行了验证。

• 效率提升显著：

  • Token 压缩率： 在长视频上，视觉 Token 数量减少了高达 89%（从约 18 万降至 2 万）。
  • 延迟降低： 端到端推理延迟降低了 28%（例如从 83 秒降至 60 秒）。
  • 显存节省： 显著降低了 KV Cache 的大小。

• 性能表现：

  • 整体精度： 在大多数基准测试（Video-MME, LVBench, MLVU）中，QTSplus 模型与原始 Qwen 模型达到了**近乎持平（Near-parity）**的精度。
  • 特定任务提升：
    • 在 TempCompass 数据集上，方向（Direction） 准确率提升了 +20.5 分，顺序（Order） 准确率提升了 +5.6 分。这证明了重编码模块在时间推理上的有效性。
    • 在 Video-MMMU 的适应（Adaptation）任务上提升了 +2.0 分。
  • 微调变体 (QTSplus-3B-FT)： 对 LLM 进行全量微调后，在 Video-MMMU 适应任务上进一步提升了 +4.7 分，在细粒度动作识别上提升了 +4.0 分。

• 泛化能力：

  • 将 QTSplus 应用于 LLaVA-Video-7B 和 InternVL2.5-8B，在保持 99% 原始性能的同时实现了 Token 压缩，证明了该方法的模型无关性（Model-agnostic）。

• 消融实验：

  • 对比了“均匀采样”（UNIF）和“无重编码”（nREENC）版本。结果显示，查询感知选择优于均匀采样，而重编码模块对于需要严格时间对齐的任务（如角色顺序、反事实推理）至关重要。

5. 意义与总结 (Significance)

• 解决长视频瓶颈： QTSplus 提供了一种切实可行的方案，使得现有的 MLLM 能够在消费级 GPU 上处理数小时的长视频，而无需牺牲关键的任务相关证据。
• 从“森林”到“树木”： 论文标题寓意深刻。传统方法要么只看“森林”（全局平均，丢失细节），要么只看“树木”（全量输入，计算不可行）。QTSplus 能够根据查询（Query）智能地决定何时看“森林”（全局覆盖），何时看“树木”（局部细节），实现了效率与精度的最佳平衡。
• 未来方向： 为流式推理、多查询交互以及多摄像头输入的视频理解奠定了技术基础。

总结： QTSplus 通过引入查询感知的动态 Token 选择和自适应预算机制，成功解决了长视频 MLLM 中的计算瓶颈问题，在大幅降低计算成本和延迟的同时，保持甚至提升了模型在时间敏感任务上的表现，是长视频理解领域的一项重要进展。