💻 computer science

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect 是一种无需训练且模态自适应的令牌剪枝框架，它基于跨模态相关性动态选择并应用压缩策略，以在保持性能的同时高效地缩减 OmniLLM 中的多模态令牌序列。

原作者： Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《OmniSelect》论文的通俗解释，辅以生动的类比。

核心难题：“信息过载”的交通拥堵

想象你有一个超级聪明的机器人助手（Omni-LLM），它能同时观看视频和聆听音频。为了理解视频，这个机器人不仅仅看到“一辆车”，而是将视频分解成千上万个微小的数字拼图块，称为token（令牌）。它对声音的处理也是如此。

如果你给机器人输入一段带有声音的长视频，它就会不堪重负。这就像试图在阅读一本 1000 页的书的同时，收听一个 10 小时的播客。机器人会陷入数据的“交通拥堵”中，耗尽所有内存，甚至花费漫长时间来回答一个简单的问题，比如：“那辆卡车是什么颜色的？”

为了解决这个问题，研究人员通常会尝试丢弃一些拼图块（token）以加快处理速度。但这里有个陷阱：大多数现有方法就像笨手笨脚的清洁工。 它们随机丢弃拼图块，或者使用“一刀切”的规则。它们可能会因为某个车祸镜头恰好伴随着无聊的声音，就丢弃了车祸这一最重要的画面帧；或者仅仅因为背景音乐很大声，就保留了一个寂静且空无一物的房间画面。

解决方案：OmniSelect（智能编辑）

作者提出了一种名为OmniSelect的新方法。将 OmniSelect 想象成一位聪明且自适应的电影剪辑师，它在开始剪辑之前，就已经确切知道观众想要什么。

OmniSelect 是“免训练”的，这意味着它不需要回校学习如何执行此任务；它利用一套巧妙的规则，实时判断该保留什么、该剪掉什么。

工作原理：三步流程

1. “相关性检查”（谁是主角？）

在剪掉任何内容之前，OmniSelect 会问一个简单的问题：“针对这个具体问题，答案隐藏在视频中还是音频中？”

它使用一个轻量级工具（称为 AudioCLIP）来扫描问题和视频/音频。

场景 A：你问：“天气怎么样？”工具发现视频是主角。OmniSelect 决定以视频为中心。它保留视觉帧，剪掉音频。
场景 B：你问：“正在播放什么歌？”工具发现音频是主角。OmniSelect 转变为以音频为中心。它保留声音，剪掉视频。
场景 C：你问：“描述整个场景。”两者都很重要。OmniSelect 选择均匀剪枝，同等程度地剪掉两者。

类比：想象你在为旅行打包行李箱。如果你去海滩，你会打包泳衣和太阳镜（以视频为中心）。如果你去音乐会，你会打包门票和耳塞（以音频为中心）。OmniSelect 在你开始打包前就确定了目的地，这样你就不会把空间浪费在错误的物品上。

2. “动态预算”（分配空间）

一旦它知道哪个“主角”（视频或音频）更重要，它就不会随机剪除。它会创建一个动态预算。

如果视频是主角，它会说：“好吧，预算很紧。我们将保留 90% 的视频帧，但只保留 30% 的音频。”如果音频是主角，它会反过来操作。它确保视频或音频中信息量最大的部分在机器人的内存中获得最多的“空间”。

3. “细粒度剪除”（Bottom-K 策略）

在每一个时间片段（例如 5 秒的剪辑）内，OmniSelect 必须决定丢弃哪些具体的拼图块。

旧方法（Top-K）：某些方法保留“最响亮”或“最活跃”的块。这就像在照片中保留色彩最鲜艳的像素，即使它们只是噪点。
OmniSelect 方法（Bottom-K）：这是该论文的巧妙转折。它不保留“最响亮”的块，而是保留彼此相似度最低的块。
- 类比：想象一个房间里挤满了人，大家都在说话。如果每个人都在说完全相同的话，你只需要听一个人说话。OmniSelect 识别出“回声”（冗余 token）并将其静音，只保留那些能带来新信息的独特声音。这确保了机器人看到的是整体画面，而不仅仅是其中最响亮的部分。

结果：快速、精简且智能

该论文在两种不同规模的机器人（30 亿和 70 亿参数）上，使用真实的视频和音频基准测试了这种方法。

速度：OmniSelect 使机器人的速度提高了1.19 倍到 1.33 倍。这就像从自行车升级到了踏板车。
内存：它节省了约2.6GB 到 2.8GB的内存。这就像清理了整个储藏室的杂物，让机器人能容纳更多重要的东西。
准确率：尽管丢弃了 70% 的数据，与阅读完整视频相比，机器人仍能答对**94% 到 99%**的问题。在某些情况下，通过去除“噪音”（冗余数据），机器人回答问题的表现甚至比拥有全部数据时更好。

总结

OmniSelect 是一个智能系统，它不再将所有的视频和音频数据一视同仁。相反，它像一名侦探：

它判断答案是在眼睛（视频）里还是在耳朵（音频）里。
它据此分配内存预算。
它无情地剪掉无聊、重复的部分，同时保留独特、重要的细节。

其结果是一个超高效的 AI，能够在不被拖慢的情况下理解长视频和复杂声音，而且完全不需要重新训练。

技术摘要：OmniSelect

问题陈述

全模态大语言模型（OmniLLMs）应运而生，旨在统一的自回归架构中实现对音频、视频和文本的理解。然而，处理高保真视频和音频流会产生过量的 token，导致注意力机制呈现二次方复杂度，并在推理过程中造成显著的计算和内存瓶颈。

尽管 token 压缩已在单模态任务（图像、视频、音频）中得到探索，但现有的 OmniLLM 解决方案依赖于固定的、特定模态的引导。例如，OmniZip 等方法使用音频锚点来引导视频剪枝，而其他方法则仅依赖视觉线索。作者认为，这些“一刀切”的策略是不充分的，因为视觉和听觉信息的相对重要性在不同查询间差异显著。正如论文中所示，有些问题严重依赖视觉，有些依赖音频，而有些则需要平衡整合。使用不恰当的模态来引导压缩可能导致关键信息的丢失和模型响应的错误。

方法：OmniSelect

为了克服这些局限性，作者提出了OmniSelect，这是一个无需训练、模态自适应的 token 剪枝框架。该方法根据具体查询动态选择多模态输入的合适压缩策略，避免了固定的引导机制。该框架通过两阶段策略运行：

1. 模态感知动态比率分配

第一阶段确定全局剪枝策略并为每个时间组分配剪枝比率。

相关性估计：系统采用轻量级AudioCLIP模型来估计跨模态相关性。它计算文本查询与视觉及音频嵌入之间的相似度分数。为了降低计算成本，视频帧在时间维度上进行下采样，文本则经过过滤，仅保留名词和形容词。
策略分类：基于平均相似度分数（视频为 $\bar{s}^{(v)}$ $\overset{s}{ˉ}^{(v)}$ ，音频为 $\bar{s}^{(a)}$ $\overset{s}{ˉ}^{(a)}$ ）和阈值 $\theta$ $θ$ ，系统将输入归类为三种剪枝模式之一：
- 均匀剪枝：如果 $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$ ，则视两种模态同等重要。
- 以视频为中心剪枝：如果 $\bar{s}^{(v)} > \bar{s}^{(a)}$ ，该策略优先处理视频 token。
- 以音频为中心剪枝：如果 $\bar{s}^{(a)} > \bar{s}^{(v)}$ ，该策略优先处理音频 token。
自适应分配：在选定的模式内，系统动态地为每个时间组分配剪枝比率（ $\rho$ ）。它使用基于相似度分数与均值偏差的 Sigmoid 映射，确保与查询相关性更高的组保留更多 token，同时满足全局剪枝预算。

2. 时间组剪枝流水线 (TGP2)

一旦确定了策略和比率，系统便在每个时间组内执行细粒度的 token 剪枝：

音频剪枝：基于音频编码器最后一层导出的注意力矩阵，使用Top-K选择来选取显著的音频 token。
视频剪枝：基于视觉嵌入的余弦相似度矩阵，使用Bottom-K选择来选取显著的视频 token。作者选择 Bottom-K（选择与其他 token 相似度最低的 token）而非基于注意力的方法，以避免注意力汇聚（attention sink）偏差并减少计算开销，他们认为这能有效去除冗余的、高度相关的内容，同时保留独特的视觉线索。

主要贡献

论文概述了三项主要贡献：

固定引导局限性的分析：作者证明，依赖静态特定模态引导的现有方法未能考虑到模态在不同查询间的重要性变化，导致压缩效果次优。
OmniSelect 框架：他们提出了一种无需训练、模态自适应的框架，能够在均匀、以视频为中心和以音频为中心的剪枝策略之间动态选择。此外，它还在时间组内执行细粒度的 token 剪枝，自适应地分配比率以保留信息丰富的 token。
实证验证：在视听基准测试上的广泛实验表明，OmniSelect 在保持高性能的同时加速了推理并降低了 GPU 内存开销，在无需训练的 token 压缩方法中取得了具有竞争力的结果。

实验结果

作者在Qwen2.5-Omni模型（3B 和 7B 参数）上评估了 OmniSelect，涵盖了四个基准测试：WorldSense、DailyOmni、VideoMME和OmniVideoBench。

性能保持：OmniSelect 保留了**94% 至 99%**的原始全 token 准确率。在若干实例中（例如 OmniVideoBench 和 VideoMME 的特定设置），该方法甚至超越了全 token 推理的性能，这表明去除冗余 token 可以提高预测质量。
效率提升：
- 推理加速：实现了1.19 倍至 1.33 倍的加速。
- 内存减少：GPU 内存消耗降低了2.58GB 至 2.77GB。
- 预填充时间：在 70% token 压缩下，预填充时间减少了3.53 倍至 3.62 倍。
对比：OmniSelect 在各种帧预算和压缩比率下，始终优于OmniZip（音频引导）和DyCoke（时间合并）等基线方法。这种优势在长视频场景和 3B 模型上尤为明显，后者展现了更优的效率与性能权衡。
消融研究：实验证实，动态选择剪枝策略（在“以视频为中心”、“以音频为中心”和“均匀”之间切换）优于依赖任何单一的固定策略。

意义与主张

论文将 OmniSelect 定位为 OmniLLM 优化的必要演进。作者声称，其工作的主要意义在于从静态的、特定模态的引导转向动态的、查询感知的策略选择。通过显式建模模态偏好并使模型能够根据查询的具体语义需求调整其压缩策略，OmniSelect 有效地避免了均匀压缩的陷阱。

作者强调，他们的方法是无需训练的，使其能够立即应用于现有的 OmniLLM，而无需重新训练或微调。他们得出结论，虽然他们当前基于阈值的选择机制是有效的，但最优策略通常存在于他们提出的分类体系中，主要局限性在于策略选择的精度，而非剪枝本身的表示能力。未来的工作建议探索更鲁棒的模型以进行模态重要性估计。