OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance
OmniDrop 是一种无需训练、逐层进行的 token 剪枝框架，专为全模态大语言模型设计，它利用文本查询和时序多样性得分，在解码器层中逐步移除冗余的音视频 token，在显著降低延迟和内存占用的同时，在性能上超越了现有基线方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一个超级智能的机器人助手（一个“全能大语言模型”），它能同时观看视频和聆听音频。你向它提问，比如“背景里是谁在唱歌？”或者“那辆车是什么颜色的？”
问题在于，高质量的视频和音频就像数据洪峰。仅仅一分钟的视频，机器人就需要处理超过 10,000 个微小的信息单元（称为"token"）。试图一次性思考所有内容，就像试图用消防水龙喝水——速度慢、耗能巨大，且会让机器人变得迟钝。
为了解决这个问题，科学家们通常尝试在机器人开始思考之前，就丢弃视频和音频中“无聊”的部分。他们假设，如果声音和画面同时发生，它们必然是相关的。
本文的核心思想："OmniDrop"
本文的作者表示：“等一下，这个假设是错误的。”声音和画面同时发生，并不意味着它们对你提出的具体问题很重要。
他们没有立即丢弃内容，而是构建了一个名为OmniDrop的新系统。以下是其工作原理，借助一些简单的类比：
1. “慢启动”策略（分层剪枝）
想象机器人的大脑是一座多层建筑。
- 旧方法： 你站在前门（输入端），立即根据谁和谁长得像，踢出 50% 的人（数据）。这很冒险，因为你可能会踢掉那个真正知道答案的人。
- OmniDrop 方法： 你让所有人进入大楼。在前几层（浅层），大家互相交流、交谈。这让音频和视频能够混合在一起，共同理解场景。
- 转折： 当群体移动到更高的楼层（深层）时，机器人开始意识到：“哦，我只需要和这些特定的人交谈来回答问题。”于是，它开始温和地，随后是激进地，请不重要的人离开。这确保了机器人在知道自己在寻找什么之前，不会丢失“大局”。
2. “问题即手电筒”（查询引导）
机器人如何知道该保留谁？
- 旧方法： 它查看音频和视频，试图猜测哪些彼此匹配。
- OmniDrop 方法： 它根据你的文本问题照亮手电筒。
- 如果你问“那是什么声音？”，手电筒会高亮音频 token，并调暗视频 token。
- 如果你问“衬衫是什么颜色的？”，手电筒会高亮视频 token。
- 机器人保留被“手电筒”照亮的 token，并丢弃处于黑暗中的那些。这使得剪枝变得智能，并针对你的具体任务。
3. “不要跳过中间”规则（时间多样性）
存在一种危险：如果机器人只保留手电筒照到的 token，它可能会忘记其他所有内容，从而在故事中造成“断层”。
- 解决方法： OmniDrop 添加了一条名为时间多样性的规则。即使某个时刻不是最重要的，如果它在时间上远离主要事件，机器人也会给它一点“额外分数”以保留下来。
- 类比： 想象你在读一本书。如果你只保留主角说话的句子，你就会错过背景设定。OmniDrop 说：“保留主角的台词，但也保留中间安静部分的几句话，这样故事才不会显得断裂。”
结果
作者在 Qwen2.5-Omni（一个流行的模型）上使用了各种视频和音频测试来验证此方法。
- 速度： 它使机器人的思考速度提高了 40%（等待时间减少）。
- 内存： 它使用了少 14.7% 的内存。
- 智能： 令人惊讶的是，通过更聪明地决定丢弃什么，机器人实际上在回答问题方面变得更出色（在测试中得分高出高达 3.58 分），优于其他仅仅随机丢弃数据块的方法。
总结：
OmniDrop 就像一位聪明的电影编辑。它不是在你观看之前就把电影剪掉一半，而是让你观看完整内容，找出哪些场景对你的具体问题至关重要，然后在你观看的同时剪掉其余部分，确保你能快速得到答案，而不会丢失剧情。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。