Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models
本文提出了趋势感知剪枝（Trend-aware Pruning），一种针对多模态大语言模型的免训练框架，该框架通过对跨层标记重要性的动态演变进行建模，以防止关键视觉线索的过早丢失，从而提高效率，在实现超过 77.8% 的标记减少的同时保持了具有竞争力的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过向一个超级聪明的机器人展示图片并向它提问，来教它理解世界。这个领域被称为多模态大语言模型（MLLM）。把这些模型想象成出色的侦探，它们能同时阅读文本并观察图像。为了“看见”一张图片，机器人会将图像分解成数千个微小的拼图碎片，称为“标记”（tokens）。每个标记都是图片的一个小片段，比如一小块蓝天或汽车的一个轮子。问题在于，当你给机器人展示一张高分辨率照片时，它会被过多的碎片所淹没。它试图关注每一个碎片，这使得机器人运行缓慢、成本高昂，有时甚至会被这些噪音搞得晕头转向。
为了解决这个问题，科学家们尝试了一个简单的技巧：在开始阶段就直接扔掉那些看起来不重要的碎片。这就像是一个俱乐部的保安，看着人群并立即踢走任何没穿特定颜色衣服的人。但问题在于：有时候，房间里最有趣的人起初可能穿着一件无聊的衣服，但几分钟后就开始翩翩起舞，成为派对的灵魂。如果保安过早地把他们赶走，派对就被毁了。这篇论文提出了一个重大问题：仅仅根据瞬间的一瞥就做出关于保留什么的最终决定是否安全，还是我们需要观察事物随时间变化的过程？
这项研究背后的研究人员——马杰（Jie Ma）及其团队表示，旧有的“保安”方法过于僵化。他们提出了一种被称为**趋势感知剪枝（Trend-aware Pruning）**的新思维方式。这种方法不再仅仅观察哪些标记在当下是重要的快照，而是像一个耐心的观察者一样，通过观察这些标记随时间的变化来了解它们的“倾向性”。他们意识到，有些标记就像是晚开的花朵；在机器人大脑的早期层级中，它们可能看起来安静且不重要，但随着机器人对图像进行更深层的处理，这些标记会突然变得至关重要，从而对理解场景起到关键作用。
该团队构建了一个追踪这些标记“动量”的系统。想象一条河流，有些岩石只是静静地躺在那里，而另一些则在慢慢向水流中心漂移。旧的方法会忽略这些漂移的岩石，因为它们还没有到达中心。而新方法则注意到了这种漂移。它会密切关注那些显示出“上升趋势”的标记——这意味着即使它们的优先级目前还不是最高的，其重要性正在上升。如果一个标记随着机器人挖掘得更深而变得越来越有趣，系统就会将其“营救”出来，在为时不及之前将其重新带回对话中。他们还会观察那些处于“波动”状态（起伏不定）或“下降趋势”（逐渐消退）的标记，并对每一类标记采取不同的处理方式，而不是将它们一概扔掉。
当他们在 LLaVA 和 Qwen 等流行的机器人大脑上测试这个想法时，结果令人印象深刻。这种新方法不仅节省了时间，实际上还提升了机器人的表现。在实验中，他们能够将视觉标记的数量减少超过 77.8%，使最后一层仅需处理约 23 个标记。尽管丢弃了这么多数据，但在将标记减半时，机器人仍保持了原性能的 98.89%；甚至在减少近 78% 的标记时，依然维持了高达 96.03% 的强劲性能。这意义重大，因为其他在开始阶段只挑选“前几名”标记的方法，在进行如此激进的剪枝时往往会丢失重要的细节。
作者认为，这种方法之所以奏效，是因为它尊重了这样一个事实：理解一张图像是一个旅程，而非单一的瞬间。通过允许机器人改变主意并“重新激活”最初被忽视的标记，他们防止了关键线索的丢失。他们发现，这种动态方法特别擅长处理像图像文字识别（OCR）或捕捉微小细节等棘手任务，而静态方法在这些任务中往往会失败。虽然他们承认该系统依赖于一个固定的观察窗口，并且可以通过处理更长的序列来进行改进，但他们的工作表明，观察注意力的“趋势”是让这些智能机器人变得更快、更敏锐的一种强大方式，且无需从头开始重新训练。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。