TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

想象一下，一台计算机正试图理解一张照片。为了实现这一目标，机器将图像分解成数千个微小的碎片，将每一块都视为一个独立的信息单元。随着这些模型的日益复杂，它们已经学会了以惊人的细节来处理这些碎片，但这也付出了沉重的代价。图像越详细，计算机为了理解它们就必须在短期记忆中保留越多的碎片。这造成了一个瓶颈：计算机会耗尽空间或需要过长的时间去思考，尤其是在处理高分辨率图像或对话需要长篇详细回答时。多年来，研究人员一直试图通过教计算机忽略那些不太重要的碎片来解决这个问题，希望保留聪明的碎片并丢弃其余部分。

然而，一项新的研究表明，科学家们测试这些“忽略”策略的方式从根本上说是存在缺陷的。长期以来，该领域依赖于一种测试方式，即计算机只需要给出一个单词的答案，比如从多项选择列表中选出一个字母，或者说“是”或“否”。这项名为 TwinPrune 的新研究背后的研究人员发现，这些简单的测试只能衡量计算机在处理过程的最开始阶段对图像的理解程度。它们无法捕捉到当计算机必须持续说话、利用其记忆生成长句时会发生什么。事实上，研究表明，一种方法在这些简单测试中可能表现完美，但在被要求编写更长的描述时却会完全失败，因为简单的测试从未真正检查过记忆部分的流程。

为了解决这个问题，团队开发了一种新的方法来决定图像中的哪些碎片值得保留。他们不再关注一个图像碎片相对于特定问题有多突出，而是观察一个碎片与其相邻碎片相比有多么独特。如果图像的一个区块看起来与其周围的区块非常相似，那么它很可能是冗余的，可以被安全地移除。如果它看起来不同，则可能包含重要的信息。这种“密度”得分在开始时计算一次，然后用于两项不同的工作。首先，它帮助计算机在开始思考之前合并相似的图像碎片，从而节省计算能力。其次，它帮助计算机决定在编写长答案时丢弃哪些信息碎片，从而确保保留最独特且最有用的细节。

研究人员在几种不同类型的视觉-语言模型上测试了这种方法，涵盖了从小型系统到拥有数十亿参数的庞大系统。他们使用旧的、简单的测试和新的、更具挑战性的（需要长答案的）测试，将他们的方法与现有的最强技术进行了对比。在简单测试中，他们的方法表现得与最优秀的竞争对手一样好。但在需要生成完整句子的更具挑战性的测试中，差异非常显著。当其他方法要求计算机保持简洁时，它们的准确率会大幅下降；而新方法即使在仅保留原始图像数据极小比例的情况下，仍能保持高准确率。例如，在涉及图像中文字的一个特定基准测试中，当内存受到严重限制时，新方法比排名第二的技术高出了近十个百分点。

或许最重要的一点是，这项研究揭示了旧的测试方式一直在掩盖一个重大问题。当研究人员在写作阶段移除计算机所有的视觉记忆时，简单测试显示性能几乎没有变化，而长答案测试则显示质量大幅下降。这证明了简单测试对于现实世界应用中最重要的事情——即在长对话中记忆和检索信息的能力——是视而不见的。新方法通过使用一个统一且一致的规则来管理初始思考和长期记忆，成功地将计算机的初始处理速度提高了三倍以上，同时也显著缩小了内存占用。

研究结果表明，该领域一直在针对错误的指标进行优化。通过将重点转向需要完整、长篇回答的测试，研究人员展示了在不牺牲理解复杂场景能力的前提下，使这些强大的计算机变得更快、更高效是完全可能的。这种方法在不同规模的模型（从小型设备到最大的超级计算机）上均表现一致，并且不需要对计算机进行重新训练。它为在日常设备上部署这些先进系统提供了一条切实可行的路径，确保它们能够处理高分辨率图像和长对话，而不会因动力不足而停滞。