想象一下，你正试图教一个超级聪明的机器人如何观看电影并回答问题。这个被称为多模态大语言模型（简称 MLLM）的机器人拥有理解图像和文字的非凡天赋。然而，有一个难点：电影很长，而机器人的“短期记忆”有限。如果你让机器人逐帧观看一整部两小时的电影，它会感到不堪重负，忘记重要的部分，并浪费大量的能量去处理像平移拍摄静态墙壁这样枯燥、重复的场景。为了解决这个问题，科学家们一直试图教会机器人成为一名更好的剪辑师，只挑选最重要的时刻进行观看。但旧的剪辑方式就像是使用僵化的、预先写好的剧本：它依赖外部工具来猜测什么是有趣的，这往往会错过机器人实际解决谜题所需的微妙线索。

这正是名为 EviSelect 的新方法发挥作用的地方。不要把 EviSelect 看作是一个僵化的剪辑师，而要把它看作是一个懂得通过阅读机器人自己的内心来工作的机敏侦探。它不是询问外部专家该看什么，而是窥视机器人的内部“注意力图”（attention maps）——本质上，这是一张显示机器人的大脑自然聚焦于视频哪些部分的“热力图”。通过使用一种被称为“稀疏预填充”（sparse prefilling）的巧妙技巧（这就像是给整个电影拍一张快速、低分辨率的快照以获取整体感觉），EviSelect 能够精准地判断出哪里有动作发生、动作有多快以及需要多少细节。随后，它教会一个轻量级的“选择器”（selector）为视频中的每个时刻做出三个明智的决策：我们应该保留这个场景吗？这里应该展示多少帧？以及画面的清晰度应该是多少？

实验结果如同魔法般高效。在三项长视频挑战测试中，EviSelect 在回答问题方面表现得与现有方法一样出色，甚至更优，但它仅使用了大约 50% 的视觉标记（visual tokens，即视频的数字构建模块）。这种大规模的数据缩减不仅节省了内存，还使整个过程提速了 3.9 倍。论文指出，通过让机器人自身的内部证据来引导选择，而不是依赖僵化的规则或外部猜测者，我们可以构建出既极其聪明又异常高效的视频理解系统。

问题所在：“信息过载”的瓶颈

长视频对目前的 AI 来说是一场噩梦。如果你要求一个机器人观看一段 30 分钟的视频并回答问题，它会面临两难境地。它无法记住所有内容，因此尝试挑选出“关键帧”（keyframes）——即最重要的时刻。但挑选这些帧的旧方法是有缺陷的。它们就像是一个只知道根据音乐有多响或色彩有多亮来剪辑场景的电影剪辑师，却忽略了实际的故事。这些方法使用外部工具（例如一个单独的评分相似度的 AI）来决定保留什么。问题在于？那个外部工具并不了解主机器人正在思考什么。它可能会突出一个闪亮的爆炸场面，而机器人实际上可能需要看到一段安静的对话来解开谜题。

此外，这些旧方法是“僵化”的。它们对待每段视频的方式都一样，选取固定数量的帧和固定的尺寸。这就像是通过观察书中的每一个字母（甚至是单词之间的空格）来阅读一本书，而不论句子是简单还是复杂。这在无聊的部分浪费了能量，却在精彩的部分错失了细节。

解决方案：读取机器人的思想

该论文的作者 Bo Zhang 及其团队提出了一个名为 EviSelect 的新框架。与其猜测机器人需要什么，EviSelect 直接询问机器人。

以下是其工作步骤：

1. “稀疏预填充”技巧： 在机器人观看完整视频之前，EviSelect 会给它一个微小的、压缩后的电影版本。这就像是给机器人看一系列快速、模糊的缩略图。这种方式成本极低且速度极快。
2. “注意力”线索： 尽管视频是模糊且简短的，机器人的大脑仍然会在特定区域“亮起”。EviSelect 捕捉这些“注意力图”，并将其分解为三种类型的线索：
   • 相关性（Relevance）： 这个瞬间是否与问题匹配？
   • 时间（Time）： 这个瞬间如何与前后的瞬间相连？
   • 空间（Space）： 这里需要很多细节吗，还是仅仅是一个简单的背景？
3. 智能选择器： 一个小型、轻量级的 AI（即“选择器”）会观察这些线索，并为视频中的每个时间戳做出三个动态决策：
   • 保留或丢弃： 我们是否应该观看这一秒？
   • 采样率： 如果我们要观看，是每秒需要 1 帧、4 帧还是 8 帧？（快速动作需要更多帧；缓慢场景则需要更少）。
   • 分辨率： 我们需要 4K 图像，还是只需要一个低分辨率的草图？（清晰的面部需要高分辨率；黑暗的走廊可能不需要）。

训练过程：通过“组内比较”学习

你如何教会一个机器人做出这种瞬时的剪辑决策？作者使用了 GRPO（组相对策略优化）技术。想象一场游戏节目，机器人同时尝试用八种不同的方式来剪辑一段视频。随后，系统会检查哪一个版本得到了正确答案。如果某个版本答对了且使用了更少的像素，它会获得巨大的奖励。如果它答对了但使用了过多的像素，它获得的奖励较少。如果它答错了，即使效率很高，也不会获得任何奖励。

这种“组内比较”教会了机器人寻找完美的平衡点：在得到正确答案的同时，使用绝对最小量的视觉数据。

结果：更快、更聪明、更精简

论文在三个主要的基准测试上测试了 EviSelect：MLVU、LongVideoBench 和 Video-MME。这些都是长视频理解领域的“奥林匹克”，涵盖了电影、监控录像和复杂的叙事。

研究结果令人印象深刻：

• 准确率： EviSelect 实现了最先进的性能，击败了包括 TSPO 和 Q-Frame 在内的现有方法。例如，在 Video-MME 基准测试中，它比之前的最佳方法提高了 1.9% 的准确率。
• 效率： 它平均仅使用了 1,701 个视觉标记，而之前的最佳方法大约使用 3,360 个。这是 49% 的数据削减。
• 速度： 由于处理的数据更少，端到端时间从接近 10 秒降至仅 2.55 秒。这是 3.9 倍的加速。

这意味着什么（以及不意味着什么）

论文表明，理解长视频的关键不仅仅是向这个问题投入更多的计算能力，而是要更聪明地去观察什么才是重要的。通过使用机器人自身的内部“证据”而非外部猜测者，EviSelect 能够适应每段视频独特的节奏。

然而，作者也谨慎地指出了局限性。由于 EviSelect 是从特定机器人的内部注意力中学习的，因此如果没有重新训练，它在更换为完全不同类型的机器人时可能无法完美运行。此外，这种方法需要访问机器人的内部“大脑”（注意力图），因此它无法用于那些隐藏了此类信息的闭源“黑盒”模型。

简而言之，EviSelect 证明了，如果你教会 AI 信任自己关于“什么才是重要的”直觉，它就能用一半的精力、四倍的速度，观看电影、寻找线索并解开谜团。