Information-Guided Spatiotemporal Scanning for Efficient Video State-Space Modeling
本文介绍了 AdaScan，这是一个信息引导的自适应扫描框架，它能够根据特定内容的特征信息，动态优化视频 Token 的空间粒度、区域选择和序列化顺序，从而提升状态空间模型（SSMs）在视频理解任务中的效率与性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
观看视频是一个连续的信息流，但对于计算机而言，它是一堆庞大且重复的数据。每一秒的画面都包含数以千计微小的像素方块，而在标准视频中，大多数这些方块在相邻时刻之间并不会发生太大变化。背景中的一面墙、一片天空或一个桌面通常保持静止，而一个人则可能横穿场景。为了理解正在发生的事情，计算机需要处理这个流，但对每一帧中的每一个像素进行处理是非常昂贵且缓慢的。近年来，一种被称为状态空间模型的新型数学引擎应运而生，它成为了一种比旧方法更高效地处理这些长序列数据的方式。这些模型通过按特定顺序读取信息，并在处理过程中逐步更新其内部理解。其核心洞察在于，计算机读取视频的顺序与内容本身同样重要。如果计算机先读取不变的背景，最后才读取移动的动作，它就会在那些不发生变化的事物上浪费时间和内存，从而可能错过随后到达的重要细节。
长期以来，计算机一直使用固定的、僵化的模式来读取视频帧，就像一个人无论书中的文字是故事还是空白空间，都从上到下逐行阅读书籍一样。这种方法对于均匀的文本效果很好，但它未能考虑到视频信息是不均匀分布的这一事实。在真实的场景中，有趣的组成部分——比如人在行走、物体在坠落或脸部在转动——仅占据屏幕的一小部分，而其余部分通常是可预测且冗余的。固定的读取顺序将一片安静的天空与一辆快速行驶的汽车同等对待，迫使计算机以同样的强度去处理天空和汽车。这种低效意味着计算机在它已经知晓的事物上花费了过多的能量，而没有足够的精力去关注那些真正有助于它理解场景的新颖且令人惊讶的证据。
为了解决这个问题，研究人员开发了一种名为 AdaScan 的新方法，它充当了引导计算机如何观察视频的智能向导。该系统不再遵循预设的路径，而是实时决定在哪里看、看多细以及以什么顺序访问屏幕的不同部分。它的原理是：计算机应该优先处理那些正在发生变化或具有不可预测性的部分。系统首先通过寻找三个特定特征来识别视频中包含有用信息的区域：场景的静态结构、物体的运动，以及最重要的——“惊喜”因子。这个惊喜因子衡量的是当前的视图与计算机基于前序帧所做的预期之间的差异。如果计算机根据之前的运动预测球会在某个位置，但球实际上在另一个地方，那么这种差异就是一个高价值的信息点，需要立即引起注意。
一旦系统知道了有趣部分的位置，它就会调整用于观察这些部分的“镜头”大小。在没有任何事情发生的区域，它使用更粗略、更宽广的视野，将大面积区域组合在一起。在发生动作的区域，它则切换到细粒度的视角，将图像分解成更小的碎片以捕捉每一个细节。最后，它会规划一条访问这些选中区域的路径。这条路径不是随机的，也不是简单的直线。相反，它将这些有趣的地点连接成一个平滑且逻辑连贯的序列，以最小化计算机在不同点之间跳转的距离。这确保了计算机能够构建出一个连贯的视频故事，从一个证据转向下一个证据，而不会在浪费时间于在屏幕上前后跳跃或反复查看已经看过的区域。
研究人员在几项具有挑战性的视频任务上测试了这种新方法，包括识别人类动作、理解日常活动中的精细细节以及在复杂场景中识别物体。在一次识别动作的标准测试中，该新系统达到了 88.5% 的成功率，超越了许多使用更大、更复杂模型的先进方法。在一次旨在区分非常相似烹饪活动的测试中，它达到了 97.6% 的准确率。在涉及识别视频帧中每个物体的任务中，它获得了 58.7% 的得分，这在对比的方法中是最高的。这些结果表明，通过改变处理信息的顺序，而非仅仅让计算机变得更聪明，该系统可以更有效地学习和运行。
研究还对比了这种自适应方法与其他几种扫描视频的方式。随机扫描法（即没有任何逻辑地挑选位置）表现不佳，因为它经常错过帧与帧之间的重要联系。标准的基于网格的扫描法（即按固定顺序查看每个位置）虽然表现稳定，但会在大量无关紧要的背景区域浪费很多时间。而一种仅仅挑选最有趣位置而不进行路径规划的贪婪算法，则会导致一个混乱的序列，在屏幕上进行不规则的跳跃，从而干扰计算机的内部记忆。新方法的成功在于它平衡了寻找有趣信息的需求与移动到下一个位置时保持平滑移动的需求。它发现，理解视频最有效的方式不是平等地看待一切，而是遵循一条由场景中实际发生的事情所引导的路径。
这项工作证明了计算机组织其注意力的方式与它处理注意力的算法同样重要。通过允许扫描过程适应视频的内容，系统可以将资源集中在最需要的地方。研究人员发现，识别惊喜变化、调整细节水平以及规划平滑路径的具体结合是至关重要的；移除其中任何一个部分都会降低系统的性能。结果表明，为了让计算机真正理解视频，它们必须停止将每一帧视为需要逐行阅读的静态图像，而开始将其视为一个需要进行智能探索的动态事件。这种方法的转变使得更高效、更准确的视频理解成为可能，为处理长篇、复杂视频且不被冗余数据困扰的系统铺平了道路。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。