💻 computer science

Enhancing Visual Token Representations for Video Large Language Models via Training-Free Spatial-Temporal Pooling and Gridding

本文提出了一种无需训练的ST-GridPool方法，通过集成金字塔时间网格化和基于范数的空间池化，在高效压缩视觉令牌的同时保留关键时空交互，从而增强视频大语言模型。

原作者： Bingjun Luo, Tony Wang, Hanqi Chen, Xinpeng Ding

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingjun Luo, Tony Wang, Hanqi Chen, Xinpeng Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位注意力极短、只能记住几个关键细节的朋友描述一部情节紧凑、动作场面的电影。如果你试图向他们讲述电影的每一帧，他们会感到不知所措并忘记重要部分。如果你只是过于仓促地概括，又可能会错过关键的剧情转折。

这正是视频 AI 模型所面临的问题。它们需要“观看”数千个视觉帧（token）来理解视频，但它们的“记忆”（计算能力）是有限的。目前的方法通常试图通过简单地平均所有内容来压缩视频，就像给整个人群拍一张模糊的照片。这会丢失重要的细节。

这篇论文介绍了一种新的、免费的升级方案，称为ST-GridPool。它就像一个智能的、无需训练的过滤器，帮助 AI 更有效地“观看”视频，而无需重新学习如何“看”。它通过两个巧妙的技巧来实现这一点：

1. “金字塔时间网格”（PTG）——延时摄影摄影师

想象你正在观看一场足球比赛的视频。

问题所在： 标准 AI 以一种统一的方式审视比赛。它可能会错过一个快速的手势（微动作），或者无法同时看到整个比赛策略（长期趋势）。
解决方案： PTG 就像一位同时以不同速度拍照的摄影师。
- 它创建一个细粒度视图（观察 8 秒的小片段），以捕捉像球员踢球这样的快速动作。
- 它创建一个粗粒度视图（观察 32 秒的大片段），以理解比赛的整体流向。
- 随后，它将这些不同“尺度”的时间合并为一个丰富且单一的摘要。这就像拥有一个既能捕捉瞬间进球，又能涵盖 90 分钟完整策略的精彩集锦，全部打包成 AI 易于消化的格式。

2. “基于范数的空间池化”（NSP）——聚光灯管理员

想象一个视频帧，其中一个人正在一个嘈杂、拥挤的房间里说话。

问题所在： 标准 AI 平等地对待图像的每个部分。它对说话者面孔的关注度与对身后无聊、空旷墙壁的关注度相同。这将“记忆”浪费在了背景上。
解决方案： NSP 就像一个聚光灯管理员。它查看图像每个部分的“能量”（数学上称为“范数”）。
- 它意识到说话者的面孔具有高“能量”（包含大量重要信息），而墙壁具有低“能量”（仅仅是背景噪音）。
- 随后，它增强了对说话者的聚光灯，并调暗了墙壁的灯光。
- 这确保 AI 将其有限的记忆集中在场景中最重要部分，保留了那些对回答问题真正至关重要的细节。

结果：更智能、更快速的 AI

该论文声称，通过结合这两种技巧，AI 在理解视频方面变得更为出色，而无需任何昂贵的重新训练或改变其内部结构。

它是“即插即用”的： 你可以将现有的视频 AI（如 LLaVA-Video）直接“挂载”此方法。无需新训练。
它节省金钱和时间： 因为它只关注重要部分，所以 AI 运行速度更快，使用的计算机内存（GPU）更少，尤其是在处理长视频时。
它效果更好： 在测试中，这种方法帮助 AI 比以往更准确地回答关于长视频的问题，即使在被迫使用极少“记忆”（token 预算）的情况下，也击败了其他顶级方法。

简而言之，ST-GridPool 就像给视频 AI 提供了一副智能眼镜，能够自动将动作放大并加速时间线，使其能够在不感到疲惫或困惑的情况下理解视频中的复杂故事。

技术摘要：面向视频大语言模型的 ST-GridPool

问题陈述

近期多模态大语言模型（MLLMs）在视频理解方面取得了进展，但仍面临一个关键瓶颈：如何在压缩视觉令牌的同时，高效地保留复杂的时空交互。现有的视频大语言模型（如 LLaVA 系列）通常依赖简化的 2D 池化或插值来降低自注意力机制的二次复杂度。然而，这些方法往往将所有的空间和时空令牌同等对待，忽视了视频内容的异质性。这导致高信息量区域（例如显著物体）的丢失，以及无法捕捉多粒度的时间动态（从快速的微动到渐进的场景演变）。此外，大多数现有的令牌压缩策略需要昂贵的重新训练或特定的架构修改，限制了其作为即插即用解决方案的适用性。

方法论：ST-GridPool

为了克服这些局限，作者提出了ST-GridPool，这是一种专为视频大语言模型设计的、无需训练的视觉令牌增强方法。该方法包含两个协同组件，在不改变模型参数或无需重新训练的情况下，对时空维度上的视觉令牌进行优化。

1. 金字塔时间网格化（Pyramid Temporal Gridding, PTG）

PTG 通过引入分层网格策略，解决了均匀时间采样的局限性。

机制：将视频序列划分为多个层级，其中每一层对应不同长度的片段（ $K_l = K \cdot 2^{l-1}$ ）。
过程：对于每个片段，均匀采样一部分帧并在空间上进行拼接，形成中间令牌网格。该网格通过双线性插值调整回原始分辨率，生成“摘要令牌”。
更新：每个片段的最后一帧使用该摘要令牌进行更新。
优势：这使得模型能够同时捕捉细粒度（短期）和粗粒度（长期）的时间动态，在不增加可训练参数的情况下丰富了时间表示。

2. 基于范数的空间池化（Norm-based Spatial Pooling, NSP）

NSP 通过利用令牌范数与语义丰富度之间的相关性，解决了均匀空间下采样的问题。

观察：在 HKU-IS 数据集上的实验表明，视觉令牌的 L2 范数与显著物体的存在之间存在强烈的正相关性。背景区域通常表现出较低的范数，而高信息量区域则表现出较高的范数。
机制：NSP 采用动态 2D 加权池化方法。在滑动窗口内，计算每个令牌的 L2 范数，并使用 softmax 函数进行归一化以生成自适应权重（ $\alpha_{m,n}$ ）。
过程：池化令牌计算为窗口内视觉特征的加权和，其中权重由令牌的范数决定。
优势：该策略选择性地放大语义丰富的区域（高范数令牌），同时抑制低信息量的背景，确保在压缩过程中保留关键的视觉细节。

主要贡献

本文概述了三项主要贡献：

首个无需训练的视频专用增强方法：作者提出了首个专为视频大语言模型设计且无需重新训练即可运行的视觉令牌增强方法。它优化了压缩过程以提升性能，同时保持了计算效率。
新颖的架构组件：
- 金字塔时间网格化：引入分层策略，以捕捉跨越不同时间长度的多粒度时空交互。
- 基于范数的空间池化：利用令牌范数与语义重要性之间的正相关性，在压缩过程中有效保留高价值的视觉信息。
实证验证：在六个视频理解数据集上进行的广泛实验表明，该方法在多个最先进模型（LLaVA-Video、LLaVA-OneVision）和多样化任务中均表现出一致的性能提升。

实验结果

该方法在广泛采用的视频大语言模型（LLaVA-OneVision-7B 和 LLaVA-Video-7B）上进行了评估，测试基准包括长视频理解（VideoMME、LongVideoBench、EgoSchema）和通用视频理解（NexT-QA、TempCompass、MVBench）。

性能提升：ST-GridPool 在所有数据集上均取得了持续的提升。例如，在 LLaVA-Video-7B 上，其在 VideoMME 上的得分提高了 +0.9%，在 LongVideoBench 上提高了 +1.9%，在 MVBench 上提高了 +1.2%。
令牌减少效率：在严格的令牌预算（30% 和 50%）下与领先的令牌减少方法进行比较时，ST-GridPool 的表现优于 FastV、PruMerge 和 FrameFusion 等基线方法，特别是在更严格的 30% 预算下，它在所有三个长视频基准测试中均取得了最佳得分。
计算效率：该方法展示了双重优化，与基线相比显著减少了推理时间和峰值 GPU 内存使用量，且随着输入帧数的增加，节省效果更为明显。
消融研究：移除 PTG 或 NSP 中的任一部分都会导致性能下降，证实了两个组件都是必要且互补的。发现的最优超参数为温度 $\beta=1$ 和 L2 范数（ $p=2$ ）。

意义与主张

本文将 ST-GridPool 定位为一种可扩展的“即插即用”解决方案，弥合了高效令牌压缩与复杂时空交互保留之间的差距。作者声称，他们的方法提供了一种强大的范式，无需昂贵的架构修改或重新训练即可增强视觉令牌表示。通过基于范数的加权和时间分层建模，最大限度地保留语义有意义的细节，ST-GridPool 使现有的视频大语言模型能够实现更稳健、更准确的理解，特别是在需要分析长程依赖和动态活动的场景中。代码已公开，以促进进一步的研究和采用。