💻 computer science

Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization

该论文介绍了高斯视频 Transformer (GVT)，这是一个通用的视频表示框架，它利用具有时空适应性和显式静态-动态分离功能的前馈 2D 高斯泼溅（Gaussian Splatting）标记化技术，在视频重建、压缩、动作识别和生成方面实现了最先进的性能。

原作者： Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一个缓慢的网络连接向朋友发送一部电影。你不能直接发送整个文件；你必须将其分解成微小的碎片，进行压缩，并将它们作为“标记”（token，即微小的数字信息包）进行发送。这就是**视频标记化（video tokenization）**的世界，它是计算机视觉中的一个关键技巧，帮助计算机理解、存储和创建视频。长期以来，这种方法的标准方式就像是拍一张照片，然后将其切割成均匀大小的正方形网格，无论网格里画的是什么。如果你有一个显示着单调白墙的正方形，而另一个显示着剧烈爆炸的正方形，计算机对它们的处理方式完全一样，给予它们相同数量的数据。这既浪费资源，又经常遗漏重要的细节。

现在，想象一下，如果不再使用僵化的网格，而是可以使用一支神奇的、可以变形的画笔，它知道在哪里该多涂一点颜料来表现爆炸，而在哪里少涂一点来表现墙壁。这就是**高斯泼溅（Gaussian Splatting）**背向后的理念。它最初用于让 3D 场景看起来更真实，它使用一些小“团块”（高斯分布）来表示，这些团块可以拉伸、收缩和旋转，以完美契合物体的形状。目前研究人员一直在问的一个大问题是：我们能否使用这种灵活的、基于“团块”的绘画风格来表示整个视频，而不只是单张图像？ 如果我们能做到这一点，我们就能更高效地存储视频，并让它们看起来更清晰，同时教会计算机理解什么是运动的，什么是静止的。

新型“团块”视频生成器

在这篇论文中，作者介绍了一种名为**高斯视频 Transformer（Gaussian Video Transformer, GVT）**的新系统。把它想象成一个聪明的视频编辑器，它不仅仅是将电影切成正方形网格，而是将视频转化为一系列灵活的、二维“团块”（高斯分布），这些团块可以根据动作发生的位置进行拉伸和移动。

以下是他们实现这一目标的方法，其中包含了一些巧妙的技巧：

1. “智能团块”生成器 (STGE)
大多数旧的视频系统是僵化的。它们观察视频并说：“好吧，我需要 1,000 个标记来表示这个场景，”无论这个场景是一个安静的图书馆还是一个混乱的足球赛。作者的新系统，称为时空高斯嵌入（Spatio-Temporal Gaussian Embedding, STGE），则不同。它观察视频并说：“嘿，这部分很无聊，我们用少一点的团块。这部分很疯狂，我们多用一些！”它通过一次性的快速过程（称为“前馈”过程）生成这些团块，这意味着它不需要花费数小时去反复调整视频以使其看起来完美。它只需即时创建出一组完美的团块。

2. “静态与动态”的分离 (GSP)
这是该系统最聪明的地方。在视频中，有些东西永远不会移动（比如背景墙），而有些东西则四处穿梭（比如奔跑的狗）。旧系统会在每一帧都重新绘制那面墙，浪费了大量数据。作者引入了一种称为**高斯集合划分（Gaussian Set Partitioning, GSP）**的策略。它像一个聪明的分类器，将视频分为两堆：

静态堆： 背景团块，它们保持不变。系统只需绘制一次，然后说：“在整个视频中复制这个。”
动态堆： 随时间变化的移动团块。

通过只更新移动的部分并重复使用静态的部分，该系统节省了大量的空间和时间。这就像是画了一张房间的照片，然后仅仅通过动画展示走过房间的人物，而不是为每一帧都重新画一遍整个房间。

3. 结果：更好、更小、更快
团队在几个著名的视频数据集（如 UCF101 和 Kinetics）上测试了他们的 GVT 系统，并将其与当前最先进的方法进行了对比。

重建： 当他们尝试从这些团块中重建视频时，GVT 的表现优于之前的冠军模型，它能以更少的误差创建出更清晰的图像。
压缩： 由于该系统非常擅长识别哪些是静态的，哪些是动态的，它可以显著缩小视频文件体积。他们发现，与最新的标准视频压缩技术（H.266/VVC）相比，GVT 在保持高画质的同时，可以将文件大小减少约 54.8%。
理解与生成： 该系统不仅擅长存储视频，它在帮助计算机识别动作（如“弹奏大提琴”）甚至从头开始创造全新的视频方面也表现出色。

他们没做到的事情（以及为什么）
作者谨慎地指出，他们的系统目前还不能做到的事情。虽然它可以从无到有生成视频（无条件生成），但它目前还无法达到目前最顶尖的 AI 视频生成器的水平。他们解释说，这是因为他们使用的是一种新型的“团块”表示法，尚未在海量的现有数据集上进行充分训练。他们并不是声称已经解决了视频生成的难题，而是展示了这种“团块”方法是一个非常有前景且效果惊人的新方向，在存储和理解方面表现优异。

总结
这篇论文表明，通过将僵化的网格替换为灵活的、智能的“团块”（这些团块知道如何分离运动物体和静态背景），我们可以让视频表示变得更加多样化。这有点像是从像素化的、充满方块感的视频游戏切换到流畅、灵动的动画，其中屏幕的每个部分都清楚地知道自己需要多少关注。结果表明，这种方法可以带来更清晰的视频、更小的文件体积，以及一种让计算机观察世界更聪明的方式。

技术摘要：通过前馈 2D 高斯泼溅（Gaussian Splatting）实现多功能视频表示

问题陈述

现有的视频表示方法，特别是依赖于固定网格、分块式标记化（如 MAGVIT-v2）的方法，在空间和时间维度上都存在局限性。

空间局限性： 固定数量的标记（tokens）进行均匀分配，会导致在低信息区域（如平滑背景）过度编码，同时可能在细节丰富的区域表示不足。
时间局限性： 当前方法对时间步的处理是均匀的，没有明确区分静态内容（如背景）和动态内容（如运动物体）。这导致了对于不变片段的冗余标记预算，从而增加了总体的标记数量和计算成本。
泛化问题： 虽然近期的高斯泼溅（Gaussian Splatting, GS）方法展现了潜力，但它们通常依赖于针对每个视频的优化，这在计算上非常昂贵，限制了其对未知视频的泛化能力。

方法论：高斯视频 Transformer (GVT)

作者提出了 高斯视频 Transformer (GVT)，这是一个通过前馈 2D 高斯泼溅（2DGS）方案取代僵化分块标记化的框架。其核心架构由三个主要阶段组成：

1. 时空高斯嵌入 (STGE)

STGE 不直接对刚性的潜在向量进行量化，而是以一种前馈的方式将潜在视频特征投影为一组 2D 高斯分布。

输入： 视频剪辑首先使用标准的基于补丁的特征提取器（因果 3D CNN）被编码为一系列潜在张量 $Z$ 。
机制： STGE 模块利用两个关键子模块：
- 时空注意力 (STA)： 聚合特征以捕捉全局相关性。
- 可变形时空融合 (DSTF)： 使用可学习的查询（queries），将信息从潜在向量投影到特定的 2D 高斯参数（位置 $\mu$ 、协方差 $\Sigma$ 和特征系数 $\varsigma$ ）。
输出： 每个时间步的一组 2D 高斯集合 $G = \{G_t\}$ ，其中每个高斯显式地建模了局部空间结构和变化的细节水平。

2. 高斯集合划分 (GSP)

为了解决时间冗余问题，GVT 引入了一种解耦静态和动态内容的策略。

划分： 生成一个可学习的二值掩码，将高斯分为两组：
- 静态高斯 ( $G_{static}$ )： 代表跨所有时间步共享的静止区域（例如背景）。这些高斯在 $t=1$ 时计算一次，并在后续帧中重复使用。
- 动态高斯 ( $G_{dynamic}$ )： 代表随时间变化的动态内容（例如运动物体），并针对每个时间步进行更新。
优化： 一个约束损失 ( $L_{GSP}$ ) 用于正则化动态高斯的比例，鼓励模型在保持可学习标记数量的同时最小化冗余。

3. 矢量量化与重构

量化： 2D 高斯的特征系数 ( $\varsigma$ ) 使用带有可学习码本（codebook）的矢量量化（VQ）策略进行量化，将连续参数转换为离散标记。
渲染： 在重构过程中，量化的高斯会被光栅化处理。静态高斯在所有时间步中被复制，而动态高斯则逐帧渲染。最终视频通过将聚合后的辐射权重和系数解码回像素空间进行重构。

核心贡献

STGE (时空高斯嵌入)： 一种新型投影模块，能够以一种前馈方式将紧凑的潜在视频表示映射到 2D 高斯泼溅，从而实现无需针对每个视频进行优化的多功能标记化。
GSP (高斯集合划分)： 一种可学习的策略，通过显式地将高斯划分为静态集和动态集，减少了时间冗余，通过复用静态内容来增强了时间多样性和表示的紧凑性。
GVT 框架： 一个集成了 STGE 和 GSP 的端到端视频标记化框架。它是首个将高斯泼溅技术引入视频标记化研究的工作，在重构和压缩方面达到了最先进（SOTA）的性能。

实验结果

作者在四个任务上评估了 GVT，包括视频重构、动作识别、压缩和生成，使用了包括 UCF101、Kinetics (K600/K400) 和 DAVIS 在内的数据集。

视频重构：
- 在 UCF101 和 Kinetics-600 上，GVT 在重构视频 FVD (rFVD) 方面达到了 SOTA 性能，优于 MAGVIT-v2 和其他标记器（例如，UCF101 上的 rFVD 为 12.6，而 MAGVIT-v2 为 16.7）。
- 在 DAVIS-2017-480P 上，GVT 在基于辐射场（Radiance Field）的方法中展示了卓越的实例级保真度（最佳 LPIPS，第三佳 SSIM）。至关重要的是，它是此类对比中的唯一一种前馈方法，避免了 NeRF 或 4DGS 类方法所需的数小时逐视频拟合时间。
视频动作识别：
- 使用重构视频作为 VideoMAE 的输入，GVT 在 UCF101 和 K400 上的 Top-1 和 Top-5 准确率均高于 MAGVIT-v2，表明其更好地保留了语义信息。
视频压缩：
- GVT 展示了优异的率失真（RD）性能。与 H.266/VVC 标准相比，GVT 实现了平均比特率的降低（基于 DISTS 为 54.8%；基于 LPIPS 为 2.1%）。
视频生成：
- 在 UCF101 的无条件视频生成任务中，GVT 实现了 1240 的 FVD，优于配备相同流匹配（flow-matching）范式的 MAGVIT-v2（FVD 3772），并与 MCVD 和 TGAN-v2 等方法表现相当。

重要性与主张

论文声称，GVT 通过利用高斯泼溅的显式和自适应特性，代表了视频表示的一次重大转变。

多功能性： 通过摆脱固定网格，GVT 使标记密度能够适应信息含量（空间），并能区分静态和动态元素（时间）。
高效性： 前馈设计消除了昂贵的逐视频优化需求，使该方法具有可扩展性和对未知视频的泛化能力。
性能： 该方法在重构质量和压缩效率方面建立了新的基准，同时在动作识别和生成等下游任务中保持了竞争力的表现。

作者承认了局限性，指出目前的生成能力受限于无条件设置，原因是缺乏用于 2DGS 的预训练多模态对齐模型。他们认为目前的生成结果仅是该框架潜力的初步证据，并计划未来开展工作以探索条件生成（例如文本生成视频）。