💻 computer science

HyperGS: Fast and Generalizable Gaussian Video Representation

HyperGS 引入了一个快速、前馈且具有泛化能力的框架，该框架通过单次前向传播直接从视频帧预测 3D 高斯表示，与传统的逐视频优化方法相比，在保持卓越重建质量的同时，实现了数量级的更快速编码和零样本高分辨率渲染。

原作者： Fatimah Zohra, Chen Zhao, Shuming Liu, Yahya Al Malallah, Bernard Ghanem

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fatimah Zohra, Chen Zhao, Shuming Liu, Yahya Al Malallah, Bernard Ghanem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你面前有一大堆乱七八糟的乐高积木，你的目标是用它们重建一个动态的视频场景。很长一段时间以来，实现这一目标的最佳方法是坐下来，针对某一个特定的视频，手工极其费力地放置每一个乐高零件，不断调整它们的位置、颜色和大小，直到看起来完美无缺。这就是旧的视频处理方法所做的：它们对每个视频进行“优化”。这种方法有效，但就像是为了看每一部电影都要亲手雕刻一座雕像一样。这需要为每个视频花费数小时，而且你在雕刻第一部电影时学到的技能对第二部电影毫无帮助。

于是，HyperGS 出现了——这是一支全新的数字建筑师团队，他们决定不再手工雕刻，而是开始使用一台超快速的魔法蓝图机。

魔法蓝图机

HyperGS 不再通过花费数小时来调整每个视频，它是一个“前馈”（feedforward）系统。你可以把它想象成一位记住了世界上每道菜谱的厨师。当你递给他们一段全新的、从未见过的视频时，他们不会通过反复品尝并调整香料来耗费数小时。他们只需看一眼视频，然后——砰！——在一次闪电般的瞬间（一次“前向传递”），他们就能吐出构建该场景所需的精确指令。

他们吐出的指令并非模糊的描述，而是具体的高斯函数（Gaussians）。如果你把一个高斯函数想象成一个模糊的、发光的球体，它拥有特定的中心、大小、旋转和颜色，那么 HyperGS 就能预测如何排列成千上万个这样的球体，以重现视频帧。

“针刺”问题与安全网

问题在于，当团队最初尝试教这台机器如何预测这些球体时，机器变得有点疯狂。为了拟合视频中的锐利边缘，机器开始制造出极其细长、像微型针头一样的球体。起初这似乎奏效了，但随后整个系统会突然崩溃，就像在深夜里倒塌的纸牌屋一样。

作者发现了这种“针状退化”（needle-like degeneration）现象，并用一个聪明的安全网修复了它。他们并没有简单地设定一条“禁止针状物”的硬性规则，而是给了机器一个智能且具有适应性的教练，在训练期间观察这些球体。如果球体开始变得过于尖锐，教练就会轻轻地将它们推回较圆润的形状；如果它们状态良好，教练则随它们去。这种“自适应正则化”（adaptive regularization）保持了训练的稳定性，防止了早期尝试中出现的突然崩溃。

为什么这意义重大

结果非常惊人。虽然旧的“手工雕刻”方法（称为逐视频优化）处理单个视频需要数小时，但 HyperGS 只需毫秒级即可完成。

速度： 在达到相同质量的情况下，它比旧方法快 10,000 到 100,000 倍。
质量： 在标准视频测试（如 K400、SSv2 和 UCF101）中，HyperGS 实际上比之前的快速方法能产生更清晰的图像（更高的 PSNR），性能提升了 2.9 到 3.1 dB。
灵活性： 因为 HyperGS 预测的是球体的实际形状而非隐藏的代码，所以它可以进行缩放而不会损失质量。你可以用 256x256 像素的小视频进行训练，然后瞬间渲染出清晰的 720p 视频，而无需重新训练。这就像是在明信片上学习绘画，然后能用同样的笔触画出一幅壁画。

权衡

这里有一个代价，但这是一个公平的代价。你要求的球体（高斯函数）越多，画面看起来越好，但文件体积也越大。

如果你使用 250 个球体，速度极快但画面有些模糊。
如果你使用 3,000 个球体，效果会非常惊艳，但文件也会更大。
作者表明，你可以根据需求自行选择平衡点。即使使用较少的球体，HyperGS 在速度和质量上也能击败传统的视频压缩技术（如 H.265）。

它“不是”什么

重要的是要了解 HyperGS 不做的事情。它并不试图去猜测复杂神经网络的隐藏“权重”以便稍后解码视频（这是其他一些快速方法所做的）。相反，它直接预测实际可见的形状。这意味着它不需要特定的解码器即可工作；它只需吐出这些球体，你就可以立即进行渲染。

总结

作者已经证明，可以通过单步操作直接从像素中预测显式的视频形状，从而完全跳过了缓慢、重复的“雕刻”阶段。他们在数千个视频上进行了测量，结果表明这种方法不仅仅是一个理论构想，而是一个实用的、运行中的系统，其速度比以往的方法快了好几个数量级，同时视觉效果依然出色。这是一种看待视频的新方式：不再将其视为需要压缩的像素流，而是一群可以被瞬间预测的、移动着的、发光的球体。

技术摘要：HyperGS：快速且泛化性强的 Gaussian 视频表示

问题陈述

尽管 3D 高斯泼溅（3DGS）在静态场景和动态视频中已被证明非常有效，但现有的视频适配方法依赖于针对单个视频的优化。这些方法通过迭代的、基于梯度的优化过程，为每个视频独立拟合高斯参数，通常每个视频需要数万步迭代和数小时的计算时间。这种缺乏摊销（amortization）能力的特性阻碍了学习到的结构在不同视频间的迁移，使得此类方法难以实现实时处理，并限制了它们在面对分布外（OOD）视频或更高分辨率时的泛化能力。

此前尝试创建视频表示的前馈替代方案主要集中在**隐式神经表示（INRs）**上，其中网络预测解码器的权重。然而，这些方法将表示与特定的神经架构绑定在一起，并且需要额外的非线性解码步骤。

方法论：HyperGS

作者提出了 HyperGS，一个前馈式、无需优化的框架，它通过单次前向传播直接从视频输入预测显式的 2D 高斯基元（primitives）。该方法将表示与任何隐式解码器解耦，利用了高斯泼溅高效的光栅化能力。

架构

该模型由一个**因子化时空 Transformer（factorized spatiotemporal Transformer）和一个基于查询的 Transformer（query-based Transformer）**组成：

视频标记化（Video Tokenization）： 输入视频通过带有可学习时空位置编码（RoPE）的 3D 卷积投影为补丁嵌入（patch embeddings）。
ST-Transformer（编码器）： 一个因子化时空 Transformer 处理视频标记。它通过顺序应用空间自注意力（2D RoPE）和时间自注意力（1D RoPE）来对空间和时间维度的特征进行上下文建模。跳跃连接（skip connection）保留了原始补丁嵌入以辅助稳定性。
Q-Transformer（解码器）： 一组可学习的高斯标记（查询）关注于上下文化的视频特征。通过自注意力机制，这些标记聚合相关信息，以回归出每一帧的 8 参数高斯表示。
参数预测： 模型输出每帧 $N$ 个高斯的解释性参数：均值位置 ( $\mu$ )、各向异性尺度 ( $s$ )、旋转 ( $r$ ) 和颜色 ( $c$ )。这些参数被约束在有效范围内（例如，尺度被强制为正，旋转覆盖 $[0, 2\pi)$ ）。
渲染： 预测的高斯通过可微 2D 高斯光栅化进行渲染，以重建视频帧。

训练稳定性与正则化

作者发现了一个关键的训练不稳定现象：不受约束的优化会将高斯驱动向“针状”各向异性（即沿某一轴极度拉伸），导致性能在训练中期突然崩溃。为了解决这个问题，他们引入了自适应几何正则化器：

有效秩正则化 ( $\mathcal{L}_{erank}$ )： 利用尺度分布的有效秩（Effective Rank）来惩罚退化的、针状的形状。阈值通过批次内第 1 百分位有效秩的指数移动平均（EMA）进行动态调整。
自适应尺度正则化 ( $\mathcal{L}_{scale}$ )： 通过 EMA 追踪尺度量级的第 99 百分位数，以防止出现不合理的巨大尺度，并通过平方过量损失来惩罚离群值。

核心贡献

首个前馈高斯预测器： HyperGS 是第一个能够在单次前向传播中直接预测视频显式高斯基元的方法，无需逐视频优化。
性能与效率：
- 在达到相同重建质量的情况下，其编码速度比逐视频高斯优化快 104–105 倍。
- 在 K400、SSv2 和 UCF101 数据集上，尽管使用了更小的表示规模（64K 参数 vs. 85K–139K），其 PSNR 仍比先前的前馈视频编码器（如 FastNeRV）提高了 +2.9–3.1 dB。
- 编码速度达到 ~400–2200 FPS，解码速度达到 ~3900–4400 FPS。
零样本泛化： 该模型无需微调即可泛化到未见的、高分辨率（720p）的视频。它支持**补丁网格编码（patch-grid encoding）**来平铺高分辨率帧，通过权衡表示规模来换取更高的保真度，而无需重新编码。
稳定机制： 引入的基于秩的自适应正则化成功防止了困扰前馈高斯训练的“针状”退化问题。

实验结果

与基于优化方法的比较： 在 720p DAVIS 和 UVG 数据集上，HyperGS 达到了与 2DGS（逐视频优化）相当的重建质量，但将编码时间从数小时缩短至毫秒级。其补丁网格变体在质量上进一步超越了逐视频优化。
与前馈 INR 的比较： 在 K400、SSv2 和 UCF101 上，即使是在更高的分辨率（640×480）下进行训练和评估，HyperGS 在 PSNR 和 SSIM 方面仍优于最先进的前馈 INR 方法（TransINR, GINR, FastNeRV, TeCoNeRV），而 HyperGS 仅在 256×256 分辨率下进行训练。
与传统编解码器的比较： 与 H.265 相比，HyperGS 在实现相等或更高保真度的同时，提供了 1.3–2.7 倍更快的编码速度和 ~1.3 倍更快的解码速度。
消融研究：
- 高斯数量 ( $N$ )： 将 $N$ 从 250 增加到 3000 会线性提升质量（在 K400 上提升 +7.31 dB），且对训练时间影响极小。
- 架构： Q-Transformer 中的基于查询的自注意力机制至关重要；将其替换为简单的 MLP 会导致质量大幅下降（~9 dB）。
- 正则化： 自适应正则化对于训练稳定性至关重要，其表现优于对模型容量敏感的固定阈值法。

重要性与主张

论文声称 HyperGS 推动了高斯泼溅作为一个快速且泛化性强的视频表示实用方向的发展。通过将高斯泼溅快速、灵活的渲染能力与前馈预测的速度和泛化性相结合，HyperGS 克服了逐视频优化的根本瓶颈。它证明了可以从像素中直接学习显式几何基元，从而实现实时编码、零样本高分辨率渲染，并在率失真性能上优于传统的编解码器及先前的神经视频表示。