💻 computer science

Learning Unified Representation of 3D Gaussian Splatting

本文提出了一种基于连续子流形场的 3D 高斯泼溅（3D Gaussian Splatting）新型嵌入表示，通过确保唯一映射、通道同质性以及保持内在几何与颜色结构，来克服原始高斯参数的学习困难。

原作者： Yuelin Xin, Yuheng Liu, Xiaohui Xie, Xinke Li

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuelin Xin, Yuheng Liu, Xiaohui Xie, Xinke Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教会一台计算机理解并重建 3D 物体，比如一辆玩具车或一整个房间。目前流行的方法被称为 3D 高斯泼溅（3D Gaussian Splatting）。你可以把这种方法想象成用数百万个微小的、模糊的有色“气球”（高斯分布）来描述一个场景。每个气球都有特定的位置、大小、旋转角度和颜色。

这篇论文指出，虽然这些“气球”在“绘制”图像方面表现出色，但在“教导”计算机如何学习、理解或生成新图像方面却表现得很糟糕。以下是原因，以及作者提出的替代方案。

问题所在：“混乱的说明书”

目前，计算机通过观察描述这些气球的原始数字来进行学习。作者说，这就像是试图用一份存在三个主要缺陷的说明书来学习一种语言：

“双重含义”问题（非唯一性）：
想象一个指南针。如果你告诉机器人“面向北方”，它知道该怎么做。但在目前的系统中，“面向北方”可以用两组完全不同的数字来描述（比如说“向左转 90 度”对比“向右转 270 度”）。这两种指令都会导致相同的结果，但计算机认为它们是完全不同的。这会让学习过程感到困惑，导致计算机陷入停滞或学到错误的东西。这就像是在学习数学时，答案“5”可以写成“2+3”也可以写成“10-5”，但老师却把它们当作互不相关的概念来对待。
“苹果与橘子”问题（数值异质性）：
描述这些气球的数字千差万别。有些数字非常巨大（比如一个大房间里气球的位置），而有些数字则非常微小且受到严格限制（比如旋转角度，必须保持在 0 到 1 之间）。这就像试图将一桶水和一桶沙子混合在一起，并期望计算机能将它们理解为一种单一、平滑的混合物。计算机很难有效地处理这些尺度不匹配的数据。
“形状错误”问题：
有些数字存在于奇特的、弯曲的数学形状（流形）上，而计算机通常期望数据位于平坦、笔直的网格上。将这些弯曲的数字强行塞入平坦的网格，就像试图把一个篮球压扁成一张纸而不使其撕裂一样；你会丢失物体的真实形状和结构。

结果： 当研究人员尝试使用这些原始数字来训练 AI 执行任务（如生成新的 3D 场景或压缩数据）时，AI 会变得不稳定，产生“抖动”的结果，并且无法泛化到新的情况中。

解决方案：“完美的影子”（子流形场）

作者提出了另一种描述这些气球的方法。他们建议不再给计算机提供那份杂乱、混乱的原始说明书（参数），而是通过气球的影子或表面来描述它。

想象一下，拿起一个气球，投射光线将其形状和颜色投影到一个完美、光滑的 2D 表面（等概率表面）上。

唯一性： 每个独特的气球都会投射出唯一的影子。不会出现关于哪个气球产生了哪个影子的混淆。
均匀性： 影子是一个平滑、连续的颜色和形状场。无论原始气球是大是小，影子始终是一个整洁、一致的表面。
几何性： 这个影子自然地遵循物体的 3D 形状，保持了几何结构的完整。

作者称之为 “子流形场表示法”（Submanifold Field Representation）。它将那些杂乱、令人困惑的数字转化为一个干净、一致的“彩色点云”（一组带有颜色的点），这个点云坐落在该表面之上。

他们是如何教导计算机的

为了实现这一点，他们构建了一个特殊的翻译器，称为变分自编码器（SF-VAE）。

编码器（Encoder）： 它获取杂乱的原始气球数据，计算出那个完美的“影子”（子流形场），然后将这个影子压缩成一张整洁的、包含 32 个数字的“身份证”（嵌入向量）。
解码器（Decoder）： 它获取这张“身份证”，重建影子，然后将影子转回原始的气球数据，以便进行渲染。

他们还发明了一种衡量两个气球之间相似度的新方法，称为流形距离（Manifold Distance）。与其仅仅比较原始数字（这可能会产生误导），该方法测量的是“影子”在人类眼中看起来有多相似。

他们的发现

论文声称，使用这种新的“影子”方法带来了巨大的改进：

更好的质量： 当他们尝试重建 3D 场景时，与旧方法相比，新方法产生的图像更加清晰、准确（具有更高的 PSNR 和 SSIM 分数）。
更稳定： 计算机训练过程更加平滑。它不会被“双重含义”或不匹配的数字所困扰。
更好的预测能力： 当他们用随机生成的、虚构的气球训练 AI，然后要求它识别现实世界的物体（如椅子或房间）时，新方法比旧方法做得更好。它学习到了形状的“本质”，而不仅仅是死记硬背那些杂乱的数字。
更平滑的过渡： 如果你尝试让一个物体变形为另一个物体，新方法会让过程非常平滑。旧方法则会在转换过程中让物体产生“抖动”或出现故障。

总结

这篇论文的核心观点是：“停止尝试用那些杂乱、令人困惑的 3D 气球原始数字来教导计算机。相反，应该通过这些气球投射出的干净、唯一且平滑的‘影子’来教导它们。这使得学习更快、更稳定，并能产生更好的 3D 结果。”

技术摘要：学习统一的 3D 高斯泼溅（3D Gaussian Splatting）表示法

问题陈述

尽管 3D 高斯泼溅（3DGS）已成为实现高保真、实时 3D 重建与渲染的高效技术，但其原生参数化形式（ $\theta = \{\mu, q, s, c, o\}$ ）在作为神经网络的学习空间时存在根本性的挑战。作者指出了标准 3DGS 参数与神经架构归纳偏置之间的三个关键失配问题：

非唯一性（歧义性）： 从参数到渲染输出的映射并非一一对应。例如，四元数符号的双重性（即 $q$ 与 $-q$ 表示相同的旋转）以及对称性引起的差异会产生“嵌入冲突”。产生相同视觉输出的不同参数输入会导致冲突的监督信号，从而引发训练不稳定和收敛效果差的问题。
数值异质性： 参数分量跨越了极大的数量级和分布（例如，实数空间 $\mathbb{R}^3$ 中的空间位置与 $SO(3)$ 中的单位归一化四元数）。这违反了标准神经网络进行有效梯度流所需的齐次特征分布假设。
流形失配： 参数驻留在不同的数学流形上（位置处于欧几里得空间，旋转处于李群，球谐函数处于球面空间）。将这些非欧几里得变量强制放入标准的欧几里得特征空间会破坏其内在的几何结构，使得该表示难以进行有效的压缩、正则化或泛化。

这些局限性导致了编码器不稳定、潜空间插值过程中的几何“抖动”以及对噪声的鲁棒性差，从而阻碍了生成、压缩和编辑等下游任务。

方法论

为了解决这些问题，本文提出了一种子流形场表示（Submanifold Field Representation），通过定义在等概率曲面上的连续场来封装高斯原语的内在信息。

1. 子流形场表示 ( $E$ )：
不同于使用原始参数，每个高斯原语被表示为一个对 $(M, F)$ ：

等概率曲面 ( $M$ )： 一个由方程 $(x - \mu)^\top \Sigma^{-1} (x - \mu) = r^2$ 定义的二维子流形（椭球体），其中 $r$ 为固定半径。该曲面捕捉了几何形状和方向。
颜色场 ( $F$ )： 定义在 $M$ 上的函数，根据原始球谐系数将曲面上各点映射为随视角变化的颜色。
这种公式化建立了高斯辐射场与其表示之间可证明的唯一一一对应关系，消除了参数歧义。

2. 子流形场变分自编码器 (SF-VAE)：
为了从这种连续场中学习嵌入，作者设计了一个 VAE 框架：

离散化： 通过从等概率曲面上均匀采样 $P$ 个点来离散化连续场，形成一个彩色点云。
编码器： 基于 PointNet 的网络将点云编码为潜向量 $z$ 。
解码器： 使用两个隐式神经网络来重建原始场：
- 坐标变换网络 $g_c$ ，将潜向量和单位球面坐标映射到 3D 位置。
- 颜色场网络 $g_f$ ，预测这些位置的颜色。
参数恢复： 利用主成分分析（PCA）从解码的点云中恢复协方差矩阵，并利用球谐函数拟合得到颜色系数，从而恢复原始高斯参数 ( $\theta$ )。

3. 流形距离 (M-Dist)：
作者引入了一种基于 Wasserstein-2 距离（最优传输）的新型损失函数，用于衡量子流形场之间的相似性。该度量综合考虑了空间距离和颜色差异，与标准参数空间距离（如 L1）相比，能更好地与感知质量相关联。

核心贡献

问题的形式化表征： 本文正式识别并证明了原生 3DGS 参数的非唯一性和数值异质性是阻碍神经学习的根本障碍。
统一表示： 提出了子流形场表示，为高斯原语提供了一种唯一、几何一致且数值稳定的编码方式。
学习框架： 开发了一个包含流形距离度量的 SF-VAE 框架，证明了在这一统一空间中学习可以获得优于参数基准的结果。

实验结果

为了确保受控对比，作者使用自行实现的 VAE 框架进行评估，并在随机生成的高斯原语数据集上进行训练，以确保领域不变性。

重建质量： 在物体级（ShapeSplat）和场景级（Mip-NeRF 360）数据集上，子流形场表示均显著优于参数化基准。
- 在 ShapeSplat 上，SF-VAE 实现的 PSNR 为 63.408，而参数化基准为 37.512。
- 在 Mip-NeRF 360 上，SF-VAE 实现的 PSNR 为 29.833，而参数化基准为 18.818。
- 感知指标（SSIM, LPIPS）以及提出的 M-Dist 也显示出实质性的提升。
零样本泛化： 在合成随机数据上训练的模型能够有效地泛化到现实世界场景，其表现优于在特定现实领域训练并迁移到其他领域的模型。这表明该表示剥离了领域特定的先验。
鲁棒性： 子流形嵌入空间对噪声具有显著的鲁棒性。在潜空间添加噪声后，与参数嵌入相比，重建误差（以 M-Dist 衡量）要小得多。
潜空间正则性： SF-VAE 潜空间中的线性插值会产生平滑的几何过渡，而参数化插值则会导致旋转和缩放过程中出现不自然的“抖动”。
下游适用性：
- 无监督聚类： 与原始参数相比，SF 嵌入在图聚类任务中产生了更清晰的语义分离。
- 高斯神经场 (GNF)： 将 SF 嵌入作为神经场的目标，与直接回归原始参数相比，实现了更高的视觉保真度（例如在 ShapeSplat 上 PSNR 为 58.6 对比 51.6）。

意义与主张

本文声称，所提出的子流形场表示解决了 3DGS 原语与神经学习之间根本性的理论失配问题。通过强制执行唯一映射并尊重数据的几何结构，该方法实现了：

稳定训练： 消除了嵌入冲突，从而实现更好的收敛。
高保真学习： 该表示保留了内在的几何和光度结构，从而实现卓越的重建与泛化。
统一框架： 在合成数据上训练的单一模型可以跨越多样化的领域（物体与场景）进行泛化，这为实现真正的统一 3DGS 表示指明了路径。

作者总结道，该方法为未来基于学习的 3DGS 任务（包括生成模型、压缩和语义理解）提供了原则性的基础，同时也承认了目前在单原语建模方面的局限性以及对未来场景级编码器的需求。