Smol-GS: 3D 高斯泼溅（3DGS）的紧凑表示技术总结

1. 研究背景与问题 (Problem)

3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 是一种新兴的神经辐射场表示方法，能够实现实时的新视角合成和高保真渲染。然而，原始的 3DGS 存在严重的内存效率低下问题：

• 存储开销巨大：为了表示复杂场景，通常需要数百万个高斯点（Splats），导致模型文件高达数 GB。
• 现有压缩方法的局限性：
  • 信号处理方法（如量化）：虽然能节省空间，但未能充分利用高斯点之间的局部空间相关性和重复模式。
  • 基于学习的方法（如 Scaffold-GS 及其变体 HAC++、ContextGS）：采用“锚点 - 偏移量”（Anchor-Offset）层级结构。这种方法虽然有效，但引入了额外的结构开销（如透明偏移量、启发式规则），且坐标压缩往往受限，因为重建对空间误差非常敏感。

核心挑战：如何在保持高渲染质量的同时，显著降低 3DGS 的存储需求，同时避免复杂的结构开销并保留对几何和外观的灵活控制能力。

2. 方法论 (Methodology)

作者提出了 Smol-GS，一种新颖的神经高斯泼溅模型。其核心思想是：显式且高效地打包几何结构（坐标），并将视图依赖的外观特征抽象为低维特征。

Smol-GS 由以下五个关键部分组成：

2.1 坐标压缩：占用八叉树编码 (Coordinate Compression)

• 理念：受点云几何压缩启发，利用 3D 空间中的稀疏性。
• 实现：
  • 构建一个占用八叉树 (Occupancy-octree)。从包含所有高斯点的包围盒开始，递归地将空间划分为 8 个子块。
  • 仅对包含高斯点的非空子块进行进一步划分。
  • 每个划分层级生成一个 8 位的占用字节 (Occupancy byte)，指示哪些子块非空。
  • 量化：高斯点的坐标被量化为最细粒度八叉树单元的中心。
  • 熵编码：由于占用字节高度稀疏（大多数节点只有少数子块被占用），使用 Huffman 编码 对这些字节进行无损压缩。
• 优势：避免了“锚点 - 偏移量”结构带来的额外开销，实现了坐标的紧凑存储。

2.2 位置编码：基于空间划分的索引 (Positional Encoding)

• 创新：提出了一种从八叉树层级导出的位置编码 ($f_{oct}$)。
• 机制：每个高斯点根据其所在的最终八叉树叶节点，获得一个唯一的 Morton 码（Z-order 索引）作为位置嵌入。
• 作用：该编码作为 MLP 的输入，帮助网络学习空间局部性，增强了神经高斯泼溅的表示效率，无需显式存储原始浮点坐标即可恢复相对位置信息。

2.3 神经高斯泼溅与微小解码器 (Neural Gaussian Splats)

• 抽象特征：每个高斯点不再直接存储颜色、旋转、缩放等所有属性，而是存储一个低维的抽象特征向量 $f$ (维度 $n_f=8$) 和一个缩放控制器 $s$。
• 特征生成：在渲染时，将抽象特征 $f$、视图方向、距离以及位置编码 $f_{oct}$ 拼接，输入到一组微小的 MLP 解码器中。
• 输出：MLP 预测出每个高斯点的具体属性：不透明度 ($o$)、颜色 ($c$)、旋转 ($r$) 和缩放 ($s^*$)。
• 优势：将视图依赖的外观（如高光、材质）从显式参数中解耦，通过神经网络动态生成，大幅减少了存储参数。

2.4 特征压缩：算术编码 (Feature Compression)

• 机制：利用哈希网格辅助的算术编码（借鉴 HAC 方法）。
• 流程：
  1. 通过哈希网格查询空间描述符。
  2. 使用微小网络预测特征分布（高斯分布）和量化步长。
  3. 对特征 $f$ 和缩放控制器 $s$ 进行量化。
  4. 使用算术编码进行压缩。
• 损失函数：引入负对数似然 (NLL) 作为速率代理项，在训练过程中优化压缩率。

2.5 自适应密度控制与训练流程

• 训练阶段：分为五个阶段（热身、致密化、压缩、特征压缩、坐标压缩）。
• 策略：结合梯度引导的致密化（Densification）和基于不透明度的剪枝（Pruning），平衡重建保真度与模型大小。

3. 主要贡献 (Key Contributions)

1. Smol-GS 模型：提出了一种简单高效的策略，利用高度紧凑的逐点抽象特征和轻量级 MLP 来表示 3D 场景，消除了“锚点 - 偏移量”的结构开销，支持直接的逐点操作（如 3D 编辑）。
2. 八叉树导出的位置编码：提出了一种新的位置编码方法，显式建模空间局部性，显著提升了神经高斯泼溅的表示效率。
3. 极致的压缩性能：在保持高渲染质量的同时，将 3DGS 的存储需求降低了两个数量级（相比原始 3DGS 减少约 150 倍），并在多个基准测试中达到了 SOTA（State-of-the-Art）的压缩率 - 质量权衡。

4. 实验结果 (Results)

• 数据集：在 Mip-NeRF 360、Tanks and Temples 和 Deep Blending 等标准数据集上进行了评估。
• 压缩率：
  • 在 Mip-NeRF 360 上，Smol-GS 将模型大小从原始 3DGS 的 734 MB 压缩至 4.87 MB (Smol-GS-small)，压缩比高达 150 倍。
  • 相比之前的 SOTA 方法（如 HAC++, ContextGS, HEMGS），Smol-GS 在更小的模型体积下实现了相当甚至更好的 PSNR、SSIM 和 LPIPS 指标。
• 渲染质量：
  • 定性分析：Smol-GS 能够重建清晰的阴影边缘、材质效果（如高光、玻璃、平面墙壁），且伪影（Artifacts）少于原始 3DGS。
  • 定量分析：在 PSNR/SSIM 与模型大小的散点图中，Smol-GS 始终位于帕累托前沿（Pareto frontier），证明了其优越的率失真性能。
• 效率：
  • 训练时间：约 26.58 分钟（35k 迭代），与 HAC++ 相当。
  • 渲染速度：平均 241.3 fps，满足实时渲染需求。
  • 编解码速度：编码和解码时间均在秒级（约 1-3 秒），适合实际传输和存储场景。

5. 意义与影响 (Significance)

• 突破存储瓶颈：Smol-GS 解决了 3DGS 难以在资源受限设备（如移动端、VR/AR 头显）上部署的关键问题，使其从“几 GB"的庞然大物变为“几 MB"的轻量级模型。
• 架构创新：通过分离几何（显式八叉树）和外观（隐式神经特征），Smol-GS 提供了一种新的 3D 表示范式，避免了传统锚点方法的启发式缺陷。
• 应用前景：
  • 实时传输：极小的体积使得 3D 场景的流式传输成为可能。
  • 3D 编辑：由于保留了显式的几何结构和逐点特征，Smol-GS 兼容现有的 3DGS 编辑工具，支持更灵活的交互。
  • 未来方向：离散的抽象特征可作为 3D 信息 Token，为结合大语言模型（LLM）或其他多模态学习提供了新的可能性。

总结：Smol-GS 通过巧妙的八叉树坐标编码和神经特征抽象，成功实现了 3D 高斯泼溅的极致压缩，在保持高质量渲染的同时，将存储需求降低了两个数量级，是 3D 视觉领域迈向实用化、轻量化部署的重要一步。