3D Gaussian Splatting Data Compression via Adaptive Residual Quantization and Error Compensation
本文提出了 ARQEC，一种新颖的 3D 高斯泼溅（3D Gaussian Splatting）压缩框架，该框架通过采用自适应残差向量量化、上下文感知误差补偿以及基于渲染的率失真优化，实现了相比现有方法显著的存储空间缩减（高达 157 倍）和保真度提升。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下尝试在计算机中存储一个完整的、写实的 3D 世界。在过去的几年里，一种被称为 3D 高斯泼溅（3D Gaussian Splatting）的技术彻底改变了我们实现这一目标的方式。这种方法不再像电子游戏那样使用僵硬的三角形来构建场景，也不再使用需要耗费大量时间进行计算的复杂数学公式，而是将世界表示为数百万个微小的、模糊的彩色云团。每个“高斯”云团都包含了关于其位置、大小以及它所发出的颜色的信息。当计算机从特定角度观察这些云团时，它会瞬间将它们融合在一起，从而创造出清晰、高质量的图像。这使得实时探索虚拟空间成为可能，无论是城市的数字孪生还是沉浸式的历史重现。然而，这里有一个问题：为了让这些场景看起来真正完美，你需要数百万个这样的云团。存储这些云团的数据需要海量的空间，通常是数百兆字节甚至数个吉字节，这使得在日常设备上分享或使用变得十分困难。
杭州电子科技大学的研究人员通过一种旨在缩小这些 3D 世界体积而不损失视觉质量的新方法，解决了这个存储难题。他们的研究成果发表在一篇研究论文中，介绍了一个类似于高度智能压缩工具的系统。其核心思想是停止将场景中的每一个单独云团都视为需要相同程度的细节。在现实世界中，场景的某些部分是简单且均匀的，比如晴朗的蓝天；而另一些部分则是复杂且精细的，比如树木错综复杂的叶子或砖墙的纹理。研究人员发现，压缩这些 3D 场景的标准方式往往通过给蓝天和复杂的叶子提供相同水平的细节来浪费空间。他们的新方法被称为 ARQEC，通过对场景的每个部分进行单独观察，并决定每个部分究竟需要多少信息才能看起来效果良好。
该过程首先将附近的云团组合在一起，归于一个单一的“锚点”（anchor）之下，该锚点作为一个参考点。研究人员随后使用多步骤过程来存储这些锚点的数据。首先，他们将复杂的数据分解成层，类似于剥洋葱。他们保留最重要、最宏观的信息，然后仅在必要时添加更精细的细节。至关重要的是，他们的系统是自适应的。对于场景中简单的部分，系统可能会在第一层或第二层细节后停止，从而节省大量空间。对于复杂的场景部分，它则会继续添加更多层级。这种决策并非随机做出；系统会计算增加另一层细节是否值得所消耗的额外存储空间。如果额外的细节并不能显著改善图像，系统就会跳过它。
一旦数据被压缩，可能会出现图像变得模糊或失真的风险，因为部分信息被丢弃了。为了解决这个问题，研究人员构建了一个像智能修理队一样的恢复系统。他们利用场景的周围上下文来推测缺失的细节应该是什么样子。如果一个云团靠近一堵墙，系统会利用墙壁的模式来帮助更准确地重建云团的形状和颜色。此外，他们意识到分别压缩云团的位置和颜色可能会导致它们发生偏移。他们的系统包含一个最终的调整步骤，根据恢复的信息重新对齐这些部分，确保颜色保持在物体上，且形状保持稳固。
这种方法的成果是显著的。在各种现实世界的 3D 场景中进行测试时，该方法成功地大幅缩小了文件体积。与原始的、未压缩的场景版本相比，新方法将存储需求降低了 47 到 157 倍。更令人印象深刻的是，与之前用于压缩这类特定类型 3D 数据的最佳方法相比，该方法实现了高达 1.5 倍的额外缩减。尽管实现了如此巨大的缩减，视觉质量仍然保持得非常高。从压缩数据生成的图像与原图几乎无法分辨，保持了锐利的边缘和鲜艳的色彩。在某些测试中，压缩后的模型仅比几兆字节稍大，却能渲染出此前需要数百兆字节才能呈现的场景。
研究人员还将他们的方法与其他现有的压缩技术进行了对比测试，发现其在尺寸和质量方面均表现优异。他们证明了，通过聪明地选择保留哪些细节以及丢弃哪些细节，并利用周围环境来填补空白，就可以用极小部分的存储空间来存储复杂的 3D 世界。这项工作表明，目前需要强大计算机和大型驱动器支持的高保真 3D 体验，很快就能在更小的设备上实现。该研究证实，高效存储的关键不在于不加区别地丢弃数据，而在于理解场景中每个部分的特定需求，并据此调整存储策略。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。