💻 computer science

Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

本文提出了专为移动设备设计的 Mobile-GS 方法，通过深度感知无关排序渲染、神经视角增强策略以及结合神经网络的压缩剪枝技术，成功解决了 3D 高斯泼溅在移动端部署时的计算与存储瓶颈，实现了实时、紧凑且高质量的渲染。

原作者： Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Mobile-GS 的新技术，它的目标非常明确：让手机也能像顶级电脑一样，流畅、清晰地播放超逼真的 3D 虚拟世界。

为了让你轻松理解，我们可以把这项技术想象成是在解决一个“如何在拥挤的公交车上，让每个人都看清窗外风景”的难题。

1. 背景：为什么以前的方法在手机上跑不动？

想象一下，传统的 3D 技术（叫 3DGS）就像是用几百万个透明的彩色玻璃碎片来拼凑一个场景。

优点：拼出来的画面极其逼真，光影效果完美。
缺点：为了把这些碎片拼好，电脑必须先给它们排队。
- 这就好比公交车上的乘客（玻璃碎片），必须按“谁离车窗近、谁离得远”的顺序排好队，画家才能一层层地画上去，否则近处的物体会被远处的挡住，或者画面会乱成一团。
- 问题所在：给几百万个碎片排队（排序）非常耗时。在强大的电脑显卡上，这还能勉强应付；但在手机这种“小引擎”上，排队的时间太长，导致画面卡顿，根本没法实时播放。

2. Mobile-GS 的三大绝招

为了解决这个问题，作者给手机量身定制了一套“新玩法”，主要靠三个聪明的策略：

绝招一：不再排队，直接“大锅炖” (深度感知无排序渲染)

旧方法：必须一个个排队，按顺序画。
Mobile-GS 的新方法：取消排队！
- 想象一下，画家不再一个个画，而是把所有玻璃碎片同时扔进一个大锅里，根据它们离窗户的远近，自动调整透明度。
- 离窗户近的碎片，颜色就浓一点；离得远的，颜色就淡一点。
- 效果：省去了最耗时的“排队”环节，速度瞬间提升了几倍。虽然偶尔会有点“糊”（因为没严格排队），但速度极快。

绝招二：请个“智能修图师” (神经视角增强)

问题：既然不排队了，那些重叠在一起的碎片可能会看起来有点透明、不真实（比如树叶后面的人脸变得半透明）。
Mobile-GS 的补救：引入一个微型 AI 修图师。
- 这个 AI 专门负责观察：“哎呀，这块玻璃虽然离得远，但因为它挡住了后面的东西，所以我要把它调得更实一点。”
- 它会根据你看的角度，智能地修补那些因为“不排队”而产生的瑕疵，让画面重新变得清晰、真实。

绝招三：超级压缩与“断舍离” (蒸馏、量化与剪枝)

手机内存小，存不下几百万个碎片。Mobile-GS 做了两件事：

超级压缩（蒸馏与量化）：
- 以前每个碎片都要记一大串复杂的颜色数据（像背整本字典）。
- 现在，Mobile-GS 让碎片们“只记关键词”（一阶球谐函数），并且把数据打包压缩（向量量化）。
- 比喻：就像把一本厚厚的百科全书，压缩成了一张只有几 MB 的二维码。手机扫一下就能还原出原本的内容，但占用的空间却小得惊人。
智能“断舍离”（剪枝）：
- 并不是所有碎片都有用。有些碎片太小、太透明，根本看不清，或者对画面贡献很小。
- Mobile-GS 会把这些“混日子”的碎片直接扔掉，只留下真正重要的。
- 结果：原本需要 1GB 空间才能存下的场景，现在只需要 4.8 MB（相当于几张高清照片的大小）就能存下！

3. 成果：手机也能飞起来

通过这一套组合拳，Mobile-GS 取得了惊人的效果：

速度：在最新的手机芯片（骁龙 8 Gen 3）上，它能达到 116 帧/秒 的流畅度。这意味着你戴上 VR 眼镜或看 3D 视频时，画面丝滑得像真的一样，完全没有卡顿。
画质：虽然速度这么快，但画质并没有牺牲太多，依然非常逼真，甚至能看清细节。
体积：模型大小从原来的几百兆甚至几 GB，压缩到了几兆，手机随便就能存下几十个这样的场景。

总结

简单来说，Mobile-GS 就是给 3D 世界做了一次彻底的“瘦身”和“提速”手术：

不排队了（省时间）；
请 AI 帮忙修图（保质量）；
把数据压缩并扔掉没用的（省空间）。

这让原本只能在昂贵电脑上运行的超逼真 3D 技术，终于能轻松跑在你的手机上，为未来的 AR 眼镜、手机 3D 游戏和虚拟旅游打开了大门。

1. 研究背景与问题 (Problem)

3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 作为一种新兴的 3D 场景表示方法，能够实现高质量的新视角合成和逼真的渲染。然而，将其部署在移动设备（如智能手机、AR 眼镜）上面临巨大挑战：

计算瓶颈： 传统的 3DGS 渲染依赖于Alpha 混合，这需要按深度对高斯球进行排序（Depth Sorting）。这一排序过程计算开销巨大，是移动端实时渲染的主要瓶颈（如图 2 所示，排序占据了大量推理时间）。
存储成本： 原始 3DGS 模型体积庞大（通常在几百 MB 到 GB 级别），且使用高阶球谐函数（SH）表示外观，参数冗余度高，难以在内存受限的移动设备上加载。
实时性需求： 移动 GPU（如 Snapdragon 8 Gen 3）算力有限，难以在保持高帧率（FPS）的同时处理数万个高斯原语的排序和渲染。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 Mobile-GS，这是一个专为移动端设计的实时高斯泼溅框架。其核心包含以下四个关键技术组件：

2.1 深度感知无关排序渲染 (Depth-Aware Order-Independent Rendering)

痛点解决： 摒弃了传统依赖深度排序的 Alpha 混合流程。
机制： 提出了一种深度感知的权重策略。不再按顺序混合，而是并行计算所有相关 3D 高斯对像素的贡献。
- 引入可学习的权重函数 $w_i$ ，根据高斯球到相机的距离（深度 $d_i$ ）和尺度（Scale）动态调整权重。
- 公式逻辑： 远处的高斯球权重降低，近处且尺度大的高斯球权重增加。
- 优势： 彻底消除了耗时的排序步骤，实现了并行化渲染，大幅提升了推理速度。

2.2 神经视角依赖增强 (Neural View-Dependent Enhancement)

痛点解决： 无序混合（Order-Independent）虽然快，但在几何重叠区域容易产生透明度伪影（Transparency Artifacts），因为缺乏严格的深度遮挡关系。
机制： 设计了一个轻量级的多层感知机 (MLP) 来预测每个高斯球的视角依赖不透明度 (View-Dependent Opacity)。
- 输入： 相机到高斯球的方向向量、高斯的尺度、旋转、球谐系数等几何与外观特征。
- 输出： 一个标量 $\phi$ （深度衰减因子）和修正后的不透明度 $o_i$ 。
- 作用： 神经网络学习如何根据视角动态抑制被遮挡区域的透明度，从而在无需排序的情况下恢复高质量的几何细节和遮挡关系。

2.3 一阶球谐函数蒸馏与神经向量量化 (Distillation & Quantization)

一阶 SH 蒸馏： 原始 3DGS 使用三阶球谐函数（16 个系数/通道），存储开销大。Mobile-GS 采用一阶 SH 蒸馏（4 个系数/通道），利用预训练的 Teacher 模型（如 Mini-Splatting）指导 Student 模型学习，在大幅减少参数量的同时保持外观质量。
神经向量量化 (Neural Vector Quantization, NVQ)：
- 将高斯属性向量通过 K-Means 聚类分解为子向量。
- 为每个子簇构建独立的码本（Codebook），并使用轻量级 MLP 解码器重构球谐特征。
- 结合 Huffman 编码，进一步压缩存储，将模型体积从 GB 级压缩至 MB 级。

2.4 基于贡献的剪枝 (Contribution-Based Pruning)

机制： 在训练过程中，联合考虑高斯球的不透明度 (Opacity) 和 最大尺度 (Scale)。
策略： 只有当高斯球同时具有低不透明度和小尺度（即对场景贡献极小）时，才将其标记为剪枝候选。通过累积投票机制，逐步移除冗余的高斯原语，进一步减小模型大小。

3. 主要贡献 (Key Contributions)

首个移动端实时 3DGS 方法： 提出了 Mobile-GS，是第一个能在移动设备（Snapdragon 8 Gen 3）上实现 116 FPS（1600×1063 分辨率）实时渲染的高斯泼溅方法。
消除排序瓶颈： 创新性地提出了深度感知无关排序渲染方案，解决了传统 3DGS 在移动端最大的性能瓶颈。
高质量压缩与增强： 结合了一阶 SH 蒸馏、神经向量量化和基于贡献的剪枝，将模型存储从数百 MB 压缩至 4.8 MB，同时通过神经视角增强策略弥补了无序渲染带来的质量损失。
全面实验验证： 在多个数据集（Mip-NeRF 360, Tanks&Temples, Deep Blending）上验证了方法的有效性，证明了其在画质、速度和存储上的综合优势。

4. 实验结果 (Results)

4.1 性能对比 (PC 端 RTX 3090 Ti)

速度： Mobile-GS 在无限场景下达到 1098 FPS，远超原始 3DGS (174 FPS) 和其他轻量化方法（如 SortFreeGS 731 FPS）。
存储： 模型大小仅为 4.8 MB（原始 3DGS 为 839.9 MB），压缩率极高。
画质： PSNR 达到 27.12 (Mip-NeRF 360)，与原始 3DGS (27.21) 相当，且优于其他轻量化方法（如 LightGaussian, AdR-Gaussian）。

4.2 移动端部署 (Snapdragon 8 Gen 3)

帧率： 在 1600×1063 分辨率下，Mobile-GS 实现了 116 FPS 的实时渲染。
对比： 相比量化后的 3DGS (8 FPS) 和 Mini-Splatting (12 FPS)，Mobile-GS 的速度提升了近 10 倍，同时保持了更高的画质（PSNR 27.12 vs 27.02）。
存储： 移动端模型体积仅为 4.6 MB。

4.3 消融实验

排序移除： 移除排序步骤使速度提升显著，但画质略有下降；引入神经视角增强后，画质恢复甚至超越原始 3DGS 在视角依赖效果上的表现。
量化与蒸馏： 神经向量量化和一阶 SH 蒸馏是降低存储和实现轻量化的关键，移除它们会导致存储激增或速度下降。
剪枝策略： 联合基于不透明度和尺度的剪枝比单一标准剪枝效果更好，能在减少高斯数量（从 0.56M 降至 0.47M）的同时保持 PSNR 不降。

5. 意义与影响 (Significance)

推动边缘计算应用： Mobile-GS 证明了高保真 3D 重建和渲染可以在资源受限的移动设备上实时运行，为AR/VR、自动驾驶、移动游戏等应用提供了可行的技术路径。
重新定义渲染管线： 通过“去排序化”和“神经增强”的结合，打破了传统图形学中深度排序的教条，为实时渲染算法设计提供了新的范式。
高效压缩新标准： 提出的压缩策略（蒸馏+量化+剪枝）为 3D 场景表示的轻量化树立了新的基准，展示了如何在极小的存储预算下保留高视觉 fidelity。

总结： Mobile-GS 通过一系列针对移动端的优化技术，成功解决了 3DGS 在移动端部署的“速度 - 质量 - 存储”不可能三角，实现了在保持接近原始 3DGS 画质的同时，实现了百帧级的实时渲染和极致的模型压缩。