A 129FPS Full HD Real-Time Accelerator for 3D Gaussian Splatting

本文提出了一种基于 TSMC 28nm 工艺的 3D 高斯泼溅（3DGS）硬件加速器，通过结合模型压缩、零雅可比矩阵乘法跳过及无比较排序等优化技术，在 0.66 mm²的小面积和 0.219 W 的低功耗下实现了 1080p 分辨率 129 FPS 的实时渲染，其能效和吞吐量均显著优于现有方案。

要点

这篇文章介绍了一项非常酷的技术突破：研究人员发明了一种**“超级加速器”**，能让普通的 AR/VR 眼镜（就像未来的智能眼镜或 VR 头显）以极快的速度、极低的功耗，实时渲染出超高清的 3D 世界。

为了让你更容易理解，我们可以把这项技术想象成**“给 3D 世界做了一场完美的‘瘦身’手术，并配上了一个特制的‘高速流水线工厂’"**。

以下是用大白话和比喻为你拆解的核心内容：

1. 背景：为什么我们需要这个？

现状： 现在的 3D 技术（叫 3DGS）能生成像照片一样逼真的虚拟世界，但它太“胖”了。

• 比喻： 想象你要把一座巨大的城市（3D 场景）装进你的口袋里（AR/VR 眼镜）。现在的 3D 数据就像把整座城市的每一块砖、每一片树叶都原封不动地搬进去，结果口袋根本装不下，而且搬运（计算）起来累得气喘吁吁，电池瞬间就没电了。
• 问题： 现有的电脑显卡（GPU）能处理，但戴在头上的眼镜设备太小、电池太小，带不动这么重的数据。

2. 解决方案一：给数据“瘦身”（模型压缩）

研究人员没有硬搬，而是先给 3D 世界做了一次彻底的“减肥”。

• 剪掉多余的毛发（迭代修剪）： 就像理发师剪头发，先剪掉一大半，然后照照镜子（微调），觉得哪里剪多了就补一点，再剪。他们反复这样做，把没用的 3D 点（高斯点）大量删掉，只留下最关键的。
• 简化颜色描述（球谐函数降维）： 以前描述一个物体的颜色光影，就像用一本厚厚的百科全书来写。现在他们把百科全书压缩成一张“速写卡”，虽然细节少了一点点，但一眼看过去完全一样。
• 打包行李（向量量化）： 把成千上万种相似的颜色打包成几个“标准色卡”，用编号代替具体的颜色值。
• 成果： 他们把原本巨大的模型压缩了 51.6 倍！这就好比把一座摩天大楼压缩成了一个精致的模型，虽然小了点，但看起来还是那座楼，而且画质损失微乎其微（就像你拿放大镜看才看得出区别）。

3. 解决方案二：特制“高速流水线工厂”（硬件加速器）

光有瘦身的数据还不够，还得有个专门干活的“小工厂”来快速处理这些数据。他们设计了一个芯片（硬件加速器），专门干这件事。

• 只干有用的活（剔除不可见部分）： 在渲染画面时，很多物体其实是被挡在后面的，或者在镜头看不见的地方。这个芯片非常聪明，它会在开始前就把这些“看不见”的物体直接扔掉，不浪费一秒钟去计算它们。
  • 比喻： 就像你准备做一顿大餐，但发现冰箱里有些菜已经烂了，或者客人根本不吃香菜，你就直接把它们扔进垃圾桶，只处理能吃的菜。
• 跳过零乘法（零雅可比矩阵跳过）： 在数学计算中，有些步骤是乘以 0，结果肯定是 0。这个芯片会直接跳过这些步骤，不计算。
  • 比喻： 就像你算账时，发现有一项是"0 元”，你直接划掉，不用拿计算器按了。这省下了 63% 的力气。
• 流水线作业（分块排序）： 以前处理几百万个点，要像整理图书馆一样，把所有书按顺序排好，非常慢。现在他们把画面切成很多小方块（像瓷砖一样），每个小方块里只排自己的顺序。
  • 比喻： 以前是全校学生排成一列长龙；现在是把学生分成 100 个小组，每个小组在自己教室里排队，最后拼起来。速度快了，而且不需要大家互相等待。
• 见好就收（早期终止）： 在画一个像素点时，如果前面的物体已经足够遮挡，后面的物体再画也没意义了，芯片会直接停止计算。

4. 最终成果：快如闪电，省电如风

这个“瘦身 + 特制工厂”的组合拳效果惊人：

• 速度： 能在 1080p 的高清分辨率下，每秒渲染 129 帧 画面。这是什么概念？现在的电影是 24 帧，普通游戏是 60 帧，这个速度比电影快 5 倍多，画面丝滑到连眨眼都看不清。
• 省电： 功耗只有 0.219 瓦。
  • 比喻： 这相当于一个小小的 LED 灯泡的功耗。这意味着你的 AR 眼镜可以戴上一整天都不用充电，而不是像现在这样戴半小时就没电。
• 小巧： 芯片面积只有 0.66 平方毫米，比指甲盖还小很多，非常适合塞进眼镜腿里。

总结

简单来说，这篇论文就是把原本笨重、耗电的 3D 渲染技术，通过“疯狂瘦身”和“特制流水线”改造，变成了一种能在普通眼镜上实时运行的“超光速、超省电”技术。

这意味着，未来我们戴上的 AR 眼镜，不仅能看清虚拟的恐龙在客厅里奔跑，而且不会让眼镜变得像砖头一样重，也不会让你出门必须带个充电宝。这是通往“元宇宙”和“增强现实”日常化的一大步。

技术摘要

这是一篇关于3D 高斯泼溅（3D Gaussian Splatting, 3DGS）实时硬件加速器的论文详细技术总结。该研究旨在解决在 AR/VR 等边缘设备上部署大规模、无界 3D 场景渲染时面临的计算、带宽和存储瓶颈。

以下是该论文的核心内容总结：

1. 研究背景与问题 (Problem)

• 挑战： 3DGS 虽然能在 GPU 上实现高质量实时渲染，但其模型通常包含数百万个高斯点，导致巨大的内存占用和带宽需求。这使得它难以直接部署在资源受限的便携式 AR/VR 设备上。
• 现有方案局限：
  • 软件压缩： 大多数现有的压缩方法（如 LightGaussian）针对 GPU 优化，未考虑硬件友好性，且压缩率不足以支撑低功耗边缘设备。
  • 现有硬件加速器： 现有的 3DGS 硬件加速器通常直接实现原始算法，导致面积和功耗过高，无法满足实时全高清（Full-HD）渲染的低功耗和高吞吐要求。
• 目标： 设计一个低功耗、低成本的专用硬件加速器，配合高效的模型压缩方案，在 AR/VR 边缘设备上实现 1080p 分辨率、120 FPS（每眼）的实时渲染。

2. 方法论 (Methodology)

该研究采用了**软硬件协同设计（Hardware-Compression Co-design）**策略，分为模型压缩和硬件架构优化两部分。

A. 模型压缩方案 (Model Compression)

基于 LightGaussian 进行改进，旨在将模型压缩比从 15 倍提升至51.6 倍，同时保持可接受的画质损失（PSNR 仅下降 0.743 dB）。

1. 迭代高斯剪枝与微调 (Iterative Pruning & Fine-tuning)： 不采用单步激进剪枝，而是分阶段逐步剪枝，并在每阶段间插入微调，以恢复视觉质量并减少高斯点数量。
2. 渐进式球谐函数（SH）降阶 (Progressive SH-degree Reduction)： 通过迭代蒸馏逐步降低 SH 的阶数，避免一次性降阶导致的画质骤降，平滑质量与压缩的权衡。
3. 全量矢量量化 (Vector Quantization, VQ)： 对所有 SH 系数和颜色进行矢量量化（而不仅仅是低显著性子集），进一步减少每个高斯点的存储需求。

B. 硬件加速器架构 (Hardware Accelerator)

设计了一个帧级流水线（Frame-level Pipeline），结合点级（Point-based）和瓦片级（Tile-based）处理，以最大化硬件利用率并降低延迟。

1. 预处理阶段 (Preprocessing)：
   • 近平面剔除 (Near-plane Culling)： 使用轴对齐包围盒（AABB）剔除相机近平面后的不可见高斯点，减少约 56% 的无效计算和内存访问。
   • 跳过零雅可比矩阵乘法 (Skip Zero-Jacobian Multiplications)： 利用投影矩阵中固有的零元素，跳过不必要的乘法运算。这使得处理单元（PE）阵列从 4x4 缩减为 6x1，减少了 63% 的 PE 数量和 53% 的计算量。
2. 渲染阶段 (Rendering)：
   • 无比较的瓦片级排序 (Comparison-free Tile-based Sorting)： 针对 3DGS 的 $\alpha$-混合特性，采用基于 <tile-id, depth> 键值的无比较排序算法。该算法具有确定性延迟（O(N)），避免了全局排序的高开销，并支持前向到后向的混合。
   • 自适应缓冲与早期终止 (Early Termination)： 引入键值全局预取缓冲（Key-Value Global Prefetch Buffer）应对每瓦片高斯点数量的剧烈波动。在 $\alpha$-混合过程中，当透射率低于阈值时提前终止，节省计算资源。
   • 混合粒度流水线： 预处理采用点级处理，渲染采用瓦片级（16x16 像素）处理，通过帧级流水线隔离数据依赖，优化资源调度。

3. 关键贡献 (Key Contributions)

1. 超高压缩率模型： 提出了一种改进的压缩流水线，实现了51.6 倍的模型大小缩减，PSNR 损失仅为 0.743 dB，显著优于现有方法（如 LightGaussian 的 15 倍）。
2. 专用硬件架构： 设计了首个针对 3DGS 的专用硬件加速器，集成了近平面剔除、零雅可比跳过和确定性延迟排序，显著降低了面积和功耗。
3. 性能突破： 在 TSMC 28nm 工艺下，实现了129 FPS的 1080p 实时渲染，吞吐量达到 267.5 Mpixels/s，能效比高达 1219 Mpixels/J。
4. 协同设计验证： 证明了为了在低功耗边缘设备上实现实时渲染，仅靠硬件加速是不够的，必须配合激进的模型压缩（超越 LightGaussian 级别）才能满足功耗预算。

4. 实验结果 (Results)

• 硬件指标 (TSMC 28nm, 800 MHz)：
  • 面积： 0.66 mm²（包含 1.14M 门电路和 120 kB SRAM）。
  • 功耗： 0.219 W。
  • 能效： 1219 Mpixels/J。
• 对比优势：
  • 与之前的 3DGS 加速器 [10] 相比：面积缩小 5.98 倍，吞吐量提高 3 倍，能效提高 7.5 倍。
  • 与 [12] 相比：面积缩小 3.75 倍，能效提高 10.69 倍。
• 压缩效果：
  • 模型大小从 GB 级降至 MB 级（例如 Mip-NeRF360 数据集从 8.6 MB 降至 14 MB，具体取决于场景，总体压缩比 51.6 倍）。
  • 在 Mip-NeRF360、Tanks&Temples 和 Deep Blending 数据集上，PSNR 平均下降 0.743 dB，SSIM 和 LPIPS 指标保持竞争力。
• 消融实验： 证明了近平面剔除、零雅可比跳过和早期终止三个优化项共同将吞吐量从 20.4 FPS 提升至 129 FPS。

5. 意义与影响 (Significance)

• 推动 AR/VR 落地： 该工作解决了 3DGS 在移动和边缘设备上部署的核心瓶颈（存储和功耗），使得在电池供电设备上实现高质量、实时的 3D 场景渲染成为可能。
• 设计范式转变： 展示了“软硬件协同设计”在新兴渲染技术中的重要性。单纯优化算法或单纯优化硬件都无法达到最佳效果，必须根据硬件约束（如 SRAM 大小、功耗预算）定制压缩策略，并针对压缩后的数据流设计专用硬件。
• 能效标杆： 为未来的 3D 图形处理硬件设计提供了新的能效基准，证明了通过算法简化（如跳过零运算）和架构创新（如无比较排序）可以大幅降低计算成本。

总结： 这篇论文成功地将 3DGS 从“桌面级 GPU 技术”转化为“边缘级实时技术”，通过 51.6 倍的模型压缩和高度优化的专用硬件架构，在极低的功耗（0.219W）和面积（0.66mm²）下实现了 1080p@129FPS 的渲染性能，为下一代 AR/VR 设备提供了关键的技术支撑。