arXiv👁️ cs.CV

Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting

本文提出了 Proxy-GS，一种利用快速代理系统生成精确遮挡深度图的新颖流程，旨在通过增强高斯原点的遮挡感知能力，在训练阶段引导致密化并优化遮挡区域，在推理阶段实现锚点剔除，从而在显著提升渲染质量的同时大幅降低计算开销。

Yuanyuan Gao, Yuning Gong, Yifei Liu, Li Jingfeng, Dingwen Zhang, Yanci Zhang, Dan Xu, Xiao Sun, Zhihang Zhong

发布于 2026-03-04
📖 1 分钟阅读☕ 轻松阅读
查看于 arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 Proxy-GS 的新方法，旨在解决 3D 场景重建（比如制作虚拟城市、VR 漫游）中“画面太卡”和“细节不够好”的矛盾。

为了让你轻松理解，我们可以把整个 3D 重建过程想象成在画一幅巨大的、立体的油画。

1. 背景：现在的画家遇到了什么麻烦？

以前的技术（叫 3DGS）就像是一群勤奋但有点盲目的画家。

  • 做法：他们试图在画布上撒满无数个小光点（高斯球），不管这个点后面有没有墙挡着，也不管观众能不能看见，他们都要拼命地把每个点都画出来，试图去拟合每一张照片。
  • 问题：
    1. 太累了（计算量大）：很多点其实被前面的物体挡住了（被遮挡），观众根本看不见，但画家还在浪费时间去渲染它们。
    2. 画错了地方：因为太想拟合照片，有些点会长在“空气”里或者被挡住的墙后面，导致画面结构混乱，看起来不够真实。
    3. 高级画家的代价：后来出现了一些“高级画家”（基于 MLP 的方法），他们能画出更细腻的纹理（比如窗户的格子、树叶的脉络），但因为他们要一边画一边做复杂的数学题（解码），速度变得非常慢。

2. 核心创意：请一位“速写向导” (The Proxy)

Proxy-GS 的聪明之处在于，它没有让画家直接对着复杂的照片死磕，而是先请了一位**“速写向导”**（这就是论文里的 Proxy Mesh）。

  • 向导是谁？ 它是一个非常粗糙、简单的 3D 模型（就像用乐高积木搭出来的城市轮廓，或者一张简单的线框图）。它不需要细节，只需要知道“哪里是墙，哪里是路，哪里是空的”。
  • 向导能做什么？ 它能在 1 毫秒 内（比眨眼还快）告诉画家：“在这个角度，只有这些区域是看得见的，后面的东西都被挡住了。”

3. 两大绝招：如何工作？

Proxy-GS 利用这位向导，在**训练（学习）和推理（画画）**两个阶段都发挥了巨大作用：

绝招一：训练时的“避坑指南” (Proxy-Guided Densification)

  • 以前的做法：画家发现某块地方画得不好（误差大），就盲目地在周围撒更多的点。结果，很多点撒在了被墙挡住的“死角”里，白忙活一场。
  • Proxy-GS 的做法：向导会告诉画家：“别往墙后面撒点！那里的点你看不到，画了也是浪费。”
  • 效果：画家只会在真正需要细节、且能被看见的表面上增加光点。这样，画出来的结构更合理，画面更清晰，而且没有浪费资源。

绝招二：画画时的“隐形剪刀” (Occlusion Culling)

  • 以前的做法：画家要把所有准备好的光点都拿出来渲染，哪怕有 80% 的点被前面的大楼挡住了。
  • Proxy-GS 的做法：在画家开始渲染之前，向导先快速扫一眼，用“隐形剪刀”把那些被挡住的点直接剪掉（剔除）。
  • 效果：画家只需要渲染剩下的、真正能看到的点。因为工作量大幅减少，渲染速度（FPS）瞬间飙升。

4. 为什么这么牛？（通俗版优势）

  1. 快如闪电：
    在复杂的城市街道（有很多高楼遮挡）场景下，它比目前最先进的同类技术（Octree-GS）快 2.5 到 3 倍。

    • 比喻：以前画一幅城市全景图要 1 分钟，现在只要 20 秒，而且画面更清晰。

  2. 画质更好：
    因为它不再把精力浪费在看不见的地方，而是集中火力优化可见的细节，所以画面看起来更真实，没有那种“糊成一团”或者“结构奇怪”的感觉。

  3. 不挑硬件：
    它巧妙地利用了显卡（GPU）原本就有的“快速绘图”功能（硬件光栅化），不需要昂贵的超级计算机，普通的消费级显卡（比如 RTX 4090）就能跑得飞快。

5. 总结

Proxy-GS 就像是给 3D 画家配了一个拥有“透视眼”的速写向导。

  • 在学习阶段，它教画家**“哪里该画，哪里别画”**，避免长歪。
  • 在展示阶段，它帮画家**“剪掉多余的废料”**，只展示观众能看见的部分。

最终结果是：画面更清晰，运行更流畅，让未来的 VR 漫游、元宇宙城市变得真正可行且流畅。

类似论文