💻 computer science

Stochastic Ray Tracing for the Reconstruction of 3D Gaussian Splatting

该论文提出了一种可微且无需排序的随机射线追踪框架，通过无偏蒙特卡洛估计器仅对每条射线采样少量高斯球来计算梯度，从而在保持重建质量与速度的同时，克服了传统光栅化方法的物理限制并显著提升了可重光照场景的渲染保真度。

原作者： Peiyu Xu, Xin Sun, Krishna Mullia, Raymond Fei, Iliyan Georgiev, Shuang Zhao

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiyu Xu, Xin Sun, Krishna Mullia, Raymond Fei, Iliyan Georgiev, Shuang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让计算机“画”出 3D 世界的新方法，它结合了**3D 高斯泼溅（3DGS）的极速和光线追踪（Ray Tracing）**的真实感。

为了让你轻松理解，我们可以把重建 3D 场景想象成在黑暗的房间里用手电筒照出一堆漂浮的彩色玻璃球。

1. 以前的难题：要么快，要么真

传统方法（像喷绘）： 以前的 3D 技术（如标准的 3DGS）就像是用喷枪把颜料喷在墙上。它速度极快，能实时渲染，但有个大缺点：它假设光线是直直地打在物体上，不会反射，也不会产生真实的阴影。就像你画一幅画，阴影是硬涂上去的，不够自然。
光线追踪方法（像探照灯）： 另一种方法是“光线追踪”，它模拟真实光线在物体间弹射。这能产生完美的阴影、反射和折射，非常逼真。但它的计算量巨大，就像你要数清楚每一束光撞到了多少个玻璃球，还要按顺序排列谁在前谁在后。这太慢了，电脑会累死。

核心矛盾： 想要快，就得牺牲真实感；想要真实感，就得牺牲速度。

2. 这篇论文的妙招：随机抽样（“猜”的艺术）

作者提出了一种**“随机光线追踪”**的方法，核心思想是：既然数清楚所有球太慢，那我们就“猜”几个代表性的球不就行了吗？

比喻：排队买奶茶

想象你要计算一排排队的顾客（玻璃球）中，谁挡住了后面的视线。

传统光线追踪（排序法）： 必须让所有人按身高（深度）排好队，从后往前一个个数，非常慢。
作者的随机法： 你不需要排队。你拿着一个骰子，随机选几个顾客。
- 如果你选到了最前面的顾客，你就知道后面的人都被挡住了。
- 如果你选到了后面的顾客，你就知道前面的人可能挡住了他。
- 通过这种**“无偏的随机猜测”**，你不需要知道所有人的顺序，就能算出最终的颜色和阴影。

3. 两大突破

A. 重建速度：和喷绘一样快

在重建 3D 场景（也就是让电脑学习怎么画出这个场景）时，以前的光线追踪方法因为要“排序”，速度慢得像蜗牛。

新方法： 因为不需要排序，只需要随机采样一小部分，速度直接提升了数倍，达到了和传统喷绘方法（3DGS）一样的速度，但画面质量却更好。

B. 可重光照（Relightable）：换个灯，场景自动变

这是最酷的部分。以前的技术，如果你把场景里的灯从“台灯”换成“夕阳”，画面里的阴影和反光往往对不上，因为它们是“死”的。

新方法： 因为它是基于真实光线计算的，所以你可以随意改变光源。
- 把台灯换成聚光灯？阴影瞬间变锐利。
- 把室内换成户外夕阳？玻璃球上的反光和阴影会自动调整，完美贴合新环境。
- 这就好比给 3D 物体穿上了“智能皮肤”，无论光照怎么变，它都能表现出真实的物理反应。

4. 它是如何工作的？（简单版）

前向渲染（画图）： 电脑发射一束光线穿过场景。它不数所有球，而是随机“抓”几个球。如果抓到的球挡住了视线，就记录它的颜色；如果没抓到，就继续抓。重复几次，就能算出像素的颜色。
反向传播（学习）： 这是最难的一步。通常，随机过程很难让电脑“知道”哪里算错了。作者发明了一种数学技巧，让电脑即使在随机抓球的情况下，也能准确知道“哪个球的位置不对”或“哪个球的颜色不对”，从而修正模型。
- 比喻： 就像蒙着眼睛投篮，虽然你不知道球具体怎么进的，但通过一种特殊的反馈机制，你依然能知道手该往哪个方向调整，下次投得更准。

5. 总结：为什么这很重要？

对普通人： 以后你在手机或 VR 眼镜里看到的 3D 场景，不仅加载快，而且光影效果像电影一样真实。你可以随意改变房间里的灯光，物体都会做出真实的反应。
对行业： 自动驾驶、数字孪生、游戏开发等领域，不再需要在“速度”和“质量”之间做痛苦的选择。

一句话总结：
这篇论文发明了一种**“既不用排队，又能算得准”的魔法，让 3D 场景既能秒级生成**，又能像真实世界一样随光而变。

这是一篇关于**3D 高斯泼溅（3D Gaussian Splatting, 3DGS）重建与渲染的学术论文总结。该论文提出了一种可微分的随机光线追踪（Differentiable Stochastic Ray Tracing）**框架，旨在解决传统光栅化方法的局限性以及现有排序式光线追踪方法效率低下的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

3DGS 的局限性： 现有的 3DGS 主要依赖光栅化（Rasterization）。虽然速度快，但存在固有缺陷：
- 假设刚性针孔相机模型，难以处理非线性镜头（如鱼眼）。
- 阴影、反射和折射效果不准确或缺失。
- 缺乏原生的重光照（Relightable）能力。
现有光线追踪方法的瓶颈： 基于光线追踪的 3DGS 方法虽然能解决上述问题，但存在严重性能瓶颈：
- 排序成本高： 为了正确计算像素颜色，必须对每条光线穿过的所有高斯体按深度进行排序（Sorting），这在高斯数量巨大时计算极其昂贵。
- 重光照近似： 现有的可重光照 3DGS 方法在光线追踪框架下，仍被迫使用光栅化风格的近似技术（如阴影映射 Shadow Mapping）来模拟阴影，破坏了光线追踪的通用性和物理准确性。
现有随机方法的不足： 虽然 Sun 等人 [29] 提出了无需排序的随机光线追踪渲染方法，但该方法是不可微分的，无法用于场景重建（Reconstruction）。

2. 核心方法论 (Methodology)

论文提出了一种无需排序的随机蒙特卡洛估计器，用于计算像素颜色的梯度，从而实现高效的可微分光线追踪。

2.1 随机梯度估计 (Stochastic Gradient Estimation)

核心思想： 传统的确定性混合（Alpha Blending）需要排序。作者提出使用无偏蒙特卡洛估计器，每条光线仅采样一小部分高斯体来计算梯度，从而绕过排序需求。
前向传播（渲染）： 沿光线随机采样一个高斯体 $g_I$ ，其被选中的概率与其不透明度 $\alpha$ 及前方高斯体的透射率相关。最终像素颜色估计为选中高斯的颜色 $c_I$ 。
反向传播（梯度计算）：
- 目标是计算颜色 $C$ 对高斯颜色 $c_i$ 和不透明度 $\alpha_i$ 的梯度。
- 关键技巧： 利用前向传播中采样的索引 $I$ ，直接构建梯度的无偏估计。
- 双重采样： 为了计算 $\partial C / \partial \alpha_I$ ，需要知道 $g_I$ 后方所有高斯的混合贡献。为了避免排序，作者引入了第二次随机采样，从 $g_I$ 后方采样另一个高斯 $g_K$ 。
- 梯度公式： 梯度的估计值简化为选中高斯颜色 $c_I$ 与后方采样高斯颜色 $c_K$ 的差值除以不透明度： $\langle \frac{\partial C}{\partial \alpha_I} \rangle \propto \frac{c_I - c_K}{\alpha_I}$ 。
- 这种方法完全避免了显式排序，且估计是无偏的（Unbiased）。

2.2 可重光照 3DGS (Relightable 3DGS)

物理光照模型： 将每个高斯体的颜色 $c_i$ 定义为入射光照的球面积分（基于渲染方程），而非固定颜色。
神经解码器： 使用一个共享的轻量级神经网络 $\Theta$ 来近似 BRDF 和光照积分，输入包括入射/出射方向、高斯潜变量特征等。
精确阴影计算：
- 在计算光照时，需要计算从光源到当前高斯的透射率（Transmittance）。
- 利用修改后的随机算法（Algorithm 1 的变体）沿阴影光线采样，判断是否有遮挡。
- 优势： 无需阴影映射（Shadow Mapping）或专门的阴影预测网络，直接通过光线追踪获得物理准确的阴影和反射。

3. 主要贡献 (Key Contributions)

首个可微分随机框架： 提出了第一个利用随机光线追踪同时实现标准 3DGS 和可重光照 3DGS 场景重建与渲染的框架。
无偏排序-free 算法： 设计了一种无偏蒙特卡洛估计器，仅需评估每条光线上的少量采样高斯，即可准确计算像素颜色梯度，彻底消除了深度排序的开销。
物理准确的重光照： 将同一随机估计器扩展到阴影光线和环境光照积分中，实现了基于全光线追踪的阴影和反射，显著优于依赖光栅化近似的方法。
性能与质量的双重突破： 在重建速度上匹配光栅化 3DGS，同时大幅超越基于排序的光线追踪方法；在重光照场景下，重建保真度显著高于现有 SOTA 方法。

4. 实验结果 (Results)

新视角合成 (Novel View Synthesis)：
- 在 MipNeRF-360、Tanks & Temples 等基准测试中，该方法的重建质量（PSNR/SSIM）与光栅化 3DGS 相当。
- 速度优势： 相比基于排序的光线追踪（3DGRT），训练速度提升了约 2 倍（例如 MipNeRF-360 上从 69 分钟降至 33 分钟），且与光栅化 3DGS 速度相当。
可重光照重建 (Relightable Reconstruction)：
- 在 NRHints 数据集上，与 RNG、GS3 等 SOTA 方法相比，该方法在 PSNR 和 SSIM 指标上全面领先。
- 视觉效果： 能够生成高质量的阴影和几何细节，无需专门的阴影处理模块。即使在仅使用点光源训练的情况下，也能在未见过的环境光照（IBL）下产生逼真的重光照效果。
对比 StochasticSplats： 论文指出 StochasticSplats 的梯度估计器存在高方差问题（由于分母接近零），导致重建质量较差。本文提出的估计器在方差控制和重建质量上均更优。

5. 意义与影响 (Significance)

打破效率与物理准确性的权衡： 证明了在 3DGS 领域，无需牺牲物理准确性（如阴影、反射、重光照）也能实现实时/近实时的重建速度。
统一框架： 提供了一个统一的、基于光线追踪的框架，能够自然处理复杂相机模型（如鱼眼）、复杂光照环境以及动态重光照，无需针对不同场景设计特定的光栅化补丁。
推动 3DGS 应用： 使得 3DGS 在自动驾驶（复杂光照感知）、沉浸式现实（真实感重光照）和数字孪生等对物理真实性要求高的场景中更具应用价值。

总结： 这篇论文通过引入可微分的随机采样策略，成功解决了 3DGS 光线追踪中“排序开销大”和“重光照近似粗糙”两大痛点，实现了速度与物理真实性的统一，是 3D 高斯泼溅领域的重要进展。