GS-ProCams: Gaussian Splatting-based Projector-Camera Systems

本文提出了首个基于高斯泼溅（Gaussian Splatting）的投影 - 相机系统框架 GS-ProCams，它通过显式建模几何与光度映射及可微物理渲染，在无需额外设备的情况下实现了视无关的投影映射，并在训练显存占用和推理速度上相比 NeRF 方法分别降低了 90% 和提升了 900 倍。

要点

想象一下，你手里有一个神奇的投影仪，它不仅能投射出清晰的图像，还能像“变形金刚”一样，自动适应任何形状的表面（比如弯曲的墙壁、粗糙的石头，甚至是有花纹的桌布），让投影出来的画面看起来就像原本就长在那里一样。

这就是**投影增强现实（ProCams）**技术想做的事。但以前的技术有个大麻烦：它们太“死板”了。如果你换个角度去看，或者换个地方投影，以前的系统就得重新学习、重新计算，甚至需要额外的灯光设备，既慢又贵。

这篇论文介绍了一个叫 GS-ProCams 的新方法，它就像给投影仪装上了一个超级聪明的“大脑”，让投影变得既快又灵活。

🌟 核心比喻：从“画在纸上”到“全息投影”

为了理解它有多厉害，我们可以用两个比喻：

1. 以前的方法（NeRF 或 CNN）：像“笨重的老式照相机”

以前的技术就像是用一台笨重的老式照相机去拍一个场景。

• 缺点：如果你想从侧面看这个场景，相机必须重新架设、重新对焦，甚至需要你在旁边再打一盏灯（额外的光源）才能看清。
• 结果：如果你换个角度，画面就糊了，或者根本算不出来。而且，这个过程非常慢，像蜗牛爬，还特别吃电脑内存（就像手机运行大型游戏会发烫卡顿一样）。

2. 我们的新方法（GS-ProCams）：像“乐高积木 + 智能滤镜”

GS-ProCams 把整个场景想象成由无数个微小的、发光的“乐高积木”（也就是论文里的"2D 高斯点”）组成的。

• 怎么工作：
  • 积木（高斯点）：每个小积木不仅知道自己在哪（几何形状），还知道自己是红的还是绿的（颜色），表面是光滑的还是粗糙的（材质）。
  • 智能滤镜（物理渲染）：当投影仪的光照在这些积木上时，系统会瞬间计算出：光是怎么反射的？阴影是怎么产生的？
  • 神奇之处：因为积木是立体的，所以无论你从哪个角度看（换个视角），或者投影仪换个角度照，系统都能瞬间算出新的画面，不需要重新学习，也不需要额外的灯光。

🚀 它带来了什么改变？

这篇论文主要解决了三个大问题，我们可以这样理解：

1. 速度提升 900 倍（从“熬通宵”到“喝杯咖啡”）

• 以前：训练一个投影模型可能需要几个小时甚至几天，像是要熬一个大夜。
• 现在：GS-ProCams 只需要几分钟，就像你喝杯咖啡的时间就能搞定。这让实时投影（比如你在墙上玩互动游戏）变得完全可行。

2. 省下的内存（从“大卡车”到“小轿车”）

• 以前：以前的方法需要巨大的电脑内存（GPU 显存），像是一辆大卡车，只有昂贵的专业电脑才能跑。
• 现在：新方法只需要原来 1/10 的内存，就像换了一辆小巧灵活的轿车，普通的电脑甚至未来的消费级设备都能轻松运行。

3. 真正的“所见即所得”（不需要额外灯光）

• 以前：为了算清楚光影，以前的方法往往需要在全黑的房间里，还要在相机旁边放一个额外的灯。这很不实用。
• 现在：GS-ProCams 可以在普通的房间灯光下工作，不需要额外的设备。它甚至能“猜”出环境光的影响，就像你的眼睛能自动适应光线一样。

🎨 它能做什么？（生活中的应用）

想象一下这些场景：

• 投影补偿（让画面变完美）：
  你想在凹凸不平的石头墙上投影一张海报。以前，海报会扭曲变形。现在，GS-ProCams 能自动“扭曲”输入的图片，让投影在墙上看起来平平整整，就像贴在玻璃上一样。
• ** diminished reality（让物体“消失”）**：
  如果你想在墙上投影一个洞，让后面的东西看起来“消失”了，或者把墙上的污渍“擦掉”并补上新的图案，这个系统能精准地做到，而且你从侧面看也不会穿帮。
• 文字驱动的投影（AI 画画）：
  你对着投影仪说：“我想看一只老虎”，系统就能立刻把老虎投影到任何物体上，而且老虎会随着物体的形状弯曲，看起来非常真实。

💡 总结

简单来说，GS-ProCams 就是把复杂的投影技术，从“需要专家在实验室里慢慢调试的精密仪器”，变成了“像搭乐高一样灵活、像手机应用一样快速”的通用工具。

它让投影仪不再只是一个简单的“发光盒子”，而变成了一个能理解世界、适应环境、并且反应极快的智能艺术家。无论是未来的 AR 眼镜，还是家里的智能投影墙，这项技术都是通往那个未来的关键一步。

技术摘要

这是一份关于论文 GS-ProCams: Gaussian Splatting-Based Projector-Camera Systems 的详细技术总结。

1. 研究背景与问题 (Problem)

投影 - 相机系统 (ProCams) 结合了投影仪和相机，广泛应用于增强现实、投影映射和工业检测等领域。其核心挑战在于建立投影仪与相机之间的几何映射和光度映射（即如何准确地将图像投影到非平面、有纹理的表面上，并补偿环境光和材质反射的影响）。

现有方法存在以下局限性：

• 基于 CNN 的方法：通常局限于特定视角（View-specific），无法泛化到新视角；且难以保留高频细节，导致输出模糊。
• 基于 NeRF 的方法：虽然支持视角无关（View-agnostic），但需要额外的共位光源（co-located light）和暗室环境，且计算和内存开销巨大（训练慢、推理慢），难以在实际场景中部署。
• 传统方法：依赖密集采样或特定的几何重建，难以处理复杂的环境光照和非朗伯体表面。

核心痛点：如何在无需额外硬件、支持环境光、且具备高计算效率的前提下，实现**视角无关（View-agnostic）**的高保真 ProCams 模拟和投影补偿。

2. 方法论 (Methodology)

作者提出了 GS-ProCams，这是首个基于**高斯泼溅（Gaussian Splatting, GS）**的 ProCams 框架。该方法利用 2D 高斯作为场景表示，结合可微分的物理渲染（Physically-Based Rendering, PBR），实现了高效的几何与光度建模。

核心组件：

1. 场景表示 (Scene Representation)：

   • 使用 2D 高斯 (2D Gaussians) 来表示投影表面的几何结构。
   • 属性增强：为每个 2D 高斯点添加了可学习的材质属性，包括反照率 (Albedo, $b$) 和 粗糙度 (Roughness, $r$)，以模拟双向反射分布函数 (BRDF)。
   • 全局光照近似：引入视角相关的残差颜色 (View-dependent residual color, $c_g$)，利用球谐函数 (SH) 系数来近似环境光和间接光照，避免了对全全局光照进行昂贵建模的需求。

2. 物理渲染管线 (Differentiable PBR Pipeline)：

   • 几何获取：通过相机光线与 2D 高斯的交点确定表面点 $x_s$，利用深度梯度计算法线 $N$，确保几何一致性。
   • 光照建模：
     • 直接光：模拟投影仪的直接照明，考虑投影仪的伽马校正 ($\gamma_p$)、增益 ($G_p$) 以及点扩散函数 (PSF, $\kappa$) 来模拟散焦模糊。
     • 间接光/环境光：通过残差颜色项 $C_g$ 捕获。
   • 渲染方程：结合 BRDF 模型（简化的 Disney BRDF），计算从表面反射到相机的光线。

3. 联合优化 (Joint Optimization)：

   • 框架将所有参数（高斯位置/旋转/缩放/不透明度、材质属性、残差颜色、投影仪响应参数）置于一个统一的可微分系统中进行联合优化。
   • 损失函数：包含光度损失 (L1 + DSSIM)、几何正则化 (深度扭曲 + 法线一致性)、材质平滑约束以及掩码熵损失（用于优化不透明区域）。

4. 应用模式：

   • ProCams 模拟：输入任意投影图案，合成相机视角的图像。
   • 投影补偿：作为逆渲染问题，优化虚拟的投影仪输入图案，使得合成图像匹配目标外观，从而实现几何和光度补偿。

3. 主要贡献 (Key Contributions)

1. 首个基于高斯泼溅的 ProCams 框架：首次将 2D 高斯泼溅引入投影 - 相机系统，实现了视角无关的模拟和补偿。
2. 极高的效率：
   • 相比基于 NeRF 的方法，推理速度快 900 倍。
   • 训练所需的 GPU 内存仅为 1/10。
   • 无需额外的共位光源或暗室环境，可在普通室内光照下工作。
3. 统一的可微分系统：显式建模了投影仪响应、表面几何、材质属性及残差光照，无需多阶段训练即可同时处理几何和光度映射。
4. 新基准数据集：发布了一个包含多种视角、纹理表面和环境光照条件的真实世界 ProCams 基准数据集，用于训练和评估视角无关模型。

4. 实验结果 (Results)

作者在合成数据集 (Nepmap) 和真实世界基准数据集上进行了广泛实验：

• ProCams 模拟质量：
  • 在合成数据集上，GS-ProCams 的 PSNR 达到 31.97 (NeRF 方法为 27.24)，SSIM 为 0.9692，LPIPS 更低，细节更丰富，色彩更真实。
  • 在真实世界数据集中，GS-ProCams 在训练视角和新颖视角（Novel Viewpoints）上均优于基于 CNN 和 NeRF 的基线方法（如 DeProCams, DPCS）。
• 投影补偿能力：
  • 在未见过的视角上，GS-ProCams 无需重新训练即可有效补偿几何畸变和光度干扰。
  • 相比需要为每个视角重新训练的视特定方法，GS-ProCams 在总训练时间和 GPU 显存占用上具有巨大优势。
• 效率对比：
  • 训练时间：从 NeRF 方法的数小时缩短至几分钟。
  • 推理速度：从 NeRF 的 0.3 FPS 提升至 297 FPS。
• 消融实验：
  • 证明了 PSF 建模对于处理复杂几何和散焦模糊的重要性。
  • 证明了即使在极少的训练视角（如 4 个）下，模型仍能保持高质量的模拟效果。

5. 意义与局限性 (Significance & Limitations)

意义：

• 实用性强：消除了对特殊硬件（共位光源）和暗室环境的依赖，使得 ProCams 技术更容易在工业、艺术展览和日常增强现实场景中落地。
• 实时性突破：极高的推理速度使得实时交互和动态投影映射成为可能。
• 范式转变：展示了高斯泼溅技术在逆渲染和复杂光照建模任务中的巨大潜力，超越了传统的 NeRF 范式。

局限性：

• 静态场景：目前仅适用于投影仪与表面相对静止的场景，无法处理物体运动或剧烈的环境光变化。
• 复杂材质：难以处理高透明度（如玻璃）或强镜面反射（Specular）材质，因为这些材质具有强烈的视角依赖性，超出了当前残差模型的拟合能力。
• PSF 简化：虽然引入了 PSF 近似，但对于深度变化极大的场景，投影仪的浅景深（DOF）导致的复杂空间变化模糊仍难以完美建模。

未来方向：探索动态场景下的视角无关 ProCams，以及引入更精确的光学模型以提升对复杂材质和深度变化的处理能力。