💻 computer science

GAINS: Gaussian-based Inverse Rendering from Sparse Multi-View Captures

GAINS 是一个利用基础模型先验来稳定几何与材质估计的两阶段逆向渲染框架，显著提升了在传统基于高斯的方法难以处理歧义性的稀疏视角设置下的性能。

原作者： Patrick Noras, Jun Myeong Choi, Didier Stricker, Pieter Peers, Roni Sengupta

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Noras, Jun Myeong Choi, Didier Stricker, Pieter Peers, Roni Sengupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭几张从不同角度拍摄的照片，来重建一个具有光泽且复杂的 3D 模型——比如一辆汽车或一个花瓶。大多数实现这一目标的计算机程序就像那些只会死记硬背标准答案的学生：他们能完美记住被问到的问题，但一旦问题稍有变化，就会表现得一败涂地。如果你给他们看一张正面拍摄的汽车照片，他们可能学会了如何完美地画出正面，但如果你要求他们展示在不同光照或新角度下的汽车，他们往往会感到困惑。他们可能会忘记汽车的漆面是闪亮的（镜面反射），误以为反射的光影就是汽车本身的颜色；或者他们可能会因为只从一个位置观察到反射，而忽略了地面上的反光。这就是目前的“逆向渲染”（inverse rendering）方法在面对极少量照片（稀疏视角）时所面临的问题。

于是，GAINS（基于高斯分布的稀疏多视图捕获逆向渲染）登场了。它不像是一个只会死记硬背的学生，而更像是一个超级聪明的侦探团队。GAINS 不仅仅是盯着手头那几张照片看，它还请来了由“基础模型”（foundation models）组成的专家团——你可以把它们想象成拥有不同专业领域的资深顾问——来协助破解物体真实样貌、光泽度以及对光线反应的谜团。

两个阶段的侦探工作

GAINS 将问题分为两个截然不同的阶段来解决，就像盖房子一样：先搭框架，再刷漆和搞装修。

第一阶段：搭建框架（几何结构）
在粉刷墙壁之前，你必须先知道墙在哪里。在第一阶段，GAINS 试图确定物体的形状。但由于照片很少，形状很难准确猜测。因此，GAINS 请了三位专家顾问来帮忙：

深度侦探：使用单目深度模型来推测物体的远近距离。
表面侦探：使用法线估计模型来推测表面的朝向（比如判断一面墙是平整的还是弯曲的）。
想象力顾问：使用扩散模型（即生成艺术的那种 AI），来想象物体在未曾被观察到的角度下应该呈现的样子。

通过结合这些线索，GAINS 构建出的 3D 骨架比那些试图独自猜测形状的方法要精确得多。论文指出，如果没有这些助手，生成的形状会变得“摇摆不定”且不准确，尤其是在初始照片只有 4 到 8 张的情况下。

第二阶段：涂装与光泽（材质与光照）
现在框架已经搭好了，GAINS 需要弄清楚这个物体是由什么组成的。它是哑光塑料？金属？还是粗糙的石头？以及它是如何对光线做出反应的？这正是真正展现魔力的地方。论文认为，以往的方法经常会出现“过拟合”现象，即它们只是死记硬背了照片中的特定光照，导致物体在光照改变时看起来很不自然。

为了解决这个问题，GAINS 在第二阶段请来了三位更多的顾问：

分割向导：这位顾问会观察物体并说道：“嘿，这一部分是车门，那一部分是轮子。”它有助于确保闪亮的部位（如金属门把手）在不同视角下保持一致，防止计算机在区分反射与物体本身时产生混乱。
内蕴图像分解（IID）专家：这位专家擅长将物体的真实颜色（反照率/albedo）从阴影和高光中分离出来。它就像一个滤镜，剥离掉光照效果，露出纯粹的漆面颜色。然而，这位专家在观察不同角度时可能会有些不一致，因此 GAINS 会谨慎地使用它——在模型初期多依赖它，随着模型变得更好，则减少对其的依赖。
多光照扩散顾问：这是全场的明星。它会对物体进行模拟，使其处于多种不同的光照条件下（比如晴天、阴天或城市夜景），以确保无论光线从哪里来，物体看起来都非常真实。

结果：更清晰的画面

作者在合成对象和真实世界照片上对 GAINS 进行了测试。他们发现，在处理稀疏图像集（仅 4 到 8 个视角）时，GAINS 的表现显著优于目前的尖端方法，如 Ref-Gaussian 和 GI-GS。

例如，在名为 Synthetic4Rel4elighting 的合成数据集上，GAINS 在重光照任务中的 PSNR（衡量图像质量的分数）达到了 28.16，而 Ref-Gaussian 为 24.29。在 Shiny Blender 数据集上，GAINS 的重光照得分也达到了 22.29，击败了 Ref-Gaussian 的 17.26。这些数字表明，GAINS 在分离物体材质与光照方面做得更好，这意味着你可以拍下一辆车的照片，然后将其光照改为日落或雨街场景，汽车看起来依然非常真实，其表面的反射也会随之正确移动。

GAINS 不做的事情

值得注意的是，该方法也有其局限性。论文明确指出 GAINS 忽略了全局光照（global illumination）。这意味着它不会模拟光线从其他物体上反射过来的过程（例如光线从红色的墙壁反射到白色的汽车上）。它专注于直接光照和物体自身的属性。此外，虽然该方法非常鲁棒，但作者也承认，在处理极度闪亮的物体时，表面法线（surface normals，即表面朝向）有时会显得有些“波浪状”，这可能会导致一小部分闪亮的反射被错误地“刻录”进物体的基础颜色中。

总结

GAINS 表明，通过与预训练的 AI 模型（基础模型）合作并将其作为引导，即使在照片极少的情况下，我们也能解开 3D 重建这个复杂的谜题。它不仅仅是在死记硬背图片，而是在学习光线与材质相互作用的底层规则。虽然它在照片数量较少（稀疏视角）时表现最佳，但在照片数量较多时依然保持着竞争力。作者总结道，这种“协同”不同 AI 先验知识的方法是一种强大的手段，能够获得物理一致的结果，使得在数据如此匮乏的情况下，实现具有真实感的 3D 场景重光照和编辑成为可能。

技术摘要：GAINS（基于高斯分布的稀疏多视图捕获逆向渲染）

1. 问题陈述

逆向渲染（Inverse Rendering, IR）旨在从多视图图像中恢复内在的 3D 属性——几何、材质反射率和光照。尽管最近基于高斯泼溅（Gaussian Splatting）的逆向渲染技术在密集多视图捕获下取得了高质量的结果，但在稀疏视图设置（例如 4 到 16 个视图）下，其性能会显著下降。在这些场景中，有限的观测会导致几何、反射率和光照之间的严重歧义。现有方法往往会对捕捉到的视角产生过拟合，导致：

材质和光照估计不一致。
将反射“烘焙”进漫反射反照率中（例如，丢失地面反射或错误地捕捉天空反射）。
在新视角合成和重光照条件下的泛化能力差。
无法利用传统的平滑度先验来解决反射率与光照之间的歧义。

2. 方法论

作者提出了 GAINS（基于高斯的稀疏多视图捕获逆向渲染），这是一个两阶段优化框架，它将基于物理的渲染（PBR）与多种基础模型先验相结合，以在稀疏条件下稳定估计。该方法利用 2D 高斯泼溅（2DGS）进行几何重建，因其相比 3DGS 具有更优越的几何重建能力。

第一阶段：几何估计

目标是在估计材质之前重建鲁棒的几何结构（ $G$ ）。为了防止对稀疏输入的过拟合，GAINS 在标准重渲染损失的基础上增加了基于学习的先验：

单目深度与法线引导： 该框架通过皮尔逊相关系数（Pearson Correlation Coefficient）和全变分（Total Variation）损失，强制要求重建结果与单目估计的深度和表面法线保持一致。这提高了高频几何保真度。
扩散引导（SDS）： 利用潜在扩散模型通过分数蒸馏采样（Score Distillation Sampling, SDS）来正则化未见视角的重建。这鼓励渲染图像落在物体的流形上，在不引入过度幻觉的前提下抑制高频伪影，直到几何结构收敛。
离群点移除： 对于带有地面真值 Alpha 掩码的合成数据，采用了二元交叉熵损失（Binary-Cross Entropy loss）和基于 KNN 的浮点物（Floater）移除技术。

第二阶段：材质与光照估计

一旦几何结构固定，框架将联合优化材质参数（反照率 $A$ 、粗糙度 $R$ 、金属度 $M$ ）和环境光照（ $L$ ）。为了解决从稀疏视图恢复材质的病态问题，引入了三个互补的先验：

分割引导（ICC）： 利用无需训练的分割掩码提升技术（通过 SAM、CLIP 和 DINOv2），该方法强制执行类内一致性。它最小化了语义相似区域内的粗糙度和金属度方差，同时允许混合材质的存在。特定的损失项会引导优化过程，将纹理细节归因于镜面材质中的镜面反射，从而解决歧义。
固有图像分解（IID）先验： 最先进的 IID 网络（如 Teamwork 或 RGB2X）为漫反射反照率提供强有力的初始化。为了减轻单目 IID 固有的视角不一致性，损失权重在优化收敛过程中会线性衰减。
多光照分数蒸馏采样（MI-SDS）： 为了确保对新视角和新光照的泛化能力，该方法在随机选择的环境图中渲染场景，并应用基于扩散的 SDS 损失。这防止了对单一学习环境图的过拟合，并提高了重光照的物理一致性。

最终优化结合了重渲染损失与这些先验，并在不同场景中使用固定的超参数，无需针对特定场景进行微调。

3. 核心贡献

稀疏视图鲁棒性： 引入了一个专门设计的两阶段框架，通过利用基础模型作为先验，来处理稀疏多视图捕获带来的歧义问题。
统一先验： 将分割、固有图像分解和扩散先验创新地集成到基于物理的高斯泼溅优化管线中。
反射率与光照的解耦： 该方法有效地分离了材质属性与光照效果，减少了将反射“烘焙”进反照率图中的现象，这是先前研究中常见的失效模式。
全面的评估： 在合成（Shiny Blender, Synthetic4Relight）和真实世界（Ref-Real）数据集上进行了广泛测试，证明了其在几何、材质估计、新视角合成（NVS）和重光照方面的优越性。

4. 结果

广泛的实验表明，GAINS 在多个指标上均优于现有的基于高斯的逆向渲染方法（如 Ref-Gaussian, GI-GS, GShader 等）：

定量性能： 在 Synthetic4Relight 数据集（8 个视图）上，GAINS 的重光照 PSNR 达到 28.16，显著高于 Ref-Gaussian (24.29) 和 GI-GS (23.92)。在 Shiny Blender 上，其重光照 PSNR 为 22.29，而 Ref-Gaussian 为 17.26。
材质准确性： GAINS 能够生成更准确的反照率、粗糙度和金属度图，从而在新的环境图中实现更好的重光照效果。
稀疏视图优势： 在稀疏设置（4–8 个视图）下，改进最为显著。当竞争方法在这些机制下出现噪声法线、浮点物或过拟合时，GAINS 仍能保持稳定的几何和材质估计。
密集视图竞争力： 即使在密集输入（32+ 视图）下，GAINS 依然保持竞争力，尽管随着观测密度的增加，某些基准方法（如 Ref-Gaussian）在 NVS 指标上的差距会有所缩小。

定性对比显示，GAINS 能够恢复正确的地面反射（Ref-Gaussian 中缺失），并避免将天空反射烘焙进物体中（GI-GS 的失效点），从而实现了物理上合理的重光照。

5. 重要性与主张

论文声称，GAINS 代表了使逆向渲染在无法进行密集捕获的现实场景中变得实用的重要进步。通过将基础模型与基于物理的表示相结合，该方法成功地消除了反射率与光照之间的歧义，而这正是困扰稀疏视图 IR 的挑战。

作者强调，该方法不需要针对特定场景的调优或先验微调，而是依赖于固定的超参数。他们也承认了局限性，特别是目前尚未包含全局光照（这对于完整场景极具挑战性），以及对于高度镜面物体，几何法线存在轻微的波动，这可能导致漫反射反照率中出现轻微的镜面烘焙。然而，其核心贡献在于证明了基于学习的先验对于在稀疏观测下稳定物理一致的逆向渲染是至关重要的。