Intrinsic decomposition and editing of 3D Gaussian splats
本文提出了一种对 3D 高斯泼溅进行内在分解与编辑的方法，该方法通过为反照率（albedo）和着色（shading）建模独立的高斯原语，利用数据驱动的预测来优化其解耦，并实现了在平面表面上进行纹理编辑，同时能在任意视角下保持合理的照明效果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个神奇的、超写实的 3D 照片，记录着一个房间。你可以绕着它走动，从任何角度观察它，而且看起来完美无瑕。但有一个限制：颜色和阴影是“烘焙”在一起的。如果你想把一面红色的墙变成蓝色，你就必须重新粉刷整个房间，包括家具投下的阴影。如果你只是涂掉阴影，它们看起来会显得很奇怪且扁平。
这篇论文介绍了一种构建这些 3D 照片的新方法，使用的是“3D 高斯泼溅”（3D Gaussian Splatting，这是一个术语，指代一组微小的、模糊的 3D 点，它们构成了图像）。作者们想出了如何将物体的颜色与光照和阴影分离的方法，让你可以在不破坏阴影的情况下改变颜色。
以下是他们实现这一目标的原理，通过简单的类比进行了解释：
1. 问题所在：“烘焙好的蛋糕”
通常情况下，当你创建一个 3D 场景时，颜色（反照率）和光照（着色）就像蛋糕的原料一样混合在一起。一旦蛋糕被烘焙好了，你就无法在不破坏蛋糕的情况下把巧克力豆（纹理）取出来。之前的方法试图将它们分离，但通常使用同一组 3D 点来处理所有内容。这就像是尝试用完全相同数量的微小点来同时描述高清晰度纹理（如砖墙）和柔和阴影（如云朵）。这是一种折中方案：你要么得到模糊的纹理，要么得到块状的阴影。
2. 解决方案：三个独立的图层
作者决定使用三组独立的 3D 点来构建场景，而不是一个大的混合体：
- 反照率图层（油漆）： 这个图层只包含物体纯粹的颜色和纹理，就像一幅没有阴影或高光的平面画。
- 着色图层（光影）： 这个图层只包含光照信息——阳光照射在哪里以及阴影落在哪里。它就像一张灰度光照图。
- 残差图层（眩光）： 它捕捉那些根据你站立位置而变化的复杂、闪亮的效果，比如湿润地板上的反射或金属勺子上的闪光。
通过将这些“绘画”分开，系统可以为细节丰富的纹理（如砖块）使用更多的点，而为平滑的阴影使用较少的点，从而使整个过程更高效、更真实。
3. 他们是如何构建的：“神奇视频编辑器”
为了首先分离这些图层，计算机需要先猜出在知道阴影之前，“纯净油漆”看起来是什么样的。
- 猜谜游戏： 团队使用了一个强大的 AI（一种“视频扩散模型”），它扮演着超级聪明的艺术评论家的角色。你输入一段房间的视频，它就会预测如果阳光没有照射，墙壁和物体看起来会是什么样子。
- 胶水： 因为 AI 的猜测可能会有点模糊或不一致，团队使用了一个“深度图”（房间形状的 3D 蓝图）将 AI 的预测“粘合”到正确的 3D 空间中。这确保了“纯净油漆”图层无论你从哪个角度观察，都能保持一致。
4. 编辑超能力
一旦场景被拆分为这三个图层，编辑就变得轻而易举。
- 场景： 想象你想把一张木桌变成一张闪亮的红色金属桌。
- 旧方法： 你必须重新粉刷整个 3D 模型，而且阴影看起来会很奇怪，因为“油漆”和“光线”是混合在一起的。
- 新方法： 你只需抓取“反照率图层”（油漆），将木头纹理替换为红色金属。而“着色图层”（阴影）会保持原样。
- 结果： 当你在 3D 场景中走动时，桌子看起来像是红色金属，但它投射在地面上的阴影看起来非常自然，就像真实的阳光确实照射在红色金属桌子上一样。
5. 他们如何保持一致性
棘手的部分在于，如果你只从一个角度给桌子涂色，计算机在你看侧面时可能会感到困惑。为了解决这个问题，系统使用了一个“代理平面”（一个临时的、隐形的扁平薄片），从多个角度同时将你的涂色效果投影到 3D 点上。这确保了当你绕着物体走动时，新的颜色能保持一致，不会出现闪烁或故障。
总结
简而言之，这篇论文教会了计算机如何获取一张 3D 照片，将“物体颜色”与“光照”分离，并让你在改变物体颜色的同时，保持光照和阴影的完美真实感。这就像拥有一张 3D 照片，你可以更换壁纸，而无需重建房屋或重新粉刷阴影。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。