GOR-IS: 3D Gaussian Object Removal in the Intrinsic Space
本文介绍了 GOR-IS，这是一种新颖的 3D 高斯物体移除框架，它将场景分解为内在组件，以显式建模光传输并在材质与光照域中执行修复，从而相较于现有方法实现了更优越的物理一致性和视觉连贯性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一张房间的魔法 3D 照片。在这个房间里，有一张光亮、有光泽的桌子，上面放着一个花瓶。现在，想象你想用数字橡皮擦把花瓶擦掉。
旧式橡皮擦的问题
过去实现这一功能的方法就像使用钝蜡笔。当它们擦除花瓶时，往往会留下一个“幽灵”。因为桌子是光亮的，花瓶在桌面上有倒影。旧式橡皮擦会擦除花瓶，却把花瓶在桌面上的倒影留了下来，使其看起来像一个漂浮的、看不见的幽灵。
此外，这些旧方法假设花瓶背后的背景颜色无论从哪个角度观察都是一样的。但在现实世界中，光亮表面的颜色会随着观察视角的变化而改变（就像汽车漆面从正面看和从侧面看效果不同一样）。旧式橡皮擦对此感到困惑，导致花瓶原本所在的位置出现模糊或“幽灵般”的斑块。
新解决方案：GOR-IS
该论文介绍了一个名为GOR-IS（内在空间中的 3D 高斯物体移除）的新框架。你可以将其想象为一个“智能且具备物理感知能力的橡皮擦”。
以下是其工作原理，使用简单的类比来说明：
1. “拆解乐高”方法（内在空间）
想象 3D 场景并非由实心像素块组成，而是一组被拆解成原始成分的乐高积木：材质（物体由什么构成）和光照（光线如何照射它）。
- 旧方法：试图通过直接在像素上涂抹来擦除物体。
- GOR-IS 方法：它将“花瓶材质”与“照射在花瓶上的光线”分离开来。它理解花瓶是一个物理实体，而桌面上的倒影仅仅是光线的反射。通过这种分离，它确切地知道要删除什么（花瓶及其光线反射）以及保留什么（桌子的材质）。
2. “镜子侦探”（全局光照）
当你移除花瓶时，你还需要移除它在光亮桌面上的倒影。
- GOR-IS 像一个追踪光路的侦探。它看到：“啊，桌面上的这个光亮点实际上是花瓶的倒影。”
- 因为它理解光的物理原理，所以它会连同花瓶一起移除倒影。这防止了“幽灵”效应，使场景看起来符合物理现实。
3. “通用颜料”（内在修复）
当花瓶消失后，3D 场景中会出现一个空洞。你需要用花瓶背后被遮挡的背景来填充这个空洞。
- 挑战：如果你仅基于一张照片来填充这个空洞，当你围绕 3D 场景移动时，填充的颜色可能会显得不正确（因为存在随角度变化的光亮表面）。
- GOR-IS 的解决方案：它不是填充空洞的“颜色”，而是填充“材质属性”（例如表面的粗糙度或光泽度）。由于桌子的材质不会因为你移动头部而改变，这种“通用颜料”能从任何角度保持一致。它用正确的纹理填充空洞，确保背景从任何视角看都清晰且真实。
4. “阴影护盾”（光照感知掩膜）
有时，即使在移除物体后，仍会残留淡淡的模糊或余影。
- GOR-IS 拥有一个特殊的“护盾”，可以检测这些残留的反射。它会说：“这个模糊的斑点仍然是被移除物体的反射；它不属于这里。”随后，它会将其抹去，确保最终图像干净且无伪影。
结果
作者在计算机生成的场景和真实世界照片上测试了该方法。他们发现，他们的方法：
- 完美地移除物体及其倒影，不留“幽灵”。
- 填充背景，使其在包括光亮表面在内的任何角度下都显得清晰且一致。
- 在看起来“真实”（物理一致性）方面，显著优于以往的方法。
简而言之，GOR-IS 不仅仅是删除一个物体；它理解房间的物理原理，移除物体及其光效，并利用房间的真实材质无缝重绘背景，从而实现完美的 3D 编辑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。